詳細な情報が無いので、私の思いついた、可能性のみ指摘しておきます
１：バグ？
以前に、AMD CPU ３GB以上のメモリーを積むとパニクる、と言うカーネルのバグ情報を見た記憶があるのですが、同じ物は見つかりませんでした。
しかし、同様の情報がありましたので、掲載しておきます。
http://www.drk7.jp/MT/archives/001219.html
RHEL系のディストリの話ですが、カーネル絡みなので、Ubuntu６系を使っていれば、同様の問題は起こるかもしれません。
とここまで書いて、Ubuntu Linux 7,04 Desktopであることに気がつく。
２：４GBの壁？
Ubuntu Linux 7,04日本語版？
i686カーネルの場合、４GBまでしか対応してないと思いますが、
最近のカーネルは、４GBの場合、どんな対処するのですかね？
以前は、３GBしか認識しないとかあったようですが...
対処法は、PAEとか、AMD64のカーネルを使う（Ubuntuの日本語版インストールCDなし）
３：ハードの問題
増設するとき、メモリーの種類が違ったりすると動かない場合が有った。（昔の話）
ただし、この場合、Biosも起動しない（多分）
＞Kernel Panicを起こしてしまい
なので、メモリーエラーの可能性も有る
インストールCDで、起動時にメモリーテストを選択できたと思ったので、テストしてみる

メモリチェックかけてみましたが、
４枚、すべてエラーゼロでした。
逆差しなどもチェックしてみましたが、
問題なしです。
ということは、これは、
システム固有の問題なのでしょうか？
どなたか、同じような環境をお持ちの方、
アドバイスお願いします。

64bit版をお使いということですが、BIOS周りを確認してみて頂けるでしょうか。

BIOSでPCI Memory Remapping(at over 4GB Memory)だとかMemory Holeを
On/Offしてみる、といったことをすると上手く動くようになるかも
しれません。

現状ではNVIDIAのカードをSLI構成しているということですので、
Memory RemappingかMemory Holeかが有効になっている(が、BIOSの問題か何かで
or Memory Holeなら必然の結果として不安定)かな、と思っています。

あとは、何が起こっているのかによって対策が違うので、Panic Messageを
下の方から5行ばかり書き写して頂けないでしょうか。
英語になっている部分だけで（0x******とかいう部分は飛ばして）構いません。
また、発生するたびにメッセージが異なるのであれば、その旨も教えてください。

返信遅れてすみません。

出力されるエラーメッセージは、
---------------------------------------------------
RIP [<ffffffff8020b145>]free_hot_cold_page
+0xc510x140

RSP<ffffffff80567ea8>

CR2:00000000000000ad0

<0>kernel panic -not syncing:
Attempted to the idle task
--------------------------------------------------
です。
これは、何度やっても、
数値まで完全に再現性があります。

OSは、ubuntu-7.04-desktop-amd64.iso
をインストールしてあります。

そして、新展開がありました。

まず、もう一度、メモリチェックをかけ直してみたところ、
３枚刺しまでは、全く、問題ないのですが、
４枚目を刺してチェックをかけると、
突然エラーだらけになることが判りました。

もう一つの発見として、ビデオカードを一枚抜いて
起動してみたところ、
メモリ４枚刺し（メモリ４GB)でも、
全く問題なく、起動することが判りました。
この辺りのことは、hitoさんのご指摘が
見事に、命中しているようです。

しかし、私はタコなもので、
「BIOSでPCI Memory Remapping(at over 4GB Memory)だとかMemory Holeを
On/Offしてみる」
方法が判りません。
というか、散々探したのですが、
そのような項目が見つかりません。

どうぞ、ご教授、お願い致します。

おめでとうございます。
できれば、A8N SLI Deluxe Biosでの、その「Memory Remapping」への入り方を記していただくと、同じような問題に直面する（している）人に役立つと思います。

Monmu による投稿:

ただし、なぜか、BIOSでみると、
Usable Memmoryが3GB弱になってしまいます。

これは仕様上、どうにもならない問題です。

このあたりがわかりやすいと思います。
http://d.hatena.ne.jp/dayflower/20070524/1179987794