詳しく説明されたPDFがありました。
http://h50146.www5.hp.com/products/software/oe/linux/mainstream/bin/support/doc/alpha/64bit_linux_world.pdf

超簡単に言えば、64bitのソフトでは64bitのサイズがある変数を使った計算が比較的高速に行えます。
(32bit用に開発されたソフトの場合は、この点においてほとんどメリットがありません。逆に、64bit環境に最適化されていないソフトの場合、メモリサイズを余分にとってしまうことがあります。)

あとは、最大ファイルサイズや使用可能なメモリの容量が増加することでしょうか。
使用可能なメモリが増えるため、ポインタ(変数の住所のようなもの)のサイズも増やす必要があります。
結果的に、使用されるメモリは増えます。

32bitにしか対応していないソフトを64bit環境で実行する場合は、「ia32-libs」というパッケージを導入することで解決します。

ryさんが投稿された内容でよいと思います。（３２・６４bitどちらでもいい）
ただ、６４bitよりも３２bitのほうがよいと思います。
なぜなら、
６４bitに対応しているソフトが、
３２bitに比べて少ないのです。
なので、どちらかと言うならば、３２bitをおすすめします。
（いちよう32bitのソフトを動かす方法もありますが、wineのような感じなんで・・・）

ちなみに32bitだとメモリが3GBまでしか認識しないという問題があります。

確認はしていないので無責任な発言となりますが、3GB以上のメモリを認識させるには、「linux-image-generic-pae」というカーネルパッケージをインストールすればPAEが有効になって認識するようです。