hmatsueさん

ありがとうございます。
ホスト側のスペックは以下のような感じです。

CPU ： Intel Core i5 M540 2.53GHz
RAM ： 4GB (実使用可能容量3GB)
HDD ： 1ドライブ 2パーティション
C (40GB / 空き15.4GB)
D (192GB / 空き141GB) 仮想マシンはDドライブに置いています。

インストーラが止まっている状態では、HDDへのアクセスは発生していませんでした。
また、その状態での物理CPUの使用率は3%～4%くらいと、仮想マシンがCPUを専有しているようにも見えない状態です。
仮想マシンに対してメモリを1GBまで（ホスト側物理残メモリ約800MB）上げてみましたが特に症状に変化はあリませんでした。

何か他に情報が必要であれば書き込みます。

試しに、ホスト: Kubuntu 11.04(amd64)上のVirtualBox 4.1.2で、Ubuntu 11.04日本語Remixをインストールしてみましたが、特に問題はでませんでした。

強いて言うなら気をつけるべきポイントとしては仮想マシンのタイプを決定するときに、Linux/Ubuntuを指定するぐらいかなぁ、と思います。

HDDのCドライブの残り容量が割と少なくなっている状態ですので、仮想HDDをCドライブに作っていたりすると時間がかかることもあるかも知れません。
Dドライブであれば、残り容量としては、8GBぐらいは特にストレスなく作成できそうですが、VirtualBoxの応答が遅くなるタイミング的には、仮想HDDの作成か、その操作に時間がかかっているか、異常が起きているようにも思えるため、weykさんが書かれたように、どの程度の時間待ってみたのかには興味はあります。
# ちなみに、
# ホストメモリ12GB、ホストCPUはPhenomII X4(3.4GHz)、
# 仮想マシン割り当てメモリ512MB、CPUコア1個、
# の環境でもインストール完了まででも10分ほどだったので、
# 正常な動作状態であれば、極端に長く待たされるということはなさそうです。

あとは、ホスト側のディスクのデフラグ、エラーチェックをしてみるとか、
HDDアクセスに影響を及ぼすソフトウェアが動作していれば、それを試しに無効化してみるとかでしょうか。
特にアンチウィルス系のソフトや、HDDの暗号化ソフトなどはおかしな挙動の原因になるポテンシャルを持っているのではないかと思います。

できました！！

放ったらかしにすること、8分ほど。
タイムゾーン選択画面から「次へ」ボタンが押せるようになり、セットアップが最後まで完了できました。
前のバージョンもこんなに待ちましたっけ？
あまり待った記憶がなかったのですが。

とにかく、すこしせっかちを改めるようにします(^_^)

hmatsueさん、weykさん、ありがとうございました！！