Virtualbox 4.0.4 がリリースされましたね。
もしや、と思いインストールしてみました。
が、結果は変わらず。Extension PackもGuest Additionsも効果なしでした。

しかし、進展なしと言うわけではありません。
同じPCにデュアルブートインストールしてある、WindowsVistaに「VirtualBox-4.0.4-70112-Win.exe」をインストールし使ってみたところ、普通に打てました。
Extension Pack、Guest Additionsの有無に関わらずに。

こうなると、ホストUbuntu環境の設定、もしくはLinux版VirtualBox自体の問題。ということになりそうです。
・・・多分前者でしょうけど。

あ、ちなみにキーボード・マウスともにPS/２接続です。

一応解決しました。根本的な解決にはなっていませんが・・・。

http://blogs.sun.com/sayama/entry/yen_and_underscore_key_on
少し古い記事ですが、参考にしたところうまくいったようです。

どうやら VBoxKeyboard.so という共有オブジェクトが原因だったようです。
正常に動作した virtualbox-ose_3.2.8-dfsg-2ubuntu1_i386.deb から、
/usr/lib/virtualbox/VBoxKeyboard.so を抜き出し、VBox4.0.4インストール後の同じ場所にコピー。
VBoxをもう一度起動してみると、「\」,「|」が正常に打ち込めました。
一部ファイルが別のバージョンの物、と少し気持ちの良いものではない状態ですが・・・。

結局、これば「バグ」なんでしょうか？

この問題を修正しました。4.0.6（たぶん）では直っているはずです。