ご質問の内容への回答ではありませんが、基本的にはレポジトリ提供のfirefox以外の使用はおすすめできません。

・セキュリティホールの解消など、アップデートを手動で行う必要がでるためメンテナンス、情報収集が大変になります。
・そもそもβ版はアドオン開発者や、firefox5のバグ潰しに参加するような人々のためのものという位置付けだと思います。
・Ubuntu標準で入っているfirefox4とプロファイルが混ざると面倒なことになりかねません。

と言いつつ、仮想マシンにfirefox5のβ版、Linux向け日本語版を拾ってきて、ユーザのホームに展開し、起動してみました。
http://mozilla.jp/firefox/download/beta/
特に問題なく日本語で表示されるようです。
この書き込みはfirefox5 / Ubuntu Natty / virtualbox on Kubuntu Nattyから書いています。
# アドオンまでは確認する時間が無いっぽいです。。

PPA:ubuntu-mozilla-security/ppa に上がっている firefox 5 beta をアップグレードで導入した場合に、日本語ロケールのデータは自動ではインストールされません。

手動で、

$ aptitude show firefox-locale-ja 
パッケージ: firefox-locale-ja            
新規: yes
状態: インストール済み
自動的にインストールされた: no
バージョン: 5.0~b5+build1+nobinonly-0ubuntu0.11.04.1
優先度: 任意
セクション: web
メンテナ: Ubuntu Mozilla Team <[email protected]>
展開サイズ: 463 k
依存: firefox
置換: language-pack-ja-base
説明: Japanese language pack for Firefox
 This package contains Japanese translations and search plugins for Firefox

というパッケージを（synapiticやapt-getなどを使って）インストールすると firefox5 beta で、日本語のメニューを表示できるようになります。

ベータ版はあくまでもテストドライブということと、PPAリポジトリの内容は"AS IS"ということでサボート外と考えるべきです。