メニューなども日本語になってしまいますが、
http://www.ubuntulinux.jp/products/JA-Localized
ここの下の方の「方法２・Japanese Teamのパッケージレポジトリを追加する」
の方法が一番簡単でしょう。
標準の言語環境を英語にすれば、メニューなども英語に戻るとは思いますが。

Canada による投稿:

具体的な問題としては、以下の事象が起きています。
①漢字に変換した際、漢字が表示されず、”□”のように表示されることがある。
②漢字変換の選択肢が少ない。（Windowsのものに比べると。）
③日本語のHPが正しく表示されない。
④句読点を使った際、それまで、作成された文章が消える。
⑤句読点が中央に表示される。

１、３、５はフォントがうまくインストールされていないためだと思います。ttf-vlgothicやttf-kochi-mincho、ttf-kochi-gothicをインストールし、再起動しても再現されるでしょうか。２についてはなんとも言いようがありません。４はInputMethodだけでなく利用したアプリケーション側の問題の可能性もあります。

Canada による投稿:

英語環境と同時に、日本語での入力、表示も必要なため、English LocaleでのJapanese Inputの正しいインストールの仕方、もしくはガイドがあれば、教えてください。

Kubuntuを使っている方にフォローしてもらいたいのですが、おそらく
https://help.ubuntu.com/community/SCIM/Kubuntu
https://wiki.ubuntu.com/InputMethods/SCIM/Setup
あたりが参考になると思います。