先ず、ベストと思えるのが日本語リミックス用のパッケージを導入することかと考えます。
このUbuntu Japanese Teamの「日本語環境」の中に有ります。
　　http://www.ubuntulinux.jp/japanese

私も初心者で、同じ問題で困っておりましたが、今しがた解決できたので報告いたします。

解決方法としては、各アプリケーションでの正しいフォント設定でした。
システム設定だけでは正しく選択フォントが設定されていない場合があるようで、
そういった時に例えば中国語ロケールなどが選択されているようです。
設定方法はアプリケーションによって異なると思いますので、各設定画面をご参照ください。
※現状IPexに統一しておりますが、問題のあるものははSansになっていました。

こちらで確認したのはMozc(変換候補)、メモ、某ネット掲示板のブラウザぐらいですが、
この設定変更により時折表示が汚いものがある以外入力、表示とも快適になりました。

誤解があっては困りますので、前後のSSのみ掲載しておきます。

↓