3. 日本語Remixでのインストールで無い場合、日本語Remix相当の環境にするとどうなるか。
http://www.ubuntulinux.jp/products/JA-Localized
https://forums.ubuntulinux.jp/viewtopic.php?id=8699

を試してみて下さい。
リンクの一つ目は日本語チームのレポジトリの追加方法についてのものです。
二つ目は、先日、私がこの問題にあった際に質問、報告した際のトピックです。

対策としては主にふたつあり、
1. ユーザ毎での対処
$ cp /etc/fonts/conf.d/69-language-selector-ja-jp.conf ~/.fonts.conf
してシステムのフォント設定ファイルを各ユーザのホームディレクトリにコピーし、DejaVuを含む行を削除する。

2. 日本語チームのレポジトリから不具合修正版のパッケージをインストールする
前述のリンクを参照し、日本語チームレポジトリを追加し、language-selector-commonの0.5.9~ja1に更新する。

実際にそちらでされた操作をできるだけ具体的かつ正確に投稿願えますでしょうか。
お勧めは2番です。
なにか日本語チームレポジトリを追加したくない、できない特段の理由があるのであれば、~/.fonts.confの設定内容を投稿下さい。

https://forums.ubuntulinux.jp/viewtopic.php?id=8771
でもそうだったようですが、パッケージを更新しただけではダメだったようで申し訳無いです。
一度、ログアウトしてログインしないとfont情報を更新してくれなかったのだったっけ。。

日本語をメインで使う場合は、日本語チームのレポジトリを入れておいた方がなにかと都合がよさそう(経験談)なので、もう一台のUbuntuマシンにも日本語レポジトリを追加されておくと、よいのではないかと思います。

# もし、気が向いたら、ホームディレクトリの設定無しで、パッケージ更新後、ログアウト、ログインしたら
# font情報が正しくなるか見ていただけると嬉しいです。とか書いてみるテスト。