~/.bashrc の

case $TERM in
     linux) LANG=C ;;
     *) LANG=ja_JP.UTF-8 ;;
esac

は、ローカルでログインして、コンソール上で日本語表示をしないための設定と思われるので、余計でしょう。

potato 様へ．

余談ですが，

case $TERM in
     linux) LANG=C ;;
     *) LANG=ja_JP.UTF-8 ;;
esac

の ja_JP.UTF-8 は，最近の Ubuntu(Linux 全般?) では，ja_JP.utf8 になっていたと思います．
確か，9.xx か 10.xx 時代から変わっていたと思いますが…．

一応文字化け直りました。
一応というのは、ubuntu本体は白い四角のままですが、win7からのリモートは日本語が表示されるようになりました。
基本的にwin7の方から操作するつもりだったので、これでとりあえずはやっていこうと思います。

直接の原因かはわかりませんが、結論からいうとSSHの設定でUsePAMの部分をnoにすると文字化けするようです。
（デフォルトはyesです）

自分が試していった手順を載せておきます。
まずubuntuを再インストール（OpenSSH LAMP PostgreSQL Smaba）して、ubuntuの方でIPの設定（IP固定）とSSHの設定でPortとPermitRootLoginの
二つを変更して、win7の方から操作する準備をしました。ここで一度再起動させて、これ以降はwin7の方で操作してきました。
この時点でwin7は正常な日本語、ubuntuは白い四角です。
この後は自分がインストールする予定だった ia32-libs mt-daapd HLDSUpdatetool の三つを順にインストールしていって、一つインストールするたびに
文字化けしないか確認していきます。（ついでに再起動）この三つのインストールでは問題ありませんでした。
続いてsambaの設定をして、ファイルサーバーとして使えるようにしました。この時点でも文字化け無し。
次にSSHで公開鍵認証の設定をすることにしました。文字化けとは直接関係ないのですが、この鍵の設定でかなり苦労しました。
雑誌を読んでこのログインする方法にしようと思ったのですが、どうしても秘密鍵のほうをUSBに移すことが出来ずsambaを使ってwin7へ渡しました。
そのために先にsambaの設定を済ませました。しかしそのままでは移動できなかったので chmod というコマンドを使って
鍵のパーミッションを変更して移動させましました。
その後、鍵方式でログインできるのを確認して、SSHの PasswordAuthentication UsePAM の二つを変更。これを変えたあと文字化けが起こったので
一度ここでストップ。またOS再インストールからやりなおして、最後の部分をPasswordAuthenticationだけ変更することにしたら文字化けしませんでした。

経緯はこんな感じです。

しばらくはこのまま進めていこうと思います。
このトピックを覗いてくれた皆様、siさん、hellfireさん 有難うございました。

zaganさん、お返事有難うございます。

jfbtermというのをインストールしたら日本語が使用できるようになるのですね。助言ありがとうございます！

この単語を検索していて気付いたのですが（自分の勘違いかもしれませんが）
（（このフォーラムのトピック「コンソールで日本語を表示する方法」がヒットしてそこを読んでみました））
もともとserver版のコンソール（ubuntuの入ってるPC本体からの操作）は日本語表示は前提では無いのようで
OSインストール後のubuntuのコンソールに表示される白い四角は正常な状態ってことなんでしょうか。
インストール時に日本語の選択があったので、日本語で表示されるのが正常な状態だと思っていました。
自分が遭遇したSSHを利用しての文字化けと白四角は関係がなかったのですね。

「PUTTYを使用してSSH鍵」のリンク先を読ませてもらいました。クライアントの方で鍵を作ってサーバー側に渡すという方法もあったのですね。
文章を読んだ感じではこちらのほうが簡単そうでした。次回に鍵を作る機会があるときは、こっちの方で試してみます！