日本語のTeXは稀にしか使いませんが、

http://tmcosmos.org/linux/ubuntu/ubuntu704.html#tex

このページを参考にして入れたものが問題なく動作しています。

＃texliveは日本語対応しないのかな。

ただ、東風フォントを削除してIPAモナーフォントにリンクを張る部分だけは、個人的にちょっと受け入れられないと思っています。

フォント周りはまあ各自ってことでいいと思います。

自分は、UTF-8なソースにも対応している、ptetex3をソースからコンパイルして使っています。

Ubuntuの標準がUTF-8であることを考えると興味深いですね。

こんにちは。
Edgyのdvipsk-ja/xdvik-jaにはバグがあるようで、日本語が通りません。Feistyで試したところでは問題ありませんでした。Edgyの日本語ローカライズ版にこれらのパッケージの修正版があがると助かると思っています。（Feistyではハードディスク関連で未解決のバグがあるため、現在はテストでしか使えません。）
本来はバグ報告をした方が良いのでしょうが、既にFeistyで直っている状態ですので…。
UTF-8対応などは、platex-utf8などでupdate-alternativeで選択するのがUbuntuらしいかな、とは思います。確かに現在はTeX関連のファイルのみEUC-JPにしている状態です。

Shibataさんに作ってもらったパッケージを、以下にアップロードしました。

  http://archive.ubuntulinux.jp/ubuntu-ja/gutsy-experimental/latex-env-ja_0.1_all.deb
  http://archive.ubuntulinux.jp/ubuntu-ja/gutsy-experimental/latex-extra-ja_0.1_all.deb

各パッケージの詳細については、LaTeXForJapanese に記述されています。
問題などあれば、指摘してください。