利用環境が抜けてましたので補足です。

PC:HP ML115
Ver: 8.10
Linux version 2.6.27-9-generic (buildd@rothera) (gcc version 4.3.2 (Ubuntu 4.3.2-1ubuntu11) )
#1 SMP Thu Nov 20 21:57:00 UTC 2008 (Ubuntu 2.6.27-9.19-generic)

#1のysntu-Valentineさんへ

標題の件については、「環境変数 JAVA_HOME PATH export Ubuntu 9.04」とかのキーワードで十分調べられる範囲にあると思います。
他の人はどうやてJAVA_HOMEを設定しているのだろう？という視点で見れば、質問せずに自力で分かってしまいます。

さて、気になる点として、
PATH=/bin:/usr/bin:/sbin:/usr/sbin:$JAVA_HOME/bin
は、/usr/bin配下のjavaが先にヒットするので期待通りに動作しないです。最低でも/usr/binより前でないと。
# というか、/usr/bin:/sbin:/usr/sbin配下のコマンドをJavaのプロセスから使うケースはあまりないと思いますが。

ネット上のブログなどでは、
PATH=$PATH:$JAVA_HOME/bin; export PATH
という書き方をしているケースが山ほどありますが, $PATHの候補が先にヒットしてしまうシステム環境では、間違った方法と言えるでしょう。
(たまたま動いているので間違いに気づきにくい)

＞ synaptic　でインストールせずに手動でやるべきなのでしょうか。
基本的にアプリは、Synaptic経由のインストールが第一候補ですが、個々のニーズにより他所からDLし手動で入れてもよいでしょう。
もちろん一長一短はあります。

＞locate java とコマンドを打つと、複数のdirにそれらしいものが散らかって見つかるのですが、
locate使うなら、
$ locate --regex java$
の方が適切ですよね。

あと、「散らかっている」という表現から、/usr/bin配下のjavaとかの正体を理解されていない印象を持ちました。
もし余力があれば、
・シンボリックリンク （lnコマンド、readlinkコマンドなども）
・「update-alternativesシステム」と /usr/sbin/update-alternativesコマンド
・/usr/sbin/update-java-alternatives
について勉強すると良いと思います。

それらを総合的に理解した上で、Synapticで入れたJavaがどこにあるかは
$ update-java-alternatives -l
とかの方法でも分かったりします。