とりあえず参考になりそうなサイトをいくつか。

http://d.hatena.ne.jp/higepon/20090405/1238936592
http://selfishness.sblo.jp/article/22688228.html
http://slashdot.jp/linux/article.pl?sid=03/02/03/195230

Googleで検索： http://www.google.co.jp/search?hl=ja&q=ubuntu+9.04+caps+%E7%82%B9%E6%BB%85&btnG=Google%20%E6%A4%9C%E7%B4%A2&meta=lr=

なお、CDのメディアそのものの異常の可能性も考えられますので、
もう一度LiveCDを作成して、それで起動してテストしてみるのはいかがでしょうか。

また、以前も似たようなトラブルがあったようですが、こちらは未解決だったのでしょうか。
解決しておられるようなら、このときの手法が参考になるような気もします。
https://forums.ubuntulinux.jp/viewtopic.php?id=3977

あと、使用されているPCの機種名、ハードウェアの構成などを併記されると、
適切な回答が得られる可能性が高くなると思われます。