詳しい話は自分もわかっていないのですが、現在は

WindowsがインストールされているHDDのMBRと呼ばれる領域に
WindowsやLinuxを起動するために必要なGRUBなるものが
インストールされたのだけれど、その設定がうまくいっていないために
GRUBがうまく動かない

という状況なんだと思います。


これを改善するためにはLinuxをアンインストールするのではなく、
(LiveCDを用いて)GRUBを設定しなおすか、
GRUBを消して元の状態に戻す(Linuxは起動できなくなる)
必要があります。

前者についても後者についても、それ相応の知識は必要ですが、
Linuxを消していいというのであれば後者の方が簡単かもしれません。
これには、WindowsのインストールCDが必要だったと思います。

やり方については、FDISKとかMBRとかGRUBとかで検索してください。
あと、それぞれの操作について「何をしているのか」をある程度
わかった上でやらないと痛い目を見るかもしれません。
＃フォーラムかWikiかに説明があったような気がするのですが……。

USB HDDへのインストール方法は、
http://forum.ubuntulinux.jp/viewtopic.php?pid=2851
http://forum.ubuntulinux.jp/viewtopic.php?id=569
などが参考になると思います。