jackalopeさん返答ありがとうございました
URLを拝見したのですがその方法だと一度GURBをインストールしないと行けませんよね？
Ubuntuのインストール時にGURBをインストールして後からそれを削除できますか？
アンインストールの仕方も解りません

できればブートローダーをインストールしたくないのと普段USBメモリを指していない時はLinuxのブートローダーを表示させたくありません

ブートローダーをインストールしないで他のパソコンなどで作成することはできないでしょうか？

あまり簡単な方法、と行きませんでしたが、(結果的に3段ブートになってます・・・)
・動作が確実そうで、
・設定ファイルのコピーや編集作業はWindows環境で行い、
・Windowsのパーティションにはとにかく一切触らず、
・Ubuntuもひとつのパーティションに収まっていてアップデートがスムーズに行くと思われ、
・USBメモリの残りの容量をWindowsとUbuntuで使える
方法が一応まとまりましたのでご紹介します。

※これより良いGUIツール等ご存知の方いらっしゃいましたら何卒お力添えください。

[1]syslinuxをダウンロード
http://www.kernel.org/pub/linux/utils/boot/syslinux/
より、syslinux(今最新版は syslinux-3.74.zip のようです)をダウンロード、展開しておきます。

[2]grub4dosをダウンロード
http://sourceforge.net/project/downloading.php?group_id=104188&filename=grub4dos-0.4.4.zip&a=65072489
より、grub4dos-0.4.4.zip(今最新版は grub4dos-0.4.4.zip のようです)をダウンロード、展開しておきます。

[3]USBメモリを起動可能にする
USBメモリをFAT32でフォーマットします。
USBメモリのドライブ名をしっかり覚えます。ここでは U ドライブとします。

syslinuxを展開したフォルダ内のwin32フォルダ、例えば syslinux-3.74\win32 を開きます。
メモ帳等で、

syslinux.exe -maf U:

と1行書いたファイルを、syslinux-3.74\win32 フォルダ内に jikkou.bat(.batであれば何でもいい)として保存し、実行します。
※cmd.exeを普通に使って syslinux.exe -maf を行えればそれで問題ないです。
USBメモリのドライブ名がUドライブでなければ、U: を対応したドライブ名に変えてください。

[4]GRUB4DOSを入れる
grub4dosを展開したフォルダ内に、grub.exe があるので、USBメモリのルートにコピーします。

[5]設定ファイル作成
USBメモリ内に、syslinux.cfg ファイルと menu.lst ファイルを作ります。

syslinux.cfg の中身は

default grub.exe
timeout 0

menu.lst の中身は、まずは

title ubuntu
map (hd1) (hd0)
map (hd0) (hd1)
chainloader (hd1,4)+1
boot

title shutdown
halt

としてみます。

[6]USBメモリから起動
PCを再起動し、BIOSでUSBメモリから起動するように設定します。
USBから、まず一瞬syslinuxが起動し、grub.exeが実行され、grubのメニュー画面になりますので
試しに ubuntu を選んでEnterを押してみて下さい。

上記 menu.lst の中身は、
・HDDが1台
・HDDの先頭の基本パーティションがひとつ、それがCドライブでWindowsが入っていてアクティブパーティション
・その後ろに拡張パーティション、その中に論理パーティションが順にUbuntu、スワップ
となっていると仮定して、BIOSのディスク認識順も勘で決め打ちした仮の設定ですが
もしかしたら、起動するかもしれません。

起動しなかった場合は、Ctrl+Alt+Delで再起動します。その後grubメニュー画面で
shutdown を選べば電源が切れますので、USBメモリをはずし、Windowsで起動して、フォーラムに相談にいらしてください。
※grubコマンドラインを使って、USBメモリから起動した時BIOSがUbuntuパーティションを何番と認識しているかを調べて
※USBメモリ の menu.lst を編集する作業を行います。

jackalope による投稿:

リンク先の情報を参考にすれば出来ます。

上で長々と書いてしまった者ですが、私は
https://wiki.ubuntulinux.jp/UbuntuTips/Others/CreateBootUsbFlash
の方法は私はお勧めしません。

上記リンク先の方法では、USBメモリ上のmenu.lstに vmlinuz や initrd.img が決め打ちで書き込まれ、USBメモリのmenu.lstに書いてあるカーネルを呼ぶことになるので

起動するカーネルバージョンがmenu.lstで固定されますので、カーネルのバージョンアップがあった場合に menu.lstを手動で変更しなければ最新のカーネルで起動できない等の問題

は発生しますよね？
PBRのGRUBをUSBのブートローダからチェインロードした方がUbuntu上のトラブルが少ないように思います。

※USBメモリ上のmenu.lstもカーネルバージョンアップ時update-grubで更新してくれるのか調べておりませんが、
※USBメモリをはずしてカーネルバージョンアップが入ったらどうなるのか、など考えると
※USBメモリはPBRのGRUBをキックするだけのものとしておいた方が良いように思います。


また、実際のところ、私の書いた方法も
https://wiki.ubuntulinux.jp/UbuntuTips/Others/CreateBootUsbFlash
のmenu.lstの中身違いみたいなものではあるのですが、この方法だとmenu.lstがext2の上にあるため、
慣れ親しんでいるWindows上で作業を行ったり今後の編集が出来たほうが良いのではないかと思います。

いずれにせよ、Ubuntuをインストールしたパーティション(PBR)にGRUBを入れます。
※入れなければならない、という訳ではないのがUbuntuやLinuxの柔軟なところですが、今回は入れるものだと思っておいてください。
それにはCDからUbuntuを入れ直して、その時のGUIで行うのが楽と思います。

PBRにインストールしただけであればWindowsの起動時にOS選択の表示はしません。

そうして「自分で起動できないが、パーティションの先頭にGRUBの入ったUbuntu」の状態になった後に、
Windows上で私の書いた方法を行うか、
もう一度LiveCDで起動してUbuntu上で
https://wiki.ubuntulinux.jp/UbuntuTips/Others/CreateBootUsbFlash
の作業を行います。