Ubuntuのバージョンや、
どのようなデバイスを使っているのか(USB接続のHDD、USBメモリなど)と、念の為その型式、
インストールの方法、つまり、USBスタートアップでLiveUSBメモリを作ったとか、通常の方法でインストールしてブートローダをUSB-HDDのMBRにインストールしたとか、wubiでインストールしたとか、
の情報が必要です。
USB-HDDにUbuntuをインストールしてデュアルブートする場合、
USB-HDDにUbuntuを通常の方法でインストールして、ブートローダのインストール先をUSB-HDDのMBRに指定(ここが重要です)しておき、
PCのBIOS設定では外付けUSBデバイスを、内蔵HDDなどより優先にしておくと、簡単にできるのでは無いかと思います。
ブートローダを間違えて内蔵HDDにインストールしてしまうと、リカバリが実行できなくなる、USB-HDD無しではWindowsも起動できなくなる、などトラブルになりますので十分注意して下さい。

上記の状態でなおUSB-HDDからUbuntuを起動できない場合、USB-HDDのアクセスランプなどを見て、USB-HDDから起動しようとしているか確認してみて下さい。また、画面表示の遷移を観察してみて下さい。
なお、電源供給がUSBからのみのタイプのUSB-HDDでは起動が上手くいかないケースもあるかも知れません。電源供給をACからも取れるものであればACからとってみて下さい。

ここに書いたような内容全般がよく判らないといった場合は、実際に作業を始める前に、調べるとか聞くとかしていただいて、判らない部分をクリアにしてから作業開始して下さい。

なんか、どこぞのドラマの影響なのか、どこぞの雑誌がなにかやらかしたのか、USBデバイスからのブート大好きな人が多いのはなぜだろう？
「安全」と思っているなら、Falseです。
実際には保護したいドライブもオンラインであれば、そこには「誤操作、誤動作」によってアクセスされるリスクは常にある。
最近だと、アップデートに伴い悲鳴を上げることになる人が多いようだけど、「安心」とか「安全」とおもってるなら、過信はしない方が良い。
パーティションのリサイズや、ブートロジックに割り込むこと等のリスクが回避できる程度の意味しかないですし…遅いですよ。普通に入れるよりは。

一応ブートメニューに項目が有るようなので、#3は「試してみてから要素としては除外すればいい」とは思うのですが、型番検索でUSB1.1な世代のマシンとは思えなかったのですし、随分と最近の（印象のある）機種のような。2002年のマザーボードでもメニュー自体は見ていますし、あんまり年式は当てにならない気はします。対応していてもBIOS側が互換モードなので、ドライバが切り替わるまでは遅いなんていう事は意外とあったりはしますが、それは「ブートデバイスにできないということではない」ので、「BIOS設定メニューで項目が表示されている」なら動作する可能性はあります。

ただ、どの機器をブート対象にするかは、BIOSの設計次第で、マスストレージなのか、リムーバブルデバイスなのか等、デバイスの申告によっては対象外となるケースもあります。

インストールの手順や設定も基本的には内蔵ドライブにインストールするのと大差はなく#2で説明が有るとおり、「うっかり内蔵に書き込まないように」することと「外付けのドライブに必要な物（MBRやブートパーティションの設定など）を書き込む事」が行われていれば、後は対応しているなら一応は条件を満たすことになります。

その上で、起動ドライブとしてUSB-HDDを指定し、且つ、接続されているのに無視されて次のデバイスから起動しようとするのなら、多分その本体は「そのHDDをHDDとして認識していない」という事になりますので、BIOSを経由した普通のブートロジックで起動することは諦め、別の方法を考えることになります。多くの場合ドライブにもBIOSにもそれを何とかするほどの細かい設定はないですので、起動のお膳立てができているドライブが繋がっていて、起動するように指定していても普通に内蔵HDDや、光学ドライブのシステムが起動するようなら想定した方法は諦めた方が良さそうですし、設定やインストールに起因する問題なら、HDDから起動したシステムが何か文句を言うか、動作するはずです。

いずれにしても、リカバリメディアが作成できるなら作成する。イメージバックアップツールをもっているなら、HDDイメージを作成しておくなど「きちんと準備をしておく」様にしないと他のトピックで泣いてる人と同じような目に自分が遭うことになることもあるということは認識して慎重に作業を行ってください。内蔵に入れないから大丈夫だもんねと適当に作業してみんな泣くのです。ちゃんと準備したときに限ってあっさり何事もない物だけど。