残念ながら、提示された内容では情報が不足です。現物を見てないので、さっぱりです。
これでは、誰のアドバイスも得られません。

貴君が使用されているハードの組み合わせ状況により、それこそ違ってきます。
まず、最低限の情報が必要です。
1.PC本体の情報
　メーカー製ならその型番、自作ならマザー・ボードの型番、
　本体と外付けHDDのインターフェースは何(USB?, SCSI, その他)
2.外付けHDDの情報
　メーカー製ならその型番、自作ならマザー・ボードとの接続仕様、
　HDDの型番とその仕様(SATA, IDE, SCSI)

横から少し質問です。
ちなみに「早く起動できる」の具体的な部分を聞いてみたいのですけど、以下の選択肢だと、その辺りの感じなのでしょう。

・一分以上の差が有るなら早いほうが良い、又は余り気にしない。
・30秒前後の差でも早い方が良い、又は余り気にしない。
・10秒以内の差でも早い方が良い、又は余り気にしない。
・1/100秒でも数値的に優れているファイルシステムを使用したい。

PC本体に関しては、デスクトップで比較的新しい機種なので問題ないようです。
当然にUSB2.0もサポート対象に含まれています。でもUSB接続のHDDは本来遅いですよ。。。

そしてHDDの転送速度については内部のSATAには及びません。最近のSATA3ならさらに高速です。
(高価ですが、SCSIの高速ドライブならすごい速度で動作しますが。。。)
外付けHDDで起動させるより、内部にHDDを増設し、そこから起動するのが最善策ですが。。。

本題に戻り、利用されようとする外付けUSB接続のHDDの仕様によると、
http://www.iodata.jp/product/hdd/portab … eature.htm
起動DISKとして利用できるのは、Intel Macのみと明記されています。
この外付けHDDにUbuntuを導入したとして、
PC本体のHDDをブートさせてからgrubを利用し、それからUbuntuを起動することになります。
これでは望んでおられる高速起動は満足できないと思います。

よって、動作対象外なのでダメ元ですが、外付けHDDにUbuntuをインストールしてみて、
起動するかです。。。
なおフォーマットは、Ubuntu11.04以降を導入する場合のディフォルトであるext4が妥当と思います。
それからパーティションは、少なくとも「/boot, /var, /home, /, swap」の構成を推奨します。
特に/boot領域は先頭に配置してください。

SerialATAとUSBは異なる規格なので、外付けハードディスクから出ているUSB端子をUSB/ESATA端子につないだところで、SerialATAと認識されるわけではありません。

ESATA端子として使用したい場合は専用のケーブルで接続する必要があります。

Ubuntu インストールできました。
USBでの接続で起動していますが、１分もあれば起動するので、まあいいです。

教えてくださった皆様、ありがとうございました。