https://wiki.ubuntulinux.jp/UbuntuTips/UsbInstall/InstalltoUSBStorage

↑後知恵ですけど、USBメモリ・USBHD等に、Ubuntuを入れる際には、9.〜10.のブートローダーのインストール先を、USBメモリ・USBHD等のデバイスに変更しておく必要があります。

で、PCの復旧ですが、概略はWindowsのOS・DVD,CDで起動して、回復コンソールでコマンドを打ち込む必要があります。
Windows＠＠ mbr 修復 で検索すると方法が数々ヒットすると思います。
↑＠＠はお使いのOS名に置き換えて下さい。

分からなければ、またここに返信して下さい。

Microsoftのものに戻すと言うのではなく

＞USBメモリを取り外した状態でWindowsを起動するためにはどうすればよいのでしょうか？

取り急ぎ処理が必要なのでしたら何かブートローダーを入れれば良いので、以下はどうでしょうか。
MBMのインストールの項のみ呼んでください。
https://forums.ubuntulinux.jp/viewtopic.php?pid=56945#p56945

一手間掛かりますが、時間が有るなら導入が簡単で、実行後の見栄えもスマートなこちら方法も紹介されています。
ms-sys
https://forums.ubuntulinux.jp/viewtopic.php?pid=57647#p57647

petitbootangさんが#3で仰っている様にMicrosoftのvistaのブートローダーは別途提供されていないのでMicrosft製で利用できるものを探すのが厳しい状態です。

Ubuntuとは直接関係のないトピックにも関わらず、みなさんアドバイスしていただき感謝しております。

インストールディスクがあったので、#5の方法を試してみようと思ったのですが、
DVDからブートすると直接インストールするパーティションの選択画面に移ってしまいます（修復コンソールが選べない）。
どうすれば良いでしょうか？

どうしてもできなければ、#4のms-sysを検討しようと思います。

(これはUbuntuに直接関係しないトピックですので、他の所で質問したほうがよいでしょうか？)

お返事ありがとうございます。
通常ならインストールディスクからのブート後、言語選択やキーボードの配列選択画面が出て、
その後中央に大きく「今すぐインストール～」なのしょうが、
なぜかブート直後から（言語選択などを飛ばして）インストール画面になっていたと思います。

念のため、今からもう一度DVDを起動して確認してきます。

結局、#4にあったように、KNOPPIXをCDに焼き、ms-sysを実行することで解決しました。
VistaのインストールDVDはよく分からないままです。なんだか中途半端なものでした。

みなさま、ご回答ありがとうございました。
以後、他のOSをインストールするときは気をつけます。