MBR に Ubuntu の ブートローダをインストールしてしまったと言うことです。
まずは、Windows の インストールディスクを使って、MBR の復旧をしましょう。
その後、Ubuntu の LiveCD からブートして、端末から
$ sudo grub-install /dev/sdb
とすれば、USB を挿したときだけ Ubuntu が起動出来るようになるでしょう。

LiveCD から起動したら、アプリケーションメニューから、アクセサリ -> 端末をクリックして開いたウィンドウで、
$ sudo grub-install /dev/sdb
と入力すると言うことです。
あ、最初の $ は要りません。

お使いの Windows が Vista なのか 7 なのか分かりませんが、Windows Anytime Upgrade DVD って上位バージョンへのアップグレード用ですよね？
それで、MBR の修復が出来るのかは、ちょっと調べた限りでは分かりませんでした。
メーカ製 PC なら、購入したときにどんな名前の CD or DVD が付属しているか教えてください。

リカバリディスクから工場出荷状態に戻すのではなく、MBR のみを復旧させることが出来るかどうかは、そのディスクの仕様によるところが大きいので、メーカに確認してみたほうが良いでしょう。
まっさらな状態にしてしまうのが普通ですが、システム復旧メニューのようなものが呼び出せるタイプのものもあったりするので、回復コンソールと同等な機能が使える場合もあります。
ダメな場合は、Ubuntu や knoppix や freedos などから修復するのは難しいので、どこからか起動ディスクを入手してくる必要があります。
Google 先生に聞けばすぐ分かりますよ。

sadame による投稿:

初めまして。お困りのようですね。おそらく、リカバリ&ユーティリティディスクでマスター・ブート・レコードを、windowsの物に書き換える（FIX-MBR）事が出来るなら、それが解決方法になります。USBを差していれば、windowsは起動出来るのですよね？。ならば、windowsを立ち上げて、”FMV画面でみるマニュアル”を読んでみてはいかがでしょうか。おそらく、起動出来ない場合の対処方も書いてあるのではと思います。windowsが立ち上がってから、Ubuntu入りのUSBは再インストールするなり、USBにLinuxのMBR（gurb)を書き込むなりすれば良いかと思います。

　因みに、ブートローダーであるgurbを何処にインストール（書き込む）かで、デュアル・ブート環境が決まります。
windowsのブートローダーが書かれていたハードディスクの領域（これをMBRと言います）にLinuxのブートローダーで
あるgurbを上書きしたのが原因で、USBを差していないとwindowsを起動出来なくなったのです。
　簡単に説明しますね。
PCの電源をONにする→BIOSが起動→ハードディスクのMBRにあるブートローダーが起動する→OSの書かれている領域の読み込みが始まる。　　これがシングル・ブート・アップの順序です。

　今の貴方のPCの状態はこうです。
PCの電源をONにする→BIOSが起動→ハードディスクのMBRにあるブートローダーが起動する→ブートローダーの子ブー
トローダーが起動される（USBに書かれている。しかも、OSのルート領域に）→Ubuntuを起動するかwindowsを起動す
るか選ぶ→どちらかのOSの読み込み（起動）が始まる。　ですから、USBを差していないと、エラーが出てストップする
のです。　BIOSでUSBからの起動を最初に設定出来るなら、ハードディスクにはwindowsのブートローダーをMBRに書いて、USBにはUbuntuのブートローダーを書く。これで解決なのです。ブートローダーであるgurbは特殊な二段階ないし
三段階式の物なので、それに注意しなければいけないのです。私も初心者ですが貴方と同じような失敗をしたから知った事
です。あきらめずに頑張ってPCライフを続けましょう！。　では。

※規約違反により追放されたユーザの投稿は、ログインユーザにのみ表示されます。

Shota K による投稿:

すいません
初心者なのでさっぱりわかりません
$ sudo grub-install /dev/sdb
と入力しても治りません。

上記のコマンドは、PCの内臓HDD内のMBRが復旧後で結構です。

まず、以下のコマンドを実行し結果を貼り付けて下さい。
$ sudo parted -l

できれば、そちらの環境が閲覧者に分かるようにPCの機種名までお知らせ下さい。
尚、コマンドの実行結果によりHDDリカバリ方式であるか否か判断出来ると思います。

Shota K による投稿:

それにwindowsのブートローダーをMBRに書くといわれても…
どういやって書けばいいのでしょうか。

リカバリをすれば特別な操作をしなくても復旧する筈です。
OEM供給のVistaと7は、自力で起動ディスクを作成できないのでMBRの復旧手段は、リカバリでしか方法がありません。　

Shota K による投稿:

sudo parted -l としたところ　こうなりました
あとリカバリはしたくないです　というかちょっとした都合で無理です

モデル: ATA Hitachi HTS54161 (scsi)
ディスク /dev/sda: 120GB
セクタサイズ (論理/物理): 512B/512B
パーティションテーブル: msdos

番号  開始    終了    サイズ  タイプ   ファイルシステム  フラグ
1    1049kB  17.8MB  16.8MB  primary  ntfs
2    17.8MB  1092MB  1074MB  primary  ntfs
3    1092MB  54.8GB  53.7GB  primary  ntfs              boot
4    54.8GB  120GB   65.3GB  primary  ntfs

上記がPC内臓のHDDの構成のようですね。
見たところパーテーション構成を変更しているようですね。
bootフラグがsda3についてるのはなぜだろうか？
変更前の構成は分かりますか？

Shota K による投稿:

モデル: USB-HS SAMSUNG SP2514N (scsi)
ディスク /dev/sdb: 250GB
セクタサイズ (論理/物理): 512B/512B
パーティションテーブル: msdos

番号  開始    終了   サイズ  タイプ    ファイルシステム  フラグ
1    32.3kB  247GB  247GB   primary   ext4
2    247GB   250GB  3052MB  extended
5    247GB   250GB  3052MB  logical   linux-swap(v1)

こちらがUSBHDDのパーテーション構成ですね。
とりあえず、PCの型式をお知らせ下さい。
あとメーカーの保障問題がどうなっても構わないならサポートします。
ちょっと出かけますのでまた後ほど。

Shota K による投稿:

PCはFMV BIBLO
で箱にはFMVMG50Wとかいてありました
メーカーの保障問題がどうなっても構いません

PCはこれで間違いありませんか？
http://www.fmworld.net/product/hard/pcpm0704/biblo_loox/mg/method/#MG50WN

上記のリンク先の製品であれば
http://www.fmworld.net/product/hard/pcpm0704/biblo_loox/mg/method/notice.html
注10により、工場初期出荷状態のパーテーション構成が確認出来ます。

パーティションは約50GBをCドライブに、残りをDドライブに区画設定しています。

ということですのでsda3が53.7GBありブートフラグがあるのでCドライブだと思われます。
さらにsda4が65.3GBあるのでこれがDドライブだと思われます。

また、Windows RE領域に約1GBを占有しています。

sda2が1074MBあるのでここが該当すると思われます。
さらにsda1が復旧プログラムの呼び出しをするための細工がしてあるようです。

見た限りでは、お手元にあるリカバリ&ユーティリティディスク1枚で復元できるようですね。
念のためにトラブル解決ナビにて確認をしておいて下さい。

今回は、リカバリはしたくないとのことですので他の方法での復旧を試みる訳ですが、今までの説明をもう一度振り返って確認をし結果を報告して下さい。
ちゃんとした報告がなければ先へ進みませんのでご了承下さい。