「USBメモリを指して起動すると、OSの選択画面が表示される」ということは、UbuntuはUSBメモリにインストールしたがブートローダーのGRUBはHDDにインストールされてしまったのではないかという気がします。

まずは現状を把握しなければならないので、LiveCDで起動してUSBメモリを挿し、「アプリケーション」メニューにある「端末」を起動させて下記コマンドを実行し、その結果を貼り付けてください。

sudo parted -l
sudo blkid
sudo os-prober

それともう一つ、上記コマンドの結果から内蔵HDDのデバイス名（sdaなど）がわかると思いますので、HDDのMBRの状況確認をするために下記コマンドの結果もお願いします。（sdaを適宜変更してください）

sudo file -s /dev/sda