マシンスペック的には問題なさそうです。
私がしばらく前まで使っていたシステム(E8400? 2GB 8400GS)より上等です。

USBは 2.0 と思いますが、ライブシステム、virtualbox と遅くなる要因が多すぎるのでは
ないかと思います。

USBメモリを直に起動してみれば大分早くなると思います。
それでも実用に耐えるかどうか？です。あくまでお試しなので。

変更を保存できないのはライブシステムの仕様と思ってください。
CDに収めるためにシステムは圧縮されたファイルに入っています(squash fs)。
通常インストールに４GB超のディスクスペースが必要なものを７００MBに収めるのですから。
そのためにシステムには書き込みできないのが普通です。
最近のものは、CDメディアでのインストールを諦めているほどです。

ubuntu のライブUSBクリエイターと言うプログラムなら aufs(another union fs)
と言うオーバーレイシステムで書き込みを保存できるライブUSBを作れますが、
他のOS上に同様のプログラムがあるかどうかは知りません。
linux live usb creator に書き込み領域を作るオプションはなかったでしょうか。

有線だと何も設定せずともつながると聞いたのですが、本当でしょうか。

大抵つながると思いますよ。

後日調査で起こったことを記録として残しておきます。

日本語Remix仮想ハードディスクイメージ（ubuntu-ja-12.04-desktop-i386-vhd）をHDDに置いてvirtualboxで動かすと、
以前usbメモリから読ませたときより速く動いてくれました。
当たり前だろうとお思いになるでしょうが、私にはちょっとした驚きでした。
あと起動時のエラーログが激減しました。（皆無ではありませんでした）
以前はエラーログの嵐だったので、linux live usb creatorで上手く作れていなかったのかもしれません。

次にアップデート（３０M）しようとしたら失敗しました。
flashをソフトウェアセンターから入れましたがfirefoxで見られませんでした。

ここで一度シャットダウンし再起動したら、今度はエラーログは一切出てきませんでした。
アップデートをしようとしたら量が５１７Mに増えていました。今度は無事成功しました。ただかなり時間がかかりました。（４５分）
flashをインストールし直したら見ることができました。

自分で色々やってみて思ったことは、HDDに余裕があるならCDRにLIVECDを焼いてHDDに直接インストールしたほうが速いし確実だということですね。
（失敗する可能性が最も低いので、問題が起きた時の切り分けに時間を取られることが少ないと思われます。時間コスト的な意味で速いです。）
元々HDDにインストールするつもりでいたものの手元にCDRが無かったため、USBでインストールを試したのでした。
結局やむなくCDRを買いに走ったのですが、一枚だけ売っているところが近所に無く４枚組を買うはめになったのは少々苦い思い出ですｗ。（残りの３枚を使う日はくるのだろうか）

USBインストールディスクの作成に興味が残っているので、
技術評論社の連載の、第64回　USBを使用して安全にUbuntuをインストールする（http://gihyo.jp/admin/serial/01/ubuntu-recipe/0064）
を試してみましたが、端末を使うところでusb-creatorは見つかりませんと言われて頓挫しました。（苦笑）
おそらく完遂するやり方は他にあるのでしょうが、さすがに一旦ここで止めておきます。
ubuntuの変化が速いので、少し前の記事だと完全に同じ手順で再現できないことがあるのがubuntuの初心者泣かせなところですね。