VirtualBox のサイト http://www.virtualbox.org/wiki/Downloads から、
VirtualBox 4.0.4 Oracle VM VirtualBox Extension Packをダウンロードして、適用してください。

Oracle_VM_VirtualBox_Extension_Pack-4.0.4-70112 と言う名前のファイルがダウンロードされるので、VirtualBox の環境設定ｰ>機能拡張でパッケージを追加ボタンをクリックし、ダウンロードしたファイルを選んでインストールして下さい。

これで、USB2.0 として動作するようになります。ネイティブで使っているのと同じになるとは思えませんが、私のところでは不快に感じるほど遅いと思ったことはありません。

VirtualBoxの設定で、USB 2.0を有効にする、にチェックが入っていますでしょうか。

circus による投稿:

もしかして、下記URL画像の場所以外にもUSB2.0有効に関する設定項目があるのでしょうか？
http://beeimg.mydns.jp/uploader/j/my1986Ytw6I_DxqpwAU.png

私が考えていた箇所は上記のスクリーンショットの設定項目で相違ありません。

これでもUSB2.0で動作しないというのは妙ですね。
使用されているUSB機器はUSB2.0に対応のものでしょうか。型式も分かれば投稿下さい。
また、間にUSB-HUBのようなものや、別のUSBポート付きキーボードなど、なにか別の機器が挟まっている場合、それらを一度外して問題としている機器とPCを直接接続してみて下さい。

ところで、Ubuntuの端末を開いて、
lsusb
を実行すると、何が表示されますでしょうか。

ごめんなさい。書き漏れがありました。
接続状態を確認したいデバイス(iPhone4, iPodでしょうか?)を挿した状態で、

lsusb
lsusb -t

してみて下さい。ご参考まで、私の環境で実行すると、

$ lsusb
(snip)
Bus 002 Device 002: ID 05ac:1297 Apple, Inc.
(snip)
$ lsusb -t
(snip)
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci_hcd/6p, 480M
    |__ Port 6: Dev 2, If 0, Class=still, Driver=, 480M
    |__ Port 6: Dev 2, If 1, Class=vend., Driver=usbfs, 480M
    |__ Port 6: Dev 2, If 2, Class=vend., Driver=, 480M
(snip)

となり、480Mで動きそうです。
# Dolphinからは写真しか見れませんでしたが。。

hmatsueさん
はい、ではiPhone4を刺してlsusbをしてみました

Bus 007 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 006 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 005 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 004 Device 003: ID 056e:0035 Elecom Co., Ltd
Bus 004 Device 002: ID 0566:3107 Monterey International Corp.
Bus 004 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
Bus 003 Device 002: ID 05ac:1297 Apple, Inc.
Bus 003 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 002 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub
Bus 001 Device 001: ID 1d6b:0002 Linux Foundation 2.0 root hub


lsusb -t の結果は・・・

3-2:4.0: No such file or directory
3-2:4.2: No such file or directory
/:  Bus 08.Port 1: Dev 1, Class=root_hub, Driver=xhci_hcd/4p, 5000M
/:  Bus 07.Port 1: Dev 1, Class=root_hub, Driver=ohci_hcd/4p, 12M
/:  Bus 06.Port 1: Dev 1, Class=root_hub, Driver=ohci_hcd/2p, 12M
/:  Bus 05.Port 1: Dev 1, Class=root_hub, Driver=ohci_hcd/5p, 12M
/:  Bus 04.Port 1: Dev 1, Class=root_hub, Driver=ohci_hcd/5p, 12M
    |__ Port 1: Dev 2, If 0, Class=HID, Driver=usbhid, 1.5M
    |__ Port 1: Dev 2, If 1, Class=HID, Driver=usbhid, 1.5M
    |__ Port 2: Dev 3, If 0, Class=HID, Driver=usbhid, 1.5M
/:  Bus 03.Port 1: Dev 1, Class=root_hub, Driver=ehci_hcd/4p, 480M
    |__ Port 2: Dev 2, If 0, Class=still, Driver=, 480M
    |__ Port 2: Dev 2, If 1, Class=vend., Driver=usbfs, 480M
    |__ Port 2: Dev 2, If 2, Class=vend., Driver=, 480M
/:  Bus 02.Port 1: Dev 1, Class=root_hub, Driver=ehci_hcd/5p, 480M
/:  Bus 01.Port 1: Dev 1, Class=root_hub, Driver=ehci_hcd/5p, 480M

・・・・でした。

はい、
Bus 004 Device 003: ID 056e:0035 Elecom Co., Ltd
Bus 004 Device 002: ID 0566:3107 Monterey International Corp.
Bus 004 Device 001: ID 1d6b:0001 Linux Foundation 1.1 root hub
これらは、キーボードとマウスです。
低速で動作するというのは、iPhone4とiPod8Gの事です。
説明不足ですみません

hmatsueさん
はい、VirtualBoxは、リポジトリに
http://download.virtualbox.org/virtualbox/debian
を追加してapt-getでインストールしました。

デバイスフィルタの作り直し、GuestAdditionのインストールもしてみました
・・・しかし、やはり2.0として動作はしてくれません・・・
Windowsの再インストールも何度か試したんですがダメでした

何か相性的な物でしょうかねぇ・・・？
いろいろアドバイスいただき本当にありがとうございました