VirtualBox は落としておいてから、端末で、
$ sudo usermod -a -G vboxusers hoge(hoge は自分のユーザ名)
と打ち込んでから、VirtualBox を起動すれば、USB が使えるようになってないでしょうか？

もし、これでダメなら、端末から、
$ cat /etc/group|grep vboxusers
とすると、
vboxusers:x:123:hoge
といった出力が返されるので、これの数字の部分をメモっとくか覚えといてください。

次に端末から、
$ sudo gedit /etc/fstab
として、fstab を開き、下記の行を一番したに追記して保存(下記の数字の部分がさっきメモっといたやつ)。
none /proc/bus/usb usbfs devgid=123,devmode=664 0 0
端末から、
$ sudo mount -a
としてから、VirtualBox を起動すれば USB が使えるようになっているはず。
もし、まだ認識されなければ、システムを一度再起動してから試してみてください。

VirtualBox の右下のタスクトレイ(って言うのかな、呼び名が分からない)の左から 3 番めのピン見たいなやtが USB のアイコンなのですが、これを右クリックしても、USB メモリはグレーアウトしていて選べない、と言うことでしょうか？
それと、「場所」でマウントと言う操作はしなくていいと思うのですが、それをやっているからダメということではなくて・・・？

VirtualBox の設定-USB で、USB メモリをフィルタに追加しておくと、一々手動で USB メモリにチェックを入れなくても、Windows 起動後、挿せばすぐに認識するようになります。

mount: マウントポイント /proc/bus/usb が存在しません
と言うエラーは、私は今まで出たことがないので詳しくは分かりませんが、
ひょっとすると、やはり、
$ sudo usermod -a -G vboxusers hoge(hoge は自分のユーザ名)
だけで USB が使えてる可能性があるので、
/etc/fstab に追加した記述を下記のように先頭に # を付けてコメントアウトして、システムを再起動してみてください。
#none /proc/bus/usb usbfs devgid=123,devmode=664 0 0
もし、それで正常に VirtualBox で USB を使えれば、/etc/fstab の記述は削除して構いません。

petitbootang さんの投稿:$ sudo usermod -a -G vboxusers hoge(hoge は自分のユーザ名)
だけで USB が使えてる可能性があるので、

~~~~~~~~~~~~~~~~~~~~~~~
USBデバイスをVirtualboxで使用する方法
~~~~~~~~~~~~~~~~~~~~~~~

petitbootangさんの書かれているとおりです。必ずこれを行わなければなりません。

GUIで設定したいのであれば
システムー＞システム管理ー＞ユーザとグループー＞グループ管理ー＞グループ管理の窓内vboxusersを選択ー＞
プロパティー＞グループのメンバ窓内のユーザー行の先頭にあるチェックボックスをONにする。ー。OKー＞閉じる

virtualbox設定メニューにあるUSB、USB デバイス フィルタ設定で
・空のフィルタを追加
・デバイスからフィルタを追加
を選択設定できます。
・空のフィルタを追加
　新規のフィルタ1,2,3・・とその仮想システムで接続使用できるUSBの数分設定できます。
・デバイスからフィルタを追加
　Host OSでVirtualbox起動時に接続されているデバイスを仮想システムに割当てることが
　できます。事前に分かっているUSBデバイスを登録しておくことにより仮想システムが起動
　したのちでもデバイスの抜き差しで利用することができます。

ちなみに私はデバイスを特定しないで新規のフィルタ１で利用しております。
仮想システム起動後、Virtualboxメニューにあるデバイスの今利用可能なUSBデバイス一覧
から選択して利用しております。
この場合USBが固定されないのでどのUSBでも利用できるので重宝しております。

Ubuntu 10.04 ではUSBを差すだけで自動的にmountしてくれますので特に/etc/fstab等で事前に設定する
必要はありません。