とりあえず感度を下げて様子を見てみて下さい。

端末を開いて、
$ xset q
として表示されるものの中で、Pointer Controlの部分を教えて下さい。

Pointer Control:
  acceleration:  2/1    threshold:  4

のように表示されるかと思います。
次に、
$ xset m 1/10 4
とかすると加速度が減るのではないかと思います。
逆に、
$ xset m 5/1 4
などとすると速くなるはずです。
まずは、これらを試してみて、速度が変わるか確認してみて下さい。

数値を大きくして速くなるということは、制御は効いているのでしょうね。
ただ、遅くならないのがよく判りませんが。。
例えば、
$ xset m 1/10 50
とかして、加速が始まるまでの閾値を下げてみるとかはいかがでしょう。

詳細は
$ man xset
して確認してみて下さい。
自分の理解としては、
A/B C
として、A/Bが加速度、Cが加速開始までのピクセル数です。

ポインタ動作は、個人の好みの要素が大きいと思いますので、正常な範囲内なのかデバイスの認識がおかしいのか判断しかねますが、ネットで検索した感じでは、Logicool M505の設定で特別なものが必要という情報はみあたりませんでしたので、そんなものなのでは無いかと思いますが。。
使い物にならないぐらい速かったり、ポインタが飛んだりするのでしょうか。また、別のマウスをつないでみると、速さはどうでしょうか。

funatogawaさん、ご自身のコードを添付していただき有り難うございます。
早速参考にさせていただき、 xset m 1/1 5 で設定してみましたが期待しているマウスの速度よりも速く感じる状態です。

hmatsueさん、何度も付き合っていただき有り難うございます。
マウスを取り替えて再確認してみました。
今回の確認で使用したマウスは同じく Logicool の MX320 です。
設定値はfunatogawaさんより頂いた xset m 1/1 5 です。
MX320 に関しては M505 よりも少し遅く感じますが、マウス底面の接地面積の違いによる抵抗の差でしかないようです。（要するに何も変わっていない）
一応マウスの不具合を疑い、M505 を普段使用している PowerMac G5 に接続し確認しましたが、マウスの不具合ではないようです。
Ubuntu で使用している時の状態を説明することは難しいですが、ポインタ飛び等が起こっている訳では有りません。

ちなみに
xset m 1/1 5
xset m 1/10 5
上記2点の体感的な違いはありませんでした。

xset m 5/1 5
などとすると速度は速くなります。

今のところ
xset m 1/1 5
に設定してありますが、この数値よりは遅くしたいと思っています。

接地面積とは物理的なマウスと机などの接点の面積の事です。
マウスが大きくなれば、マウス底面と机の接地面積が大きくなります。接地面積が大きくなれば抵抗も大きくなるので考慮しました。

普段はマウスをセーフティーマット（カッターボード）の上で使用していますが、フェルトのマウスパッドを使用したり、紙を使用したり、机（黒）を利用したりと、数種類のマウスパッドを試しましたが、ポインタ飛びの発生などはしていません。
またM505を別のPC（PowerMac G5）に接続しマウスの設定速度を調整しましたが、希望通りの速度を得る事が出来ました。UbuntuとダブルブートしているWinXPでも希望通りの速度を得る事が出来ています。Ubuntuでのマウスの速度は、PowerMacやWinXPと比べる大体2〜3倍位の体感速度の違いが有ります。

xsetでの設定ではなく、H/Wの変更で快適な速度が得られるのならば是非やりたいと思っています。
H/Wの変更はどのようにすれば良いのでしょうか？

こんばんは、私の場合以下の方法で解決しましたのでお試しください。
端末で以下のコマンドを実行します。
$ xinput --list --short

ズラッとリストが表示されますので、そのなかからマウスと思われるデバイス名を見つけてください。
見つけたら次に以下のコマンドを実行します。
$ xinput --set-prop "先ほどのマウスのデバイス名" "Device Accel Constant Deceleration" 3

最後の数字を1～10あたりで調節してみてください。数字が小さいほど遅くなります。
再起動すると無効になってしまいますので、スクリプトにして保存し、「システム」ー「設定」ー「自動起動するアプリ」から登録しておくと次回から自動で適用されます。

多分ですが、
Logitech USB Receiver                       id=13
だと思いますが、id=12にも同じ名前がいるようです。
デバイス名では
13
と指定してみてください。
まだ、自分では試せていませんが、
http://wiki.archlinux.org/index.php/How_to_set_mouse_acceleration_in_X
のような記事を見つけました。
チラ見した感触では、xsetはアクセラレーション(加速)の設定をし、xinputでの'Device Accel Constant Deceleration'の設定はデセラレーション(減速)をするものらしいです。
# 無駄手間をとらせてしまい、申し訳ありませんでした。

コマンドとしては、
$ xinput --set-prop 13 "Device Accel Constant Deceleration" 3
などとして試してみて下さい。

スクリプトの作り方ですが、端末を開き、以下のコマンドでエディタを起動してください。
(スクリプトのファイル名は任意です 例.mouse-deceleration.sh)
$ cd
$ gedit mouse-deceleration.sh

以下の2行を入力して保存したらエディタを終了させます。
#!/bin/sh
xinput --set-prop 13 "Device Accel Constant Deceleration" 3

続いて以下のコマンドを実行し、スクリプトを実行可能にします。
$ chmod +x mouse-deceleration.sh

端末を閉じ、メニューの「システム」ー「設定」ー「自動起動するアプリ」を開きます。
「追加」ボタンを押し、名前欄に適当な名前を入れ、コマンド欄に作成したスクリプトを指定してあげればOKです。

解決されたようでよかったです。また、Himakkoさんには方向修正していただき、大変ありがとうございました。
やや、蛇足の感もありますが、デバイスIDはなにかの拍子(他にUSB接続の機器が追加されるなど)に変わってしまうことがあるかも知れませんので、スクリプトを下記に変えて試してみて下さい。

xinput --set-prop `xinput --list --short|grep 'Logitech USB Receiver'|grep pointer|sed -e 's/.*id=\([0-9]\+\).*/\1/'` "Device Accel Constant Deceleration" 2

念の為簡単に説明しますと、バッククォーテーション(`)で囲った部分が実行結果の出力に読みかえられます。
中では、xinput --list --shortの結果から対象のデバイスの行だけをgrepで抜き取って、次のsedでデバイスidだけを抜き取ります。
これでうまく動けば、万が一、デバイスIDが変わることがあっても対応できているはずです。

hmatsueさん、詳しく解説までしていただき有り難うございます。
新しく記載して頂いたスプリクトに変更してみました。
動作確認も済ませましたが、好みのマウススピードを維持しています。
Himakkoさんにも感謝です！