市販のusb は、ほとんどMBRのfat32でフォーマットされてますが、このままではマックを起動できません。OSXのディスクユーティリティで、GUIDにフォーマットし直す必要があります（ubuntuをインストール予定のパーティションはあらかじめfat32にしておく。ubuntuだけをインストールするつもりなら、refit をインストールするパーティションだけをhfs+ にして、あとは、ubuntu本体用と、swap 用にfat32のパーティションを２つ用意しておく。fat32はubuntuのインストーラでext4やswap用にフォーマットし直す。ubuntu のフォーマッターでパーティションを切ると、GUIDが壊れますので、起動できなくなります）。これはやってますか？
内蔵HDDを3つ以上のパーティションに分けていると、USBからは起動できません。その時は、臨時に１つのパーティションだけのHDDに交換すれば、refit でusb フラッシュから起動できます。ただ、もとのパーティションをたくさん切ったHDDに戻すと起動できなくなります。そのときは、私が書いた
https://forums.ubuntulinux.jp/viewtopic.php?id=10142
の方法で、EFIブートするようにしてやる必要があります。
ubuntu10.10 をまともにインストールするなら、4GBのusb フラッシュでは少し容量が足りないのでは？、と思います。