Anthyでは丸数字やローマ数字を入力できないと思います。

選択肢としては、
1. 入力方法としては、例えば該当する文字を http://ja.wikipedia.org/wiki/%E4%B8%B8%E6%95%B0%E5%AD%97 辺りからコピーしてくるか、
2. コピーした文字を辞書登録しておくか、
3. 別のインプットメソッドを使う

のどれかになると思います。

「別のインプットメソッド」には、Ubuntuのリポジトリーから利用できるものでは「Mozc」というものがあります。(比較的高い変換性能です)
ibus-mozcパッケージをインストール後、ibusの設定画面で登録できます

あるいは、非公式ですがAnthyを改造した「Modified Anthy」を使うという方法もあります。
http://linux.ikoinoba.net/index.php?UID=1270395085