フォントはSystem->Preferences->Fontsで変更可能です（フォント自体がインストールされていれば）。バックスラッシュが円記号になるのはフォントが日本語のフォントだからではないでしょうか？適当な英字フォントを選べばバックスラッシュになっています（別に日本語が表示できないというわけではありません）。geditなどで試せばわかるかと思います。

FirefoxであればEdit->Preferences->Content->Fonts&Colorsでフォントを変更できます。Advancedのセクションで言語コード別に指定できるのでJapaneseの場合だけ日本語フォントにしておくこともできます。