Ubuntu正規版では、やったことないですが、一度、英語モードで立ち上げると、デフォルトで作成されるディレクトリ名を英語にするか？　とか、二度とこの問い合わせをしない とか、聞かれます。
これに、希望の返事をすると、英語名で、ディレクトリを作成してくれます。
ただし、ディレクトリ内にファイルが在ると、日本語名と英語名のディレクトリ両方できてしまう場合があったと思いました。
この辺の事に関するスレッドが、8.04リリース初期にあったと記憶しています。
サイト内検索すれば、ヒットすると思います。

siさまBooさま
ありがとうございます。@ITの情報で無事に設定完了しました。
GUIも便利なのですが、CUIの補完やコマンド操作も捨てがたく、全角文字に困っておりました。