結局、細かい部分は調べていないのですが、以前、UnetbootinでLiveUSBメモリを作成すると英語環境でしな立ち上がらないということを経験したことがあります。
https://forums.ubuntulinux.jp/viewtopic.php?id=10841
Unetbootinで作成したメディアの起動処理の部分を修正することで対応できるものなのかは、現時点では判りません(調べていません)。。
が、簡単な対処としては、UbuntuのLiveCDを作成し、それを使って「スタートアップ・ディスクの作成(Ubuntuのバージョンによって多少表記揺れがあるかも)」からLiveUSBメモリを作成すると日本語環境で起動するメディアが作れそうです。

今までWindows環境でLiveUSBメモリ作成というと、unetbootinしか知らなかったので大変参考になりました。
ありがとうございます。
LiLi USB Creatorの配布元は、
http://www.linuxliveusb.com/
のようですね。

Windows環境で直接LiveUSBメモリを作るソフトが使える場合は、その方が楽だと思いますが、別のアプローチとしては、VirtualBoxなどの仮想マシンを使う方法もあります。ご参考まで。