LiveUSBメモリ作成に使ったツールは、
http://www.pendrivelinux.com/universal-usb-installer-easy-as-1-2-3/
あたりのツールでしょうか。

LiveUSBメモリは、基本的にLiveCD用のISOイメージをUSBメモリにコピーし、起動部分をUSBメモリ用に置き換えただけのものではないかと思います。
元がCD用のものですので、書き込みできない状態が想定されて作られています。
そのため、PCのRAMを使って電源を切るまでの間、仮想的にファイルを書き込めたように見せかけている(という表現でよいかちょっと自信がありません)ような状態になっています。
そのため、PCの電源を切ると書き込んだはずのファイルが消えている、という状態になっているものと思われます。

USBメモリであれば、CDとは違い、ファイルを書き込みできるのだから、ファイル書き込みできるように工夫することは可能で、universal-usb-installerもその機能に対応しているものと思われます。
Step4の部分で追加するファイルを書き込むための、上記でいうところの「PCのRAM」に替わる書き込み用ファイルのサイズが設定できそうです。

とりあえずは、設定が保存できるようになったようでよかったです。
しかし、LiveCDやLiveUSBは本来ファイルを更新することを想定した作りにはなっていないため、カーネルをアップデートしてしまったりするとおかしな挙動を示すようです(起動時のカーネルイメージと起動後のカーネルに不一致が発生するためと考えていますが、正確な挙動は理解できておりません)。
ちょっとした設定変更の保存だけではなく、本格的に使用する場合は、通常のインストールをしていただいた方が使い勝手はよいかと思います。

tmz による投稿:

USBメモリに対する通常のインストールとは、
https://wiki.ubuntulinux.jp/UbuntuTips/UsbInstall/InstalltoUSBStorage
に書かれているようなことをさしておられるのでしょうか？

そのとおりです。
ただ、Wikiの方は最近誰も更新していないため、手順詳細はかなり変わってしまっているかと思います。
ブートマネージャ(兼カーネルローダ)のgrub2のインストール先を間違えると厄介なことになりますので、Ubuntuのインストール経験があまりないようであれば、事前に仮想マシン(VBoxなど)でインストーラの挙動を確認しておくことをお勧めします。また、万が一、grub2のインストール先の指定で迷うようなことがあれば、インストールしてしまう前にこのフォーラムなどで誰か判る人に相談していただくのがよいかと思います。

なお、ウェアレべリングが実装されていないUSBメモリを使うと、どの程度の期間かははっきりとは言えませんが、比較的短期間で書き替え可能回数を超えてしまう恐れがあるので、そのあたりも考慮して最終的どのように使うかを検討願います。