｢インストール用ライブUSB｣はあくまでお試し用で､アプリを追加インストールしたり､ファイルを保存しても､電源オフでクリアーされるものです｡それは単なるisoメディアだからです｡

ですから､｢USBから起動するUbuntu｣という表現は錯誤を与えてしまいます｡
｢インストール｣という言葉と｢書き込む｣という言葉も微妙な違いがあります｡

｢インストール｣は､インストールプログラムによってファイルコピーや設定が自動的に行われるもの｡
｢書き込む｣は､よく｢焼く｣などと表現されることが多いですが､ツールを使ってUSBメモリーなどをisoメディア化するもの｡

本題
USBメモリーでUbuntuを常用するには､｢インストール用ライブUSB｣から→別のUSBメモリーに｢インストール｣します｡
内蔵ディスクにインストールする先をUSBメモリーに替える､ということです｡
イメージは
https://vegam57.livedoor.blog/archives/5038724.html
方法は
https://vegam57.livedoor.blog/archives/5119450.html
初心者さんにはちょっと鬼門があります｡(ブートローダーの置き場所設定)

そうしてちゃんと｢インストール｣されたUSBのUbuntuならば､アプリのインストールは内蔵ディスクのUbuntuと同じ要領で行います｡