スタートアップディスクの作成で２つのパーテーションを作ったUSBメモリの2番目のパーティションをスタートアップディスクとして書き込めば大体希望されている通りになると思いますがどうでしょう？


1.まずgpartedなどでパーティションを２つに切りますが両方共FAT32の基本領域として作成します。（両方共FAT32となる部分だけ違うと思います）
2.スタートアップディスクの作成を起動し
3.インストール元のイメージかCDを選択
4.使用するディスクでUSBメモリの2番目のパーティション（多分/dev/sdb2になると思います）を選択
5.データ保存領域を確保しデータと設定を保存出来る様にするか、シャットダウン時に全て変更を破棄するか選択
6.スタートアップディスクの作成をクリックしてしばらく待てば出来ます。

基本はLiveCDをメモリにインストールした物ですのでLiveCDの様に扱え
5番目の所でデータ保存領域を確保すればデータや設定変更を保存出来、
先頭のパーティションはWindowsからもUbuntuからもアクセス出来、
Ubuntuのシステム自体はWindowsからはアクセス出来ないものが出来る筈です。


私もスタートアップディスクで作成したUbuntuを愛用しております。ただUSBメモリやSSDは書き換えに弱いので「シャットダウン時に全ての変更を破棄」で作っています。
その代わりUCK（Ubuntu Customization Kit）などで自分の使い易い環境にインストール元のイメージ自体をまず先にカスタマイズしております。
システムを立ち上げるメモリとデータを共用するメモリを一つのメモリで済ますという発想は全くなく別のメモリを使っていたので、ちょっと面白いと思いました。
3番の所は多分ISOイメージを選択した方が早いと思いますが今まで自分じゃ一度もイメージから作った事が無いのにも今回初めて気付かされ愕然としています。