①UEFIの設定で､USBポートの先にブート可能な状態のOSがあれば､それを優先と設定するか
②PC電源投入の都度､手動で起動デバイスを選ぶUEFIポップアップを出すか
が比較的簡単かと思います｡

ただし､既存のディスクは今までもレガシーBiosでなくUEFIでインストールされたUbuntuである必要はあろうと思います｡
また､それをクリアーしていても､なにせPCが相違すれば､既存Ubuntu内ドライバ等でどこかに支障はでるかも知れません｡
更に､UEFIやWindows､それぞれの高速スタートアップ設定もオフにする等の細工も必要でしょう｡
それでもダメだった場合は､既存ディスク内のブートローダーGrub問題も探求しないといけませんが､
それなら新PCのUSB起動でのクリーンインストールをしてしまった方が早いと思います｡

やはり､ややこしさは避けられませんな｡
新しいWindowsPCであれば､確かに躊躇しますよね｡

私のおすすめは､とりあえず既存ディスクの状態で､どこで壁にあたるかをやってみてから､
その経験を元にクリーンインストールに挑戦
が良いのではとお察しします｡

>ちなみにこの場合はwindows側になんかしらの変化というか痕跡を残すものなのでしょうか？
>それがもとでトラブルに繋がったりはないのでしょうか？
>以前、同一ディスクにwindowsとUbuntuのデュアルブートをしたときにGrubでトラブったトラウマがありまして、少しそのへんが気になっています。

慎重に行えば､内蔵ディスク自体とWindowsには変化痕跡は生じないものです｡
外付けディスクだけの世界にするには､
外付けディスクへのインストール時に､Grubの置き場所も外付けディスクに置くことが鬼門になりますが､これうっかりすると内蔵ディスクにしてしまうケースが後を絶ちません｡昔私もやらかしました｡
(インストールの途中画面で推奨インストールでなく｢その他｣というマニュアルインストール作業)

>なにより今までのデータがext4上に保存されているのでそこが一番厄介です。
>かといってwindows消すのもなんだかなー、という次第です。

Windowsでもext4からファイルをコピーしてくるソフトはいろいろありますので､
新品Windowsに飽き足らずになるまで､外付けディスクへのインストール手法の情報整理だけでも楽しいかもしれません｡

もう、締め切ってしまいました？
外付けHDDケースに入れていく、色々な、パソコンでUbuntuを起動してます。
時には、データ吸出しの、レスキューとして使用する事もあります。
中古小容量のHDDを複数購入して、色々のディストリビューションをインストールしてLinuxを楽しんでます。

BiosでWindowsパソコンの起動順序を、先頭にするだけです。
本体のWindowsには、何の痕跡も残りません、注意点は、Linux側からWindowsのデレクトリが見えるので、
レスキュー作業とかの必要な事、以外は触らない事ですかね。