まず、ハード面での確認として：

・「Displayport to HDMIケーブル」は音声を通す仕様でしょうか。
　　また、PCのHDMIから変換を介在せずに、セレクタから音声を出力した実績（ノートPCとか）はありますか。

上記が問題なく音声を通す変換＆セレクタだったとして、
Ubuntu側のサウンドの設定で「出力デバイス」にご使用のビデオカード関連の音声デバイスが選択可能であれば
（たとえば「HDA Nvidia」などを）選択すれば、DP（HDMI）から出力されるかと思います。

>正確には、HDMIセレクタの切り替えに関係なくPCの内部スピーカーから音が出てます。

上記状況からは、おそらく「出力デバイス」をPCマザボ側の音声出力（HD Audio Controllerなど）に設定しているように思います。
ご確認ください。

おそらく、pavucontrol （PulseAudio 音量調節）で設定できるかと。
無かったらインストールしてください。

「設定」タブで、該当するVGA系音声デバイスのプロファイルが
「オフ」になっている、と思われます。「Digital Stereo 出力」など、適当な設定に変更してみてください。

20.10 で設定から音声の設定を辿り、PC内臓かHDMIかを切り替えてTVに出力できたと思います。
多分、バージョンやフレーバーごと状況が異なっているかも知れませんね。
FossaPupでも同様に映像と音声をTVに出力出来たとおもいますが
映像と音声、各々をHDMI側に設定せねばならなかったと記憶しています。
WINの場合は繋ぐと自動でTV側に全て行きますが暫くすると音声がでなくなるのでケーブルを抜いて差す猿知恵で解決しています。

　PC：DELL製　OPTIPLEX７６０　　出力：Displayport→Displayport to HDMIケーブル→③HDMIセレクタへ
結局、上記の接続ではどうしても音声が出なかったので諦めました。
それで、Displayportからではなく、PCから直接HDMI出力が出来るようにビデオカードを増設してみました。

PCのHDMI出力からそのまま③のHDMIセレクタに接続したら、HDMIセレクタでPCとテレビチューナー兼用のモニター＆外部スピーカー
の切り替えが問題なく出来るようになりました。

何が問題で今まで出来なかったのかはよくわからないままですが、一応やりたいことは実現出来ましたのでこれで良しとしたいと思います。