「Broadcast RGB」ですかね。
Xorg環境ではxrandrコマンドで、Wayland環境であればproptestで設定、GNOMEの場合は「~/.config/monitors.xml」で設定するという。
ただ、メーカーやドライバー（オープンソースかプロプライエタリーかなども）の違いで設定可能かどうかが変わり（というのは私の想像です）、そこにハマっているということでしょうか？

私の場合は、（モニターがくたびれていてHDMI接続時の高い周波数というかModelineだと横線のノイズが入ったりするというのもあり、）「Broadcast RGB」では設定せず、DVI接続で起動した際のXorg.0.logからModelineを拾ってきて、xrandrで周波数設定するようにしています。Wayland環境の場合はKMSで自作のEDIDを指定することになると思いますが、まだ試してません。

（タイトルには「GUIで」と書かれているのですが無理ではないかと感じたので上記を書きました）