Chromium も確認しましたが、ブラウザの設定からは行えませんでした。

代わりに、システム - 設定 - お気に入りのアプリ で設定できる仕様です。
ここに表示されていれば、設定すれば目的動作をするようになるでしょう。
MATE に限らず、この動作は生じる場合があります。

なお、Ubuntu MATE は beta2 に更新されていますが、
ちょっと手順があるので、Ubuntu MATE 公式サイトのブログを参照の上で行ってください。
ただし iBus で日本語入力を行っている場合、ibus 関連のコマンド実行は行わないでください。