Ubuntu 24.04をVPSに立ち上げました。
SSH接続をする度にパスワードを聞かれるので、クライアントの設定を見直してから、
鍵を持たないユーザでもログインできてしまうことを確認しております。

パスワード認証は完全に禁止し、鍵交換のみでのSSH接続を利用したいと考えております。

行った変更
SSH待ち受けポートを54322番に変更し、22番をufwでdenyにしました。
・sshd_config
Port 54322
PubkeyAuthentication yes
PasswordAuthentication no
・ssh.socket
[Socket]
ListenStream=
ListenStream=54322

最後にsudo serivce ssh restart をしていますが、完全にパスワード認証が通っている状態です。
新しくなったssh.socketの方の設定方法はほぼ分からず、他にも見落としがあるかもしれないので、
どうかご助力をお願い致します。