こんにちは。度々お世話になっております。

WindowsサーバからUbuntuServerに乗り換えた者ですが、管理について皆様にお聞きしたいことが数点あります。
お暇なときにお答えいただければ幸いです。

・WindowsPCやUbuntu(LinuxMint)からのリモートアクセス(OpenSSH?)
慣れないCUIですが、なんとかサーバを使用出来る状態にし、稼働を始めました。
いままではTeamviewerというリモートデスクトップソフトウェアを使用してサーバの管理をしていたのですが、そもそもGUIの無いUbuntuServerでリモートでアクセスする方法がいまいちよくわかりません。
検索をし、調べて見るとOpenSSHなるものがあると知りましたがこれについていくつか質問があります。

・どのような状態でリモートアクセスをするのか
コンソール上で使用するOpenSSHですが、これは実行したいコマンドを一方的に送信するものなのでしょうか？
それとも、コンソールがサーバの画面と同じようになるのでしょうか？

・パスワード認証方式があまりインターネット上に載っていないのはなぜ？
どこもかしこも公開鍵/認証鍵で使用する方法ばかり載っています。
出先で使用したり複数台のPCで使用するのでパスワード認証だと非常に楽なのですが、セキュリティ上以外の理由で何かあるのでしょうか。
もしかしたら自分の公開鍵や認証鍵などの認識が間違っているかもしれません。

・自分がしたいことができるのか
具体的に、自分がリモートで管理をしたいのは次の通りです。
　1.ファイルのアップロード/ダウンロード
　2.Apacheのhttpd.confの編集
　3.サーバの再起動
これさえ出来れば多分、大丈夫だと思います。

・もっと良いツールがあるか
OpenSSHでも構いませんが、上のことが出来る他のツールがあるのでしたらそちらも調べて検討してみます。
WebminというWebベースのアプリケーションを見つけましたが、SSLの設定がうまく行かず諦めてしまいました。

質問攻めになってしまいましたが、ご回答、よろしくお願いいたします。