タイトルに書きましたとおり、ローカルマシン（サーバ）デスクトップにユーザーをログインさせた状態
でないとSSH接続時に、permission denied(public key)となってしまいます。

Ubuntu 12.04.1 LTS-Server-amd64を使用。
サーバ版ですが、都合によりデスクトップ環境もセットアップしてあります。

解決方法がいまいちわからず、サーバのデスクトップ環境にユーザーをログインさせた状態にしています。
このような動きをするものなのでしょうか。

鍵認証には、パスフレーズを設定してあります。
LAN内、インターネットからもデスクトップにログイン状態であれば、リモートからSSH公開鍵認証にて
接続できるのですが、デスクトップ環境からログアウトした状態になるととたんに失敗してしまいます。
sshd_configの設定が悪いのか、デスクトップ環境をセットアップしたことによる動きなのか切り分けが
できないでおります。
できれば、デスクトップ環境を生かしたまま、デスクトップからログアウトした状態でも、SSH接続で
リモートからコンソール操作が可能になると都合がいいのですが、解決方法をどなたかお教え願えませんか。