デスクトップ版とサーバー版には余り違いはありません。Xでメールチェックをしたいのであればデスクトップ版でインストールして必要なサーバーソフトウェアをインストールする方が遥に簡単です。

確かにカーネルの設定は若干違いますが、サーバーでメールチェックをするような環境で差が出るようなものとは思えません。以下に両者のカーネルオプションの違いについてのレビューがあります。

http://www.enterprisenetworkingplanet.com/netos/article.php/3709221
http://www.enterprisenetworkingplanet.com/netos/article.php/3710641
http://www.enterprisenetworkingplanet.com/netos/article.php/3712031

サーバーはサーバーで別に扱いたいのであればデスクトップ版をインストールしてVMWareなどでサーバー版を動かす手もあります。

anoirさんとhitoさん話でだいたい状況がわかりました。
教えていただいたURLを読む限りはコンフィグファイルファイルにそう違いは無いので、ｄｒｉｖｅｒが不足しているというのが正しいみたいですね。そのままgeneric kernelを使うようにします。
ただ、同じxorg.confで違う動作をするのがFreeBSDをやってきた私にはちょっと信じられなくてびっくりしてしまいました。

ちなみに、今までkldloadで読み込めるmoduleでもいつもmake buildkernel; make installkernel をやってました。(^_^)