hoso1093 による投稿:

　これからインストールするＰＣはファイアウォール内部にあり、せいぜい5，6名ぐらいが外部からアクセスして個別に数値計算などを行うというものです。また、そのＰＣ本体を前にしていろいろと仕事（もちろんGUI環境で）をすることもあります。
　ubuntuのホームページで説明されている、デスクトップ、サーバの違いはパーソナルユースとビジネスユースであり、サーバにはGUIさえなく、数百というアクセスを裁こうかという印象です。一方、デスクトップはWindows,MACに取って代わろうという思想のように見受けられます。

一応、あまり明確に書かれていませんが（書いてあっても微妙なので）、かるーく書いておくと、

　・Desktop版は頻繁にOS側でタスク切り替えをかけ、応答性能を重視したカーネル（ただしタスク切り替えのコストがかかるので、その分「ヘビーな」処理は苦手です）。
　　さらにDesktop特有のハードウェア（3GとかWLANとか3D関連とか）のドライバと省電力モードを追加。
　・Server版はタスク切り替えの頻度を抑え、ヘビーな処理を効率よく行えるようにカーネルを構築。さらにServer特有のハードウェア（FC-HBA）などなどのサポートを加えている。

という違いです。初期インストールされたパッケージの違いはありますが、sudo tasksel することでDesktop <=> Serverの入れ替えは用意に行えるようになっています。
で、お望みの使い方であればDesktop版を使ってServer関連のパッケージを入れれば問題ないと思います。

ただ、9.04からはServerでも積極的な省電力モードのサポートが入りますし（完成系は9.10）、3D関連ドライバもGPGPU用途で必要になるので有効になっていきますので、タスク切り替えの頻度と初期パッケージだけが違いになると思います。