サーバの用途によると思います。
ローカルでファイルサーバやメディアサーバなどに使うのであれば、GUI を入れても良いと思いますが、Web サーバ等外部に公開するものであれば、なるべく余計な物を入れないほうが良いと思います。
X-Window はセキュリティホールに成りやすいので、サーバマシンには GUI 関連のソフトウェアは入れずに、Webmin 等で別のマシンからアクセスしてサーバ管理する方が良いでしょう。
公開サーバには、行いたいサービスに関連したソフトウェア以外は入れない、不必要なデーモンはすべて止めるが基本です。
私などはヘタレなサーバ管理者なのであまり偉そうなことは言えないのですが、名うての管理者でもクラックされて情報盗まれたりしてますから。
せめて、踏み台にされることは絶対に避けなければなりません。

vbk による投稿:

GUI版(デスクトップ版)でもサーバー環境は簡単に構築できるので、まずデスクトップ版を入れてからApache等のサーバーソフトをインストールする方が作業はしやすいと思います。

了解しました。とりあえずインストールしてみます。ありがとうございました。