大きな違いは、サーバ版は余計なもの(GUI、いわゆるデスクトップ環境や、オフィスツールなど)がインストールされないという点ではないでしょうか。
サーバの設定についてはGUIで端末を起動しても、X無しの環境でやっても大差は無いはず。これから勉強しながらとなると、より親切なブラウザが標準で使えるデスクトップ版の方がやりやすいでしょう。
細かなところでは、サーバ版はサーバとして使いやすいように調整されているそうですが、よほど負荷のかかるシステムでなければ気にするほどのことはないでしょう。
# 32bit版限定の話ならサーバ版はデフォルトでPAEが有効になっている?今はデスクトップもでしたっけ?

サーバ版を使うならbash(と他のコマンドラインツール)とviとw3mがあればあとは何もいらないぐらいの気合がいるかと思います。Xを入れるならデスクトップ版と変わらないですし。

そもそも、現在デスクトップ版をインストール済なら、カーネルだけサーバ版のものに入れ替えるのも手です。意味があるかどうかは別として。