端末を開いて、 sudo apt-get remove ubuntu-desktop で行けると思います。

ただし、ubuntuに標準で入っているアプリケーション（xubuntuのLiveCDからセットアップした際にはインストールされないはずのアプリケーション）はそのまま残りますので、不要なアプリケーションはsynapticなり何なりで削除する必要があります。

ちなみに私もメインはxubuntuですが、その逆でubuntuをセットアップして、たまにGNOMEデスクトップを使っています。
（xubuntuをインストールした後で、ubuntu-desktopとubuntu-desktop-jaをインストールしている、と言うこと）