自分はサーバ管理などはしていないため、ご参考程度の意見としてみて下さい。

t% による投稿:

・64bit版と32bit版どちらを使うべきか
・パーティションの切り方

64bit版と32bit版のどちらが良いかはマシンの構成、性能にもよるかと思います。
CPUによって32bitの処理の方が早かったりするものもあります(Core2などはそうらしいです)。
一方、4GB超のメモリを32bit版で使用するとPAEでの利用になるため、処理が遅くなるかと思います。
長期的には64bit版が主流になっていくはずなので、32bit版のメリットが勝っているのでなければ(一長一短といった場合は)64bit版を使うのが良いかと思います。
今回の場合は、AMD Athlon II X2 260uとのことなので、64bitでも良いかと思います。
# 特にメモリが4GB超なら、64bitがおすすめです。

t% による投稿:

そのため、CUIで管理できる自信がないので、serverにGUIをかぶせて使おうと思っています。
知人(UNIX上級者ですがubuntuユーザではありません)の助言にしたがい、serverのインストール後にKDEを適用して使おうと考えています。

サーバにGUIを入れるのはおすすめできませんが、管理の都合上GUIがあった方が良い、とのことであれば、むしろDesktop版を導入してしまえばよいのでは無いでしょうか。Desktop版で導入しても、あとから、Server版のカーネルを導入することもできます。
# 一応、サーバ版は重い処理をこなすのに最適化されていて、
# デスクトップ版は細かい処理を切り替えながら実行するように最適化されているらしいです。

t% による投稿:

マシンには128GBのSSDをストレージとして使用するのですが、上記の使い方でどういう切り方をするのが適当か、あわせてご教授いただけると幸いです。

Webサーバは良いとして、ファイルサーバやmailサーバならSSDでは無くHDDの方が安心なような気がします。。最近はSSDも耐力が上がっているかも知れませんが。
以前はmailのたまり場所(/var)などは専用パーティションを切るべしと言われていたようですが、容量の問題ならあとでquota切ってもよいですし、信頼性の問題であれば定期的にバックアップをとればよい話だと思いますので、/とswapだけでも良いように思います。
サーバー版でインストールするのであればlvmにしておいて、適当なサイズで/var, /usrあたりを分けておいてもよいかも知れません。必要なサイズは運用の中で見えてくると思いますので、適宜変更。

t% による投稿:

kubuntuのパッケージとなっているものは、私の認識では、古いものしかないのだと思っています。
であれば、「GUIのないもの」にGUIを導入するほうが、まだきれいな環境になるような気がしています。

KubuntuのレポジトリはUbuntuのそれと同じものですので、パッケージに違いはないはずです。
やろうと思えば、Ubuntuをインストールして、taskselでKubuntu環境に入れ替えることも、その逆も可能です。
「他の理由」を考慮して、楽な方法を選択していただければよいかと思います。

t% による投稿:

これに関しては、現在のSSDがHDDに比して特段に劣っているとは、私は考えていません。
それと、マシンの据え置きスペース上の問題で、あまりドライブを増やせない状況ですので、SSDのみの構成でいきたいと思います。

拝承。
自分も実際にはSSDがどの程度耐久力が上がったものか、把握しないで先のコメントを書いてしまっています。
SSDの長所、短所を理解された上での選択のようですので、問題無しですね。

t% による投稿:

ちなみに、「lvmにしておく」というのは、パーティショニングの際「手動」を選んでも、選択できるものなのでしょうか。
先に書いた(SSD的な)理由で、ドライブ全体を使ってパーティショニングをしたくないため、「手動」での設定になるかと思います。

途中の画面までチラ見してみましたが、手動設定でも論理パーティショニングできそうな雰囲気でした。
多分できると思いますので、一度試してみて下さい。