標準で入っているものを消さないほうがいいですよ。
不要に見えるパッケージが実はOSの動作に必要だったりするかもしれないので。

ちなみに最小構成でインストールすれば、好きなパッケージだけ選択することも可能です。

最小構成のインストールは専用のisoイメージを使えばいいですよ https://help.ubuntu.com/community/Installation/MinimalCD
それとLinuxを弄りたいのなら仮想マシンがいいですよ。何かあった場合に再インストールすることは時間の無駄なので、バックアップが簡単に取れる仮想マシンは優れています。