私は13.04やmate-desktopなどを使ったことがないので申し訳ないですが、
恐らくgsettingsで非表示にできると思います。
非表示の例なのでfalseですが、trueにするとアイコンが表示されるはずです。
試してみてください。

< 例 >
ホームアイコン非表示
$ gsettings set org.gnome.nautilus.desktop home-icon-visible false
ゴミ箱非表示
$ gsettings set org.gnome.nautilus.desktop trash-icon-visible false

< 参考 >
org.gnome.nautilus.desktopで何が編集できるのか知りたい場合。
$ gsettings list-keys org.gnome.nautilus.desktop
background-fade
computer-icon-name
computer-icon-visible
font
home-icon-name
home-icon-visible
(以下略)