remove
           remove は、パッケージが削除されることを除き、installと同様です。削除されたパッケージの設定ファイルは、システムに残ったままになることに注意してください。プラス記号がパッケージ名に(間に空白を含まずに) 付加されると、識別されたパッケージを、削除ではなくインストールします。

purge
           パッケージが削除かつ完全削除 (すべての設定ファイルも削除) されるのを除き、purge は remove と同じです。

man apt-get からの引用です。