いまいち、内容が理解できませんでいしたが、
1. 一台のPC(dell c400  cpu 800MG Memo 1G)に接続可能なHDDが2台あって、
2. それぞれのHDDに、Ubuntuと、Windows XPをインストールして、
3. OSを切り替える毎に、HDDを交換して使う
ということであれば、特に問題は無いかと思います。

# もう春なので大丈夫かとは思いますが、HDDの交換をするたびに、
# HDDのコントローラなどを静電破壊する恐れがあることにご留意下さい。

「Ubuntuに最近興味を持ち、試しに使ってみたいと思っています。対象となるPCはDELL製のLatitudeC400で、スペックとしては、CPUに、MobilePentiumIII-M 800MHz、メモリは仕様上で最大の1GBを搭載しています。なにぶん興味があって試しに使ってみたいだけということもあり、今使っているHDDのWindowsXPに影響が出ることは避けたいので、別途HDDを用意して、換装して使ってみようかと思っているのですが問題はありますでしょうか？幸い構造的にはネジ一本でマウンタを外すことが出来るので、物理的な交換は難しくないように思います。何か注意点、問題点等有りましたらご教示ください。」

…という内容ではないのかな？むしろそうじゃなかったらこの情報量で把握しろっていうのは違うベクトルで泣くんだけど。
古い物だとUbuntuのインストール、動作実績も有るようです。
http://w3.funsrv.com/~konjo/passwiki/passwiki.php?site_id=&page=diary%2F20070815
ということで、ネジ三つらしいですし、交換は簡単？と判断するのは多分ちょっとでも実物を目的の下調べで弄ってれば把握できると思われますし、「差し替えて」は元のハードディスクに掛かっているようですから、リプレースしながらの運用を目指しているように読むのが素直と思われます。

想定されていることは恐らく問題ないのですが、基本的に（ましてやPATAのコネクタは）過度の挿抜を想定して作られた物では有りませんので、頻繁に交換するようなら新しいHDDにXPを転送の上、マルチブートを目指す方が物理的なリスクは減らせます。
PATAで、マウンタ側にコネクタが付いているようですから、挿抜の時にピンを曲げないようには注意が必要です。
また、交換時にはHDDの落下にも注意が必要です。

「挿し換えて」と書いてあって別インターフェイスへの実装と運用と読むのは厳しいと思うんだけどなぁ。

#5に対する補足です。
USBメモリは８GBあれば十分です。インストールは十分注意が必要です。