hir0さん返信ありがとうございました。
自己解決しました。

関係ないかと思って書かなかった要素なのですが、片方がUubntuからフォーマットしたNTFSのHDDで、もう片方はWindowsからフォーマットしたNTFSのHDDでした。
両方WindowsからフォーマットしたNTFSのHDDにすることで質問に書いた症状は無くなりました。
CPUの異常な使用率も無くなりました。

同じNTFSならどちらのOSでフォーマットしても同じかと思っていましたが、何か違うのかもしれませんね。