その後の報告です。
7月10日は、前々日の処置でうまく動作していると思っていましたが、やはり起動時の電源落ちは解決していませんでした。
前日発注していたシリコングリスが、本日朝に届いたので午前中に古いシリコングリスを拭き取り新しく塗り直しました。
午後状況を監視していますが、現在10回程度の再起動でも症状は出ていません。
この状態であれば良いのですが

確かに CPU や メモリ周りなど不安になる点も多いのですが、幾分古い PC と言うことで、HDD の bad sector で動作がおかしいと言うことはないでしょうか？
Linux には文字通りのコマンド badblocks と言うのがありますので、これで一度確認してみることをお勧めします。

端末を起動して、下記のように入力して Enter
$ sudo badblocks -sv -o bad.txt /dev/sda

特に何もエラーが無ければ、
Pass completed, 0 bad blocks found.
と出力されて終了します。

もし、エラーがあれば、bad.txt に書き込まれるので、
$ sudo fsck -l bad.txt /dev/sda
とすれば、書き出された不良セクタを使用しないように出来ます。
まぁでも新品では無いので、例え僅かでも不良セクタが検出された場合は、HDD を交換した方が良いかもですが。

あーっと！
その前に、いわゆるスキャンディスクを走らせた方がいいですね！
端末から下記のように入力して Enter そして再起動。
$ sudo touch /forcefsck
こうすると、/etc/fstab に記載されたパーティションに fsck が走ります。

回路屋をしている経験からいうと、温度絡みの不具合というのは往々にして、部品の擬似接触が原因の場合が多いような気がします。
部品のはんだづけに割れが入り、冷えた状態では接触しているけれども、温度が高くなると基板が反って接触しなくなるとか、そういうモードかも知れませんね。
目視で判るものであればはんだを足してつけなおせばよいのですが、BGAタイプのICとか見えないところのはんだづけだと見つけるのが困難ですし、ホットエアーなどのかなり特殊な工具がないと(ふつうのはんだごても個人で所有している人は多くないとは思いますが)つけ直すこともできないので、直接解決につながる意見ではないような気もしますが、今度ふたを開ける機会があれば、目視で確認できる範囲だけでも確認してみてはいかがでしょうか。