-とあるプロセスが定期的に負荷率を上げて影響している可能性の場合
仮想コンソールでこう入力すると負荷率をリアルタイムでモニタすることができます。
$ top
例えばデスクトップアプレット、ウィジェットの一時的負荷が影響している可能性などを調べられます。

-PulseAudioが影響している場合
GnomeやKdeの出力先を見直したり、PulseAudioやAlsaの設定で変化があるかもしれません。

-動画プレイヤーの設定が影響している場合
VLCは ツール>設定>ビデオ or オーディオ >出力
で最適なものを選択すれば改善されるかもしれません。
別のプレイヤーで試しても違う結果があるかもしれません。


書かれた情報から想像できるのはそんな感じでした。