iinews による投稿:

連続で、もしくはあまり時間を空けずに（２秒程度？）音が出るとそのまま聴こえるんですが、一旦途切れると次の音が出るときに最初の音が聴こえません。
時間が空くと、プチっと小さい音が鳴って出力機能を休んでる？ような感じです。
これは仕様なんでしょうか？

手元にある、HDMIを受けて音声出力できるディスプレイと、Intel HDAデバイスとの組み合わせでは、この現象は起こりませんでした。そのため、仕様ではないと思います。

iinews による投稿:

改善方法はあるのでしょうか？

典型的にはデバイスドライバのバグですが、音声データをHDMI信号に多重化する関連から、サウンドデバイスとディスプレイユニットデバイス双方のバグの可能性があります。Ubuntu 14.04 をお使いということなので、Ubuntu 16.04 を試してみると、ひょっとしたら改善するかもしれません。Linuxカーネルの新しいバージョンが採用されていることから、更新されたデバイスドライバが利用可能であるためです。

回答ありがとうございます。
16.04は前に入れたことがあったのですが、新しいGUIにどうしても馴染めず、またお気に入りのgnome-panelも正常動作せず、すぐ14.04に戻してしまいました。
症状自体はだいぶ前からあったのですが、最近妙に気になって質問してみた次第です。
Cametanさんの話もあるので、環境にもよるのかもしれませんね。
ちなみにヘッドフォンをPC本体（内蔵オーディオ）に接続すると、症状は一切でません。ただ高負荷なアプリを起動させると音にブチブチノイズが入ることがあるのでhdmi経由にしてます。