ノートPCにクリーンインストールしたubuntu 12.04 LTSにapt-getでApacheをインストールして適宜設定をしたのち稼働させているのですが、
OSの再起動を行うとApacheが自動起動しません（/etc/init.d/apache2 statusでApache2 is NOT running.が返ってくる）。
OS起動後、端末からsudo /etc/init.d/apache2 startとすると、ちゃんと起動しブラウザでも問題なく表示されます。

Apacheの設定はバーチャルホストを3つ設定しています（a2ensite で有効化する設定ファイルが3つ）。
apache2ctl -Sで表示される順にvh1, vh2, vh3とします。
そして、それらのルートディレクトリとログをそれぞれUSBメモリ（ext4フォーマット済み、所持者root）内に設置しています。
/media/USB/web/public/vh1/
/media/USB/web/logs/vh1/
のような感じです。

Apacheのエラーログ（/ver/log/apache2/error.log）にはOSの再起動をかけた時間に次のようなログが記録されていました。
[notice] caught SIGTERM, shutting down
(2)No such file or directory: apache2: could not open error log file /media/USB/web/logs/vh3/error.log.
Unable to open logs

また、a2dissiteでvh3を無効化してOSの再起動をかけるとApacheが自動起動しないのに変わりはなかったのですが
エラーログが次のように変わりました。
[notice] caught SIGTERM, shutting down
(2)No such file or directory: apache2: could not open error log file /media/USB/web/logs/vh2/error.log.
Unable to open logs

また、バーチャルホストの設定をすべて無効化し（a2dissite vh1 vh2 vh3）、
デフォルトの設定を有効化（a2ensite default）した状態でOSの再起動をかけるとApacheは自動起動ができていました。

以上からUSBメモリにデータを設置していることが原因かと推測しているのですが、対処法がわかりません。
apacheが自動起動しないの#16以下を参考に遅延起動を試して見ましたが

sleep 30 && . /etc/init.d/apache2 &

sleep 30 && . /etc/init.d/apache2 start &

のどちらも改善には至りませんでした。

USBにデータを設置した環境は変えたくないのでそれ以外の対処方法がありましたらご教示ください。よろしくお願いします。