標準では起動はおろか、インストールもされていません。ソフトウエアセンターまたはsynapticから確認してみてください。

funatogawaさん、ありがとうございます。

Ubuntuはサーバ版でなく、デスクトップ版です。
ソフトウェアセンターでは「削除」ではなく、「インストール」のボタンが表示されていたので、インストール済と認識されていないようです。

Synapticも確認しようとしたのですが、今起動してみたら、パスワード認証の直後に異常終了するようになっていました。
その際、syslogにはログが出力されていませんでした。

ダメ元でbyobuからsynaptic-pkexecコマンドを入れてみたら、認証後以下のメッセージが出力されました。
>terminate called after throwing an instance of 'std::out_of_range'
> what():  vector::_M_range_check
>Aborted
（これはこれで問題ですが、また別途・・・）

ryさん

ps -A --forestコマンドの結果に入っていたのに、たまたま気がつきました。
不審に思ったので、LAN内の別マシンから、そのマシンのIPアドレスを指定してhttpアクセスしたら「It Works!」の画面が表示されました。
遊びで使っているマシンなので、何度か再起動や電源断もしているのですが、ログオン直後にはプロセスが立ち上がっています。
そのため、なんらかの理由で自動起動しているのではないかと思い、質問しました。

> 1458 ?        00:00:00 apache2
> 1472 ?        00:00:00  \_ apache2
> 1473 ?        00:00:00  \_ apache2
> 1474 ?        00:00:00  \_ apache2
> 1475 ?        00:00:00  \_ apache2
> 1476 ?        00:00:00  \_ apache2

私がよくやるのは、

sudo apt-get -s remove packageX

のように、packageXパッケージの削除をシミュレートする(-sオプション付き)ことで、現行システムにおいてpackageXに依存しているパッケージを知る方法です。
「apt-cache rdepend」を使う事もありますが、こっちの方がpackageXを削除することの全影響が明確に分かるので、私は好きです。
でも-sを付け忘れて間違って本当に削除してしまわないように。

今回の場合、packageXに指定するのは、apache2.2-common がよいと思います。
apache2はメタパッケージであり、今回は期待するような結果にならないかもです。