SDLというAPIがあり、ビットマップデータを専用ウインドウに描画したり、サウンドデータを再生するAPIを提供します。
この環境は、オープンソースのノベルゲーム実行エンジンONScripterなどにも使われています。
SDLのサイトには日本語イントロダクションもあり、比較的簡単に習得できるとおもいます。
イントロダクションにはキーボード処理しか書かれていませんが、マウスの位置なども取得できます。
ぜひ挑戦してみてください。
http://www.libsdl.org/
http://www.libsdl.org/intro.jp/toc.html

SDLのインストール方法:

sudo apt-get install libsdl1.2-dev libsdl1.2debian

また、コンパイルはUbuntu付属のgccで行えます。
統合開発環境としては、自分がよく使うのはAnjutaです。