/usr/local/src が普通だと思います。
（インストール先は/usr/local、ソース置き場は/usr/local/src/<ソフトウェア名>-<version>
というのがパターンですかね。大量のソースファイルを扱うのであれば、
/usr/local/src/<ソフトウェア名>/<version>/の方がいいかもしれません）

ソースコード（とコンパイル環境）を残さないのであれば、
~/src などに置くこともあります。