gnome端末ですか？
アプリで、起動時に日本語変換がONになっているものはないはずです。
ただし、デフォルトでは、別のアプリで日本語変換をONにしていると、
起動しているすべてのアプリで同一の日本語変換を使う設定になっているので、
後から起動すると、最初から日本語変換ONです。
私は、この設定は好きじゃありませんので、「SCIM入力メソッド設定」ー「フロントエンド」（全体設定）で
　　「全てのアプリケーションで同一の入力メソッドを使用（S）」
のチェックを外しています。

siさんのおっしゃる通り、単に他のアプリケーションでのIME切り替えと連動しているでしょう。

少なくともデフォルトの言語を英語にしとおけば日本語がデフォルトになることはないです（窓OSでも同じですが）。

まあ端末で日本語を使う状況ってあまり想定できませんが。