http://itpro.nikkeibp.co.jp/article/COLUMN/20060228/231198/
http://itpro.nikkeibp.co.jp/article/COLUMN/20060228/231211/
などが参考になると思います。

おっしゃる通りそれは圧縮ファイルです。そしてその圧縮ファイルに何が圧縮されているかによりインストール方法がかなり違います。
1.プログラムのソース　　2.既にコンパイルされたプログラムのバイナリファイル(実行ファイル)　　3.ソースやバイナリ等混ざっていたりperl、python等の言語でインストール

主にこの3パターンになるかと思います。このうち最も簡単なのは2の解凍すればコンパイル済みバイナリが出てきてそれを好きな場所に置き実行すればOKな物でしょう。
この2はFirefoxの本家から落としてきたものがそうですね。3はたまに有りますが珍しいかもしれません。

しかし一般的にはますLinuxでアプリのxxxx.tar.gzというとほとんどが1のパターンでこれは自分でコンパイルしなければいけません。コンパイルには多少の知識が必要で
また多数のライブラリやヘッダーが必要になります。そしてインストール、アンインストールも完全手作業と言っても過言でなく入れる場所を間違えたりした場合は
システムをこわす可能性も有りです。どのパターンかは解凍した中にREADME、INSTALL、TODO等のテキストファイルが入っていると思いますのでまず読んでみて、
それに./configure make make installなんて言葉が出てきたら1です。

これらが大変手間なのでxxxx.tar.gzをコンパイルした物を圧縮し更にインストールやアンインストール、他に依存しているアプリのチェックなどを自動に行ってくれるのが
DEBパッケージです。ですからSynapticでまずDEBパッケージを探してそれをインストールするのを勧めます。

それでも、もしチャレンジするなら実際に何をどうしてどの部分で行き詰っているかを書けば多少は回答出来るかもしれません。