このようなことを調べる方法を教えていただけないでしょうか。

スクリーンセーバーは単なるソフトで起動と終了をシステムからコマンドを受けて実行しているだけなので、その表現方法は人それぞれと思いますが、OpenGL3D の描画を調べるのが無難な近道かと、、、

たぶん、そのへんの動き用の関数とかもいっぱい有るような気がするんだけど。

勉強になりました、taniさんのご指摘がズバリそのものですね。
「# apt-get source xscreensaver」
でコードとパッチファイルがダウンロード出来、その中に
galaxy.c　ファイルがありました。

いつも質問ばかりなので，たまにはAnswerをさせてください．このシミュレーション，以前凝ったことがあって，種本は平田 邦男という人の「新/BASICによる物理」などが参考になります．またWebサイトの情報としては下記などを参考にしてください．要するにN体に働く引力をすべて足し合わせて，それによる加速度を計算し，それを積分して個々の星の位置を動かしていく形になります．N体が多くなれば計算時間もそれなりにかかるので，計算を速く済ませる方法がまたいくつも考案されているようです．参考になるでしょうか？
http://www.jikkyo.co.jp/contents_data/ko289_22.pdf
http://jun.artcompsci.org/papers/bussei-nbody/node6.html