gufwを利用したことがないのでなんなんですが、下記サイトによるとufwとの混用で
うまく動作しない場合があるみたいですね。
gufw上で一度設定を削除して再設定してみてはどうでしょうか。

Ubuntu-ファイアーウォールの設定(gufw): Notepad On The Web
http://lashlushrashrush.cocolog-nifty.com/blog/2009/04/ubuntu-gufw-15a.html

色々いじってみると，どうもufw(iptables ?)の見ている設定情報とファイアウォールの見ている設定情報が異なる感じです．
そもそもこれらの「設定情報」はどこにあるのでしょうか？

下記サイトが参考になるかも。

（Ubuntu） iptablesフロントエンド ufw, gufw を使う (r271-635)
http://netlog.jpn.org/r271-635/2010/02/ubuntu_iptables_ufw_gufw.html

すいません．
私，最初に書いた

「Ubuntu Tips/専用サーバー/ufw（Ubuntu標準の簡易ファイアウォール）を設定するには」
https://wiki.ubuntulinux.jp/UbuntuTips/ … Server/Ufw

をよく読んでいませんでした．
別のサイトでubuntuはデフォルトで全てのポートは塞がっていてufwはポートを開ける機能だって書いてあったので
sshのインストールでポートスキャンに２２が出る→インストールでポートを開けているに違いない→なのにufwには出ない→管理情報が別
と判断していました．
最初から全てのポートは開いていたんですね．

しかもポートスキャンの仕組みが判っていないからポートを使うプログラムを起動せずに先にポートを開こうとジタバタして
受け手が無いって意味のClosedをポートがファイアウォールで閉じられているって意味だと勘違いして．

自分の馬鹿さ加減にびっくりしました．