security = user
guest account = nobody
map to guest = Bad User

を、global タブに書き足してもダメでしょうか

Linux側 sambaサーバーの挙動を変える
global タブに
max protocol = NT1

もしくは
OSX側 古いバージョンの(SMB1)プロトコルで接続させる
全体に設定する場合 /etc/nsmb.conf
ユーザーごとに設定する場合 ~/Library/Preferences/nsmb.conf
default タブに
protocol_vers_map=1

これ以上は、ちょっと手に負えないかもしれません。

ふと思いつきでUbuntu, mac両方でlocalhost, 通信相手に対してnmapをやってみました

Ubuntu側：
north@dellserver1:~$ nmap localhost

Starting Nmap 7.01 ( https://nmap.org ) at 2018-03-11 12:01 JST
Nmap scan report for localhost (127.0.0.1)
Host is up (0.000078s latency).
Other addresses for localhost (not scanned): ::1
Not shown: 992 closed ports
PORT     STATE SERVICE
21/tcp   open  ftp
22/tcp   open  ssh
80/tcp   open  http
139/tcp  open  netbios-ssn
443/tcp  open  https
445/tcp  open  microsoft-ds
3306/tcp open  mysql
5432/tcp open  postgresql

Nmap done: 1 IP address (1 host up) scanned in 0.08 seconds
north@dellserver1:~$ nmap 192.168.1.3

Starting Nmap 7.01 ( https://nmap.org ) at 2018-03-11 12:02 JST
Nmap scan report for 192.168.1.3
Host is up (0.00028s latency).
Not shown: 498 closed ports, 495 filtered ports
PORT     STATE SERVICE
21/tcp   open  ftp
22/tcp   open  ssh
445/tcp  open  microsoft-ds
548/tcp  open  afp
631/tcp  open  ipp
3283/tcp open  netassistant
5900/tcp open  vnc

Nmap done: 1 IP address (1 host up) scanned in 2.96 seconds


mac側：
$ nmap 192.168.1.9

Starting Nmap 7.60 ( https://nmap.org ) at 2018-03-11 12:00 JST
Nmap scan report for 192.168.1.9
Host is up (0.00060s latency).
Not shown: 996 closed ports
PORT    STATE SERVICE
21/tcp  open  ftp
22/tcp  open  ssh
80/tcp  open  http
443/tcp open  https

Nmap done: 1 IP address (1 host up) scanned in 0.16 seconds
$ nmap localhost

Starting Nmap 7.60 ( https://nmap.org ) at 2018-03-11 12:01 JST
Nmap scan report for localhost (127.0.0.1)
Host is up (0.00020s latency).
Other addresses for localhost (not scanned): ::1 fe80::1
Not shown: 990 closed ports
PORT      STATE SERVICE
21/tcp    open  ftp
22/tcp    open  ssh
445/tcp   open  microsoft-ds
548/tcp   open  afp
631/tcp   open  ipp
3283/tcp  open  netassistant
3306/tcp  open  mysql
5900/tcp  open  vnc
49153/tcp open  unknown
49155/tcp open  unknown

Nmap done: 1 IP address (1 host up) scanned in 6.85 seconds

Ubuntu側で445は開放できてることになっていますがmac側から見ると開いてないように見えるようです。
ufwの他にポートに影響するものがないか調べてみます。