まず同じ設定でwindows10からは問題なく使用できています。
接続はできますがすぐ（1分位）切断されてしまいます。
サーバー側のルーターはRTX830で、その時のログは
[L2TP] TUNNEL[1] connected from xx.xx.xx.xx
[L2TP] TUNNEL[1] tunnel 9847 established
[L2TP] TUNNEL[1] session 65097 established
PP[ANONYMOUS01] Call detected from user 'XXXXX'
PP[ANONYMOUS01] PPP/IPV6CP up
PP[ANONYMOUS01] PPP/IPCP up  (Local: 192.168.xx.xx, Remote: 192.168.x.153)
となっており、サーバー側のローカルIPの払い出しはできていますし、
ubuntuでIP aとしても確かにppp0にもらったIPは表示されています。この状態で
ubuntuからルーター内のサーバー側のローカルIP（固定IP）にVNCで接続を試みてもできません。
windows10ではできます。
ルーターのログに　TUNNEL[4] keepalive timer expired tunnel 27251 とあり27251はubuntuが接続した時のものです。
でも、ルーターの設定の中に
tunnnel select 4に ipsec ike keepalive use 4 off の設定がありキープアライブはオフの状態です。
Windows10では問題がないので、ルーターの問題ではなく、ubuntu側の問題のように思い質問をしています。
よろしくお願いいたます。