ありがとうございます。教えて頂いた通りににした結果

vlc test.avi
VLC media player 1.0.0 Goldeneye
[0x9cc9160] main libvlc: vlc は標準のインターフェースで実行しています。インターフェースをはずした vlc を使用するには「cvlc」を使用してください。
QPainter::begin: Paint device returned engine == 0, type: 1
QPainter::begin: Paint device returned engine == 0, type: 1
[????????] x11 video output error: X11 request 143.3 failed with error code 8:
BadMatch (invalid parameter attributes)
[????????] x11 video output notice: buggy X11 server claims shared memory
[????????] x11 video output notice: support though it does not work (OpenSSH?)
[????????] x11 video output error: X11 request 143.3 failed with error code 8:
BadMatch (invalid parameter attributes)
X Error of failed request:  BadMatch (invalid parameter attributes)
  Major opcode of failed request:  143 (MIT-SHM)
  Minor opcode of failed request:  3 (X_ShmPutImage)
  Serial number of failed request:  61
  Current serial number in output stream:  62

となり、エラー終了しました。
ビデオ出力を変えればいいかもと思い色々やってみたら
OpenGLのビデオ出力
で、無事表示出来ました。本当にありがとうございました。