質問の投稿からしばらく経っていますが、確認したところスクリーンショットを撮れる方法が分かりましたので返信します。

こちらの環境 Ubuntu 16.04.2 LTS (Xfce)でも試したところ同様のエラーが出ました。
こちらで分かった範囲での対処方法は以下のとおりです。
GNOME-MPlayerのメニューバーの「設定」を押します。設定画面の「プレイヤー」タブで「映像出力」の欄を見ると空白になっていると思います。
欄の右側の下三角ボタン▼を押すといくつか候補が出てくるので、そこから「x11」を選んで設定します。
設定後、動画のスクリーンショットを撮るとちゃんと撮れました。
スクリーンショットはホームディレクトリに保存されていました。

「x11」を選んだのは何か理由があったわけではなく、一般的にはこの設定が使われるってだけの理由です。技術的なことはよく分からないのですが、
おそらくこの欄が空白のままだとうまくスクリーンショット命令が機能しないのではないかと思います。