質問を投稿後、ひょっとして2byte文字かなと思いテストしました。
変換できたisoを開いたときのファルダ名を変換不能のものと入れ替えてiso化すると変換できました。
他のソフトでも動作不可が見られるような、全角のスペースや「一」などの特定文字の悪さだと思います。
isoファイルの名前ではなく、iso化する時のファルダの名称です。
windowsの日本語版では問題なく変換出来ていました。完全に日本語版に出来ているのでしょう。
今回たまたま、4.5Gbytesより大きかったファイル（4つあったのですが）にこれらの文字が含まれていたみたいです。
スキルが低く、お騒がせしてすみませんでした。確定ではありませんが現在までの検証結果を報告いたします。