UbuntuにおけるNVMeへの対応は、Linuxカーネルのほうがバージョン3.3からなので、少なくともUbuntuのインストールイメージは12.04.2以降でなければならないと思われます（ブートローダーのインストールまでは進んでいるので、これはクリアされてそうですね？）。
一方GRUBのほうは、grepでざっと確認しただけですが、12.04のGRUBは対応してなさそうです。

ですので、NVMeへのUbuntuのインストールは新しいバージョンのにして、開発は「（HDDに入れた）仮想マシン上で行う」か「新しいバージョンのUbuntuで開発できないか調査する」といったあたりが、とりあえずの選択肢になるのではないかと思います。