otterさんの使用したいNvidiaのグラボの型番とUbuntuのヴァージョンをお知らせ下さい。
当方のメインPCは現在GT730をUbuntu14.04.4で使っています。
ドライヴァーはMvidia３５２．６３です。「追加のドライバー」より入れています。
大抵の場合、Nvidiaxxxのような”プロプライエタリ”なドライバーはapt-get install xxxではインストールできないはずです。
「追加のドライバー」を試されては？（Nouveauもあります）。
（その場合Ubuntu自体を再クリーンインストールされるほうがいいかもしれません）
新しすぎるデヴァイスの場合、カーネルの更新を待つか、自身でコンパイルする必要があったりします。

santaomura2さま

回答有り難うございます。
当方のGPUはGeforce GTX960でUbuntuは16.04LTSを使用してます。
SoftwareUpdateから追加のドライバーでは何故かnvidia-361までしかなく、nvidia-367をGUI経由でインストールできませんでした。そこで一旦nvidia-361をインストールしたのですが再起動後、ディスプレイがスリープしてしまいグラフィックボードが認識されていなようでした。

おそらくCUDAを先にインストールしたのが何らかの原因になっていたのではないかと思うのですが(憶測です)、Ubuntuの再インストール後、はじめにnvidia-367をインストールしたところ無事インストールできました。
その後CUDAをインストールしましたが、Warningメッセージで「Nvidiaドライバが入っていない」と言われましたが今は問題なくCUDAが使用できています。

まだCUDA8.0RC版だったのも問題なのでしょうか....

Moyashiman1111さま

いくつか原因は考えられますが以下のことは確認しましたか？

(1)$sudo add-apt-repository ppa:graphics-drivers/ppa でPPAを追加。
(2)$sudo apt-get update　でパッケージリストを更新。

ヴァージョンによってインストールできるドライバが変わるかはわかりませんが16.04(最新)であればこれで大丈夫かと思います。
参考になれば幸いです。