Ubuntu日本語フォーラム
ログインしていません。
windows10でubuntu22.0.4.3をインストールしています。bwa-mem2を使用してアライメントを使用したところ[fread]Unexpected end of fileと表示されてしまいました。調べていると原因の一つにメモリ不足かもしれないというのがありました。実装RAMは16Gなのですがこの場合はbwa-mem2を使用してアライメントをするにはメモリ不足でしょうか。
オフライン
Windows 10でUbuntuをインストールしているというのはWindows上の仮想マシンですか?
オフライン
16Gの WSLでは、メモリ足りないのでは?
参考:
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2
コンパイラは icpc が指定されていますね
オフライン
iyhoovipさん
お返事ありがとうございます。はい、そうだと思います。
オフライン
siさん
お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。
指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。
オフライン
matsu1129 による投稿:
siさん
お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。
指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。
Intel toolkit download page:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/toolkits.html#gs.5s6txs
無償で使えるようです。
下記ページ見れませんか?
hatenablogの記事は、少々、古いですが、見れますよ。
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2
オフライン
siさん
アドバイスありがとうございます。icpcのダウンロードのディレクトリ先はどこでもいいものでしょうか。
リンク先の記事、やはり見れないです。繋がりはしますがEntry is not foundと表示されます。
オフライン
si による投稿:
matsu1129 による投稿:
siさん
お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。
指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。Intel toolkit download page:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/toolkits.html#gs.5s6txs
無償で使えるようです。
下記ページ見れませんか?
hatenablogの記事は、少々、古いですが、見れますよ。
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2
siさん
oneAPI Base Toolkitのダウンロードのselect distributionはAPT Package Managerでいいでしょうか。
chatGPTによると
APT Package Manager:
DebianやUbuntuなどのディストリビューション向けのパッケージマネージャを使用してインストールします。
apt-getコマンドなどが使用されます。
”apt-getコマンドなどが使用されます。”というのがよくわかりません。
オフライン
APT Package Managerを選択すると、
Prerequisites for First-Time Users
の見出しで、初期設定のやり方が書かれています。
ページをよく読み試してください。
参照記事が見れないのは、そちらの環境の問題かと思いますので
チョット、わかりません
オフライン
si による投稿:
APT Package Managerを選択すると、
Prerequisites for First-Time Users
の見出しで、初期設定のやり方が書かれています。
ページをよく読み試してください。
参照記事が見れないのは、そちらの環境の問題かと思いますので
チョット、わかりません
siさん
アドバイスありがとうございます。頑張ってみます。
オフライン
16GBというのは、Windows PCに載っているRAMの量ですか、それとも Ubuntuに割り当てたメモリの量ですか?
free -h
を実行したらどのように表示されますか?
参考:
バイオインフォマティクス解析に必要なパソコンのスペックは?
https://olvtools.com/documents/pc_spec
シングルセルRNA-Seq解析用マシン (予算100万円) | デスクトップ | 研究用・産業用PCの製作・販売 - テグシス
https://www.tegsys.net/case/example/13561/
使いたいときにHPCが使えない──研究者の悩み、クラウドで解決できたワケ ゲノム解析の現場を救ったAWS活用(1/2 ページ) - ITmedia NEWS
https://www.itmedia.co.jp/news/spv/2212/12/news006.html
オフライン
こんな記事がありました。
Running bwa vs bwa-mem2 – Oyat consulting
https://oyat.nl/bwa2/
...
bwa-mem2 needs 9 times more memory: 51,5GB while bwa needs 5.7GB. While bwa runs fine on a solid laptop, bwa-mem2 will not run on an average laptop or desktop.
...
Chromeでの翻訳
...
bwa-mem2 は 9 倍のメモリ (51,5 GB) を必要としますが、bwa は 5.7 GB を必要とします。bwa は堅実なラップトップでは正常に動作しますが、bwa-mem2 は平均的なラップトップやデスクトップでは動作しません。
...
オフライン
elliptic による投稿:
16GBというのは、Windows PCに載っているRAMの量ですか、それとも Ubuntuに割り当てたメモリの量ですか?
コード:
free -hを実行したらどのように表示されますか?
参考:
バイオインフォマティクス解析に必要なパソコンのスペックは?
https://olvtools.com/documents/pc_spec
シングルセルRNA-Seq解析用マシン (予算100万円) | デスクトップ | 研究用・産業用PCの製作・販売 - テグシス
https://www.tegsys.net/case/example/13561/
使いたいときにHPCが使えない──研究者の悩み、クラウドで解決できたワケ ゲノム解析の現場を救ったAWS活用(1/2 ページ) - ITmedia NEWS
https://www.itmedia.co.jp/news/spv/2212/12/news006.html
ellipticさん
お返事ありがとうございます。
$ free -h
total used free shared buff/cache available
Mem: 7.7Gi 436Mi 6.9Gi 2.0Mi 329Mi 7.0Gi
Swap: 2.0Gi 0B 2.0Gi
のように表示されました。
参考URLありがとうございます。見てみます。
オフライン
elliptic による投稿:
こんな記事がありました。
Running bwa vs bwa-mem2 – Oyat consulting
https://oyat.nl/bwa2/
...
bwa-mem2 needs 9 times more memory: 51,5GB while bwa needs 5.7GB. While bwa runs fine on a solid laptop, bwa-mem2 will not run on an average laptop or desktop.
...
Chromeでの翻訳
...
bwa-mem2 は 9 倍のメモリ (51,5 GB) を必要としますが、bwa は 5.7 GB を必要とします。bwa は堅実なラップトップでは正常に動作しますが、bwa-mem2 は平均的なラップトップやデスクトップでは動作しません。
...
ellipticさん
今のパソコンのスペックではbwa-mem2は厳しいのかもしれないですね。bwaを使うべきなのかなと思っています。
オフライン
#13 matsu1129 による投稿:
$ free -h
total used free shared buff/cache available
Mem: 7.7Gi 436Mi 6.9Gi 2.0Mi 329Mi 7.0Gi
Swap: 2.0Gi 0B 2.0Gi
のように表示されました。
RAMを16GB積んでいても、Ubuntuが使えるのは7.7GB+2.0GBだけです。
bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。
デスクトップ向けソフトウェア/intelのoneAPI Base ToolkitをAPTパッケージマネージャーでダウンロードしようとしましたがうまくいきません
#9 matsu1129 による投稿:
どうやらbwa-mem2自体が私のパソコンスペックでは厳しそうなのでbwa-memをインストールしてマッピングを行おうかと思うのですが何か不都合があるでしょうか。私の懸念材料としては、現在使用している参考書がbwa-mem2を使用することを前提に書かれているようなのでbwa-memで実行していくと不具合が生じてしまわないかということです。
念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。
Burrows-Wheeler Aligner
https://bio-bwa.sourceforge.net/
前に触れた比較記事によると、bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
...
Is the output of bwa and bwa-mem2 the same?
Yes, bwa-mem2 is a plugin replacement for bwa. This is can be checked with
bwa mem -K 10000000 -t 8 hs38DH_phix.fasta yourfastq_1.fastq yourfastq_2.fastq > bwa.sam
bwa-mem2 mem -K 10000000 -t 8 hs38DH_phix.fasta yourfastq_1.fastq yourfastq_2.fastq >bwa2.sam
diff bwa.sam bwa2.sam
diff will give one line of output that is different: the name and version of the aligner program is different. As expected!
...
オフライン
elliptic による投稿:
#13 matsu1129 による投稿:
$ free -h
total used free shared buff/cache available
Mem: 7.7Gi 436Mi 6.9Gi 2.0Mi 329Mi 7.0Gi
Swap: 2.0Gi 0B 2.0Gi
のように表示されました。RAMを16GB積んでいても、Ubuntuが使えるのは7.7GB+2.0GBだけです。
bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。
デスクトップ向けソフトウェア/intelのoneAPI Base ToolkitをAPTパッケージマネージャーでダウンロードしようとしましたがうまくいきません#9 matsu1129 による投稿:
どうやらbwa-mem2自体が私のパソコンスペックでは厳しそうなのでbwa-memをインストールしてマッピングを行おうかと思うのですが何か不都合があるでしょうか。私の懸念材料としては、現在使用している参考書がbwa-mem2を使用することを前提に書かれているようなのでbwa-memで実行していくと不具合が生じてしまわないかということです。
念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。
Burrows-Wheeler Aligner
https://bio-bwa.sourceforge.net/
前に触れた比較記事によると、bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
...
Is the output of bwa and bwa-mem2 the same?
Yes, bwa-mem2 is a plugin replacement for bwa. This is can be checked with
bwa mem -K 10000000 -t 8 hs38DH_phix.fasta yourfastq_1.fastq yourfastq_2.fastq > bwa.sam
bwa-mem2 mem -K 10000000 -t 8 hs38DH_phix.fasta yourfastq_1.fastq yourfastq_2.fastq >bwa2.sam
diff bwa.sam bwa2.sam
diff will give one line of output that is different: the name and version of the aligner program is different. As expected!
...
ellipticさん
休暇中につきお返事遅くなり申し訳ありませんでした。
bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。
>bwa-mem2で使う100GBクラスとはFASTQファイルのサイズでしょうか。
念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。
>ご指摘ありがとうございます。理解できていませんでした。bwaとbwa-mem2でmemはコマンドオプションなのですね。
bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
>ということはbwa memを使っても処理速度が違うだけでbwa-mem2と同じと考えていいのでしょうか。
オフライン
#16 matsu1129 による投稿:
bwa-mem2で使う100GBクラスとはFASTQファイルのサイズでしょうか。
RAMメモリのサイズ(ギガバイト)です。
base pair数ではありません。
#16 matsu1129 による投稿:
ということはbwa memを使っても処理速度が違うだけでbwa-mem2と同じと考えていいのでしょうか。
はい、私はそう理解しています。
オフライン
ellipticさん
お返事ありがとうございます。
さすがに16Gでは無理そうなのでbwaで行うことを検討してみます。
オフライン
JG.fa HG005_Son.R1.fastq.gz HG005_Son.R2.fastq.gz son.sam 等のファイル名を検索して、下記のPDFにたどりつきました。
Next-generation sequencing analysis with a population-specific reference genome
https://www.biorxiv.org/content/biorxiv … 7.full.pdf
matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。
1. Alignment
The process of creating a bwa-mem2 index used approximately 70 GB of RAM. Output files
are available at https://doi.org/10.5281/zenodo.7567194 for the following procedure if it is
difficult to perform this process.
インデックス作成を自分のPCで実行してますか?
それとも、作成済みファイルをダウンロードしてますか?
オフライン
elliptic による投稿:
JG.fa HG005_Son.R1.fastq.gz HG005_Son.R2.fastq.gz son.sam 等のファイル名を検索して、下記のPDFにたどりつきました。
Next-generation sequencing analysis with a population-specific reference genome
https://www.biorxiv.org/content/biorxiv … 7.full.pdf
matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。1. Alignment
The process of creating a bwa-mem2 index used approximately 70 GB of RAM. Output files
are available at https://doi.org/10.5281/zenodo.7567194 for the following procedure if it is
difficult to perform this process.インデックス作成を自分のPCで実行してますか?
それとも、作成済みファイルをダウンロードしてますか?
ellipticさん
お返事ありがとうございます。
matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
>はい、合ってます。
もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。
>インデックスを作成しようとしたらOOM(メモリ不足)になったので、作成済みのファイルをダウンロードしています。
オフライン
ellipticさん
BOSSとの話し合いの結果、メモリ32Gのlinux用のパソコンでbwa-mem2を動かしてみることになりました。
オフライン