お知らせ

  • 利用規約を守って投稿してください。また、よくある質問および投稿の手引きも参照してください。
  • メッセージの投稿にはアカウントが必要です。未登録の方は、ユーザ登録ページからアカウントを作成することができます。

#1 2024-03-11 17:48:16

matsu1129
メンバ
登録日: 2024-03-05

bwa-mem2の使用におけるパソコンスペックについて

windows10でubuntu22.0.4.3をインストールしています。bwa-mem2を使用してアライメントを使用したところ[fread]Unexpected end of fileと表示されてしまいました。調べていると原因の一つにメモリ不足かもしれないというのがありました。実装RAMは16Gなのですがこの場合はbwa-mem2を使用してアライメントをするにはメモリ不足でしょうか。

オフライン

 

#2 2024-03-11 18:31:59

iyhoovip
メンバ
From: 三重県
登録日: 2020-07-09

Re: bwa-mem2の使用におけるパソコンスペックについて

Windows 10でUbuntuをインストールしているというのはWindows上の仮想マシンですか?

オフライン

 

#3 2024-03-11 19:26:18

si
メンバ
From: hokkaido kitami, jp
登録日: 2007-01-15

Re: bwa-mem2の使用におけるパソコンスペックについて

16Gの WSLでは、メモリ足りないのでは?
参考:
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2

コンパイラは icpc が指定されていますね

オフライン

 

#4 2024-03-13 11:27:16

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

iyhoovipさん

お返事ありがとうございます。はい、そうだと思います。

オフライン

 

#5 2024-03-13 11:32:57

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

siさん

お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。

指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。

オフライン

 

#6 2024-03-13 13:55:31

si
メンバ
From: hokkaido kitami, jp
登録日: 2007-01-15

Re: bwa-mem2の使用におけるパソコンスペックについて

matsu1129 による投稿:

siさん

お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。

指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。

Intel toolkit download page:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/toolkits.html#gs.5s6txs
無償で使えるようです。

下記ページ見れませんか?
hatenablogの記事は、少々、古いですが、見れますよ。
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2

オフライン

 

#7 2024-03-13 14:47:03

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

siさん

アドバイスありがとうございます。icpcのダウンロードのディレクトリ先はどこでもいいものでしょうか。

リンク先の記事、やはり見れないです。繋がりはしますがEntry is not foundと表示されます。

オフライン

 

#8 2024-03-13 15:21:25

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

si による投稿:

matsu1129 による投稿:

siさん

お返事ありがとうございます。やはりメモリが足りないのでしょうか。まずはicpcでコンパイルする必要がありますね。今現在、icpcのダウンロードに苦戦中です。当方プログラミング及びlinux系は初心者なので何をダウンロードしていいのやら。。。

指定の記事はEntry is not foundとなり見れなかったです。siさんは見れますか。

Intel toolkit download page:
https://www.intel.com/content/www/us/en/developer/tools/oneapi/toolkits.html#gs.5s6txs
無償で使えるようです。

下記ページ見れませんか?
hatenablogの記事は、少々、古いですが、見れますよ。
https://kazumaxneo.hatenablog.com/entry/2018/01/02/014814
https://github.com/bwa-mem2/bwa-mem2

siさん

oneAPI Base Toolkitのダウンロードのselect distributionはAPT Package Managerでいいでしょうか。
chatGPTによると

APT Package Manager:

DebianやUbuntuなどのディストリビューション向けのパッケージマネージャを使用してインストールします。
apt-getコマンドなどが使用されます。

”apt-getコマンドなどが使用されます。”というのがよくわかりません。

オフライン

 

#9 2024-03-13 15:29:56

si
メンバ
From: hokkaido kitami, jp
登録日: 2007-01-15

Re: bwa-mem2の使用におけるパソコンスペックについて

APT Package Managerを選択すると、
Prerequisites for First-Time Users
の見出しで、初期設定のやり方が書かれています。
ページをよく読み試してください。

参照記事が見れないのは、そちらの環境の問題かと思いますので
チョット、わかりません

オフライン

 

#10 2024-03-14 11:16:16

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

si による投稿:

APT Package Managerを選択すると、
Prerequisites for First-Time Users
の見出しで、初期設定のやり方が書かれています。
ページをよく読み試してください。

参照記事が見れないのは、そちらの環境の問題かと思いますので
チョット、わかりません

siさん

アドバイスありがとうございます。頑張ってみます。

オフライン

 

#11 2024-03-15 00:14:10

elliptic
メンバ
登録日: 2020-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

16GBというのは、Windows PCに載っているRAMの量ですか、それとも Ubuntuに割り当てたメモリの量ですか?

コード:

free -h

を実行したらどのように表示されますか?

参考:
バイオインフォマティクス解析に必要なパソコンのスペックは?
https://olvtools.com/documents/pc_spec

シングルセルRNA-Seq解析用マシン (予算100万円) | デスクトップ | 研究用・産業用PCの製作・販売 - テグシス
https://www.tegsys.net/case/example/13561/


使いたいときにHPCが使えない──研究者の悩み、クラウドで解決できたワケ ゲノム解析の現場を救ったAWS活用(1/2 ページ) - ITmedia NEWS
https://www.itmedia.co.jp/news/spv/2212/12/news006.html

オフライン

 

#12 2024-03-15 02:42:27

elliptic
メンバ
登録日: 2020-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

こんな記事がありました。

Running bwa vs bwa-mem2 – Oyat consulting
https://oyat.nl/bwa2/

...
bwa-mem2 needs 9 times more memory: 51,5GB while bwa needs 5.7GB. While bwa runs fine on a solid laptop, bwa-mem2 will not run on an average laptop or desktop.
...
Chromeでの翻訳
...
bwa-mem2 は 9 倍のメモリ (51,5 GB) を必要としますが、bwa は 5.7 GB を必要とします。bwa は堅実なラップトップでは正常に動作しますが、bwa-mem2 は平均的なラップトップやデスクトップでは動作しません。
...

オフライン

 

#13 2024-03-15 11:27:27

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

elliptic による投稿:

16GBというのは、Windows PCに載っているRAMの量ですか、それとも Ubuntuに割り当てたメモリの量ですか?

コード:

free -h

を実行したらどのように表示されますか?

参考:
バイオインフォマティクス解析に必要なパソコンのスペックは?
https://olvtools.com/documents/pc_spec

シングルセルRNA-Seq解析用マシン (予算100万円) | デスクトップ | 研究用・産業用PCの製作・販売 - テグシス
https://www.tegsys.net/case/example/13561/


使いたいときにHPCが使えない──研究者の悩み、クラウドで解決できたワケ ゲノム解析の現場を救ったAWS活用(1/2 ページ) - ITmedia NEWS
https://www.itmedia.co.jp/news/spv/2212/12/news006.html

ellipticさん

お返事ありがとうございます。

$ free -h
               total        used        free      shared  buff/cache   available
Mem:           7.7Gi       436Mi       6.9Gi       2.0Mi       329Mi       7.0Gi
Swap:          2.0Gi          0B       2.0Gi

のように表示されました。

参考URLありがとうございます。見てみます。

オフライン

 

#14 2024-03-15 11:30:20

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

elliptic による投稿:

こんな記事がありました。

Running bwa vs bwa-mem2 – Oyat consulting
https://oyat.nl/bwa2/

...
bwa-mem2 needs 9 times more memory: 51,5GB while bwa needs 5.7GB. While bwa runs fine on a solid laptop, bwa-mem2 will not run on an average laptop or desktop.
...
Chromeでの翻訳
...
bwa-mem2 は 9 倍のメモリ (51,5 GB) を必要としますが、bwa は 5.7 GB を必要とします。bwa は堅実なラップトップでは正常に動作しますが、bwa-mem2 は平均的なラップトップやデスクトップでは動作しません。
...

ellipticさん

今のパソコンのスペックではbwa-mem2は厳しいのかもしれないですね。bwaを使うべきなのかなと思っています。

オフライン

 

#15 2024-03-18 00:45:26

elliptic
メンバ
登録日: 2020-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

#13 matsu1129 による投稿:

$ free -h
               total        used        free      shared  buff/cache   available
Mem:           7.7Gi       436Mi       6.9Gi       2.0Mi       329Mi       7.0Gi
Swap:          2.0Gi          0B       2.0Gi

のように表示されました。

RAMを16GB積んでいても、Ubuntuが使えるのは7.7GB+2.0GBだけです。
bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。

デスクトップ向けソフトウェア/intelのoneAPI Base ToolkitをAPTパッケージマネージャーでダウンロードしようとしましたがうまくいきません

#9 matsu1129 による投稿:

どうやらbwa-mem2自体が私のパソコンスペックでは厳しそうなのでbwa-memをインストールしてマッピングを行おうかと思うのですが何か不都合があるでしょうか。私の懸念材料としては、現在使用している参考書がbwa-mem2を使用することを前提に書かれているようなのでbwa-memで実行していくと不具合が生じてしまわないかということです。

念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。

Burrows-Wheeler Aligner
https://bio-bwa.sourceforge.net/

前に触れた比較記事によると、bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
...
Is the output of bwa and bwa-mem2 the same?
Yes, bwa-mem2 is a plugin replacement for bwa. This is can be checked with

bwa mem -K 10000000 -t 8 hs38DH_phix.fasta  yourfastq_1.fastq yourfastq_2.fastq > bwa.sam
bwa-mem2 mem -K 10000000 -t 8 hs38DH_phix.fasta  yourfastq_1.fastq yourfastq_2.fastq >bwa2.sam
diff bwa.sam bwa2.sam

diff will give one line of output that is different: the name and version of the aligner program is different. As expected!
...

オフライン

 

#16 2024-04-09 15:32:53

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

elliptic による投稿:

#13 matsu1129 による投稿:

$ free -h
               total        used        free      shared  buff/cache   available
Mem:           7.7Gi       436Mi       6.9Gi       2.0Mi       329Mi       7.0Gi
Swap:          2.0Gi          0B       2.0Gi

のように表示されました。

RAMを16GB積んでいても、Ubuntuが使えるのは7.7GB+2.0GBだけです。
bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。

デスクトップ向けソフトウェア/intelのoneAPI Base ToolkitをAPTパッケージマネージャーでダウンロードしようとしましたがうまくいきません

#9 matsu1129 による投稿:

どうやらbwa-mem2自体が私のパソコンスペックでは厳しそうなのでbwa-memをインストールしてマッピングを行おうかと思うのですが何か不都合があるでしょうか。私の懸念材料としては、現在使用している参考書がbwa-mem2を使用することを前提に書かれているようなのでbwa-memで実行していくと不具合が生じてしまわないかということです。

念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。

Burrows-Wheeler Aligner
https://bio-bwa.sourceforge.net/

前に触れた比較記事によると、bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
...
Is the output of bwa and bwa-mem2 the same?
Yes, bwa-mem2 is a plugin replacement for bwa. This is can be checked with

bwa mem -K 10000000 -t 8 hs38DH_phix.fasta  yourfastq_1.fastq yourfastq_2.fastq > bwa.sam
bwa-mem2 mem -K 10000000 -t 8 hs38DH_phix.fasta  yourfastq_1.fastq yourfastq_2.fastq >bwa2.sam
diff bwa.sam bwa2.sam

diff will give one line of output that is different: the name and version of the aligner program is different. As expected!
...

ellipticさん

休暇中につきお返事遅くなり申し訳ありませんでした。

bwa-mem2の使用例には100GBクラスが並んでいるのと比べると少ないだろうと思います。
>bwa-mem2で使う100GBクラスとはFASTQファイルのサイズでしょうか。

念のため確認しておくと、比較しているソフト名は bwa-memではなくbwaです。
コマンドオプションにメソッド名memをつけて使います。
>ご指摘ありがとうございます。理解できていませんでした。bwaとbwa-mem2でmemはコマンドオプションなのですね。

bwa memと bwa-mem2 memで同一内容のSAMファイルが出力されるそうです。
>ということはbwa memを使っても処理速度が違うだけでbwa-mem2と同じと考えていいのでしょうか。

オフライン

 

#17 2024-04-11 22:54:50

elliptic
メンバ
登録日: 2020-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

#16 matsu1129 による投稿:

bwa-mem2で使う100GBクラスとはFASTQファイルのサイズでしょうか。

RAMメモリのサイズ(ギガバイト)です。
base pair数ではありません。

#16 matsu1129 による投稿:

ということはbwa memを使っても処理速度が違うだけでbwa-mem2と同じと考えていいのでしょうか。

はい、私はそう理解しています。

オフライン

 

#18 2024-04-12 11:27:29

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

ellipticさん

お返事ありがとうございます。

さすがに16Gでは無理そうなのでbwaで行うことを検討してみます。

オフライン

 

#19 2024-04-13 20:54:13

elliptic
メンバ
登録日: 2020-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

JG.fa HG005_Son.R1.fastq.gz HG005_Son.R2.fastq.gz son.sam 等のファイル名を検索して、下記のPDFにたどりつきました。

Next-generation sequencing analysis with a population-specific reference genome
https://www.biorxiv.org/content/biorxiv … 7.full.pdf

matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。

1. Alignment
The process of creating a bwa-mem2 index used approximately 70 GB of RAM. Output files
are available at https://doi.org/10.5281/zenodo.7567194 for the following procedure if it is
difficult to perform this process.

インデックス作成を自分のPCで実行してますか?
それとも、作成済みファイルをダウンロードしてますか?

オフライン

 

#20 2024-04-15 14:01:26

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

elliptic による投稿:

JG.fa HG005_Son.R1.fastq.gz HG005_Son.R2.fastq.gz son.sam 等のファイル名を検索して、下記のPDFにたどりつきました。

Next-generation sequencing analysis with a population-specific reference genome
https://www.biorxiv.org/content/biorxiv … 7.full.pdf

matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。

1. Alignment
The process of creating a bwa-mem2 index used approximately 70 GB of RAM. Output files
are available at https://doi.org/10.5281/zenodo.7567194 for the following procedure if it is
difficult to perform this process.

インデックス作成を自分のPCで実行してますか?
それとも、作成済みファイルをダウンロードしてますか?

ellipticさん

お返事ありがとうございます。

matsu1129さんのやろうとしていることは、8ページめのアラインメントを自分のパソコンで実行してみようとしている、であってますか?
>はい、合ってます。

もし、使用しているゲノムデータがこの文書と同一ならば、インデックス作成に70GBのRAMを使用すると書かれています。
>インデックスを作成しようとしたらOOM(メモリ不足)になったので、作成済みのファイルをダウンロードしています。

オフライン

 

#21 2024-04-22 14:19:20

matsu1129
メンバ
登録日: 2024-03-05

Re: bwa-mem2の使用におけるパソコンスペックについて

ellipticさん

BOSSとの話し合いの結果、メモリ32Gのlinux用のパソコンでbwa-mem2を動かしてみることになりました。

オフライン

 

Board footer

Powered by FluxBB