お知らせ

  • 利用規約を守って投稿してください。また、よくある質問および投稿の手引きも参照してください。
  • メッセージの投稿にはアカウントが必要です。未登録の方は、ユーザ登録ページからアカウントを作成することができます。

#1 2010-03-15 04:19:55

light
メンバ
登録日: 2009-07-25

テキストファイルの統合

大量のテキストファイルを一つのファイルに統合し、内容が重複している行は一つにする。という操作を端末から行うにはどのようにコマンドを使えばいいでしょうか?

オフライン

 

#2 2010-03-15 05:15:48

ack
メンバ
登録日: 2007-06-01

Re: テキストファイルの統合

cat
sort
uniq
などが有用です。
もっともシンプルな形としては

コード:

cat *.txt | sort | uniq > out.txt

でしょうか。

それぞれのコマンドにオプション指定をして「重複した行だけを表示」や「重複行判定は頭の5文字まで」等応用できます。
また、*.txt とワイルドカードで指定する代わりに find をファイル指定に使うのも良いです。
(その際 xargs と組み合わせる事もよくあります。)

各コマンド名で調べてみると様々情報が得られると思います。

オフライン

 

Board footer

Powered by FluxBB