
Ubuntu日本語フォーラム

ログインしていません。
大量のテキストファイルを一つのファイルに統合し、内容が重複している行は一つにする。という操作を端末から行うにはどのようにコマンドを使えばいいでしょうか?
オフライン
cat
sort
uniq
などが有用です。
もっともシンプルな形としては
cat *.txt | sort | uniq > out.txt
でしょうか。
それぞれのコマンドにオプション指定をして「重複した行だけを表示」や「重複行判定は頭の5文字まで」等応用できます。
また、*.txt とワイルドカードで指定する代わりに find をファイル指定に使うのも良いです。
(その際 xargs と組み合わせる事もよくあります。)
各コマンド名で調べてみると様々情報が得られると思います。
オフライン