Misalnya kita mempunyai data text entah itu dari file log atau file lainnya dan butuh untuk menghilangkan beberapa baris yang sama, bagaimana cara melakukanya?
Kita bisa menggunakan perintah sort dan uniq

Cara menggunakan perintah sort dan uniq

Contohnya kita punya file belajar.txt yang berisi

Budi pergi ke sekolah
Rudi membeli buku
Ani pergi ke sekolah
Toni membeli buku
Budi pergi ke sekolah
Toni membeli buku
Budi pergi ke sekolah

Kita ingin menghapus baris teks yang ganda.
Sekarang kita coba menjalankan perintah

sort belajar.txt | uniq -u

maka hasilnya

Ani pergi ke sekolah
Rudi membeli buku

Perintah di atas akan menghapus semua baris ganda yang pertama dan yang selanjut, lalu bagaimana kalau hanya ingin menghapus baris ganda kedua dan selanjutnya? cukup gunakan perintah sort -u, contohnya;

 sort -u belajar.txt

atau

sort belajar.txt | uniq

Hasilnya seperti

Ani pergi ke sekolah
Budi pergi ke sekolah
Rudi membeli buku
Toni membeli buku

Menyimpan hasil sort dan uniq

Selanjutnya kita akan mencoba menyimpan hasil dari perintah di atas

Untuk menyimpan hanya baris yang tidak ada baris gandanya maka gunakan

sort belajar.txt | uniq -u > output.txt

Untuk menghapus bari ganda kedua maka gunakan

sort belajar.txt | uniq > output.txt

Untuk lebih lengkapnya bisa kalian baca di

https://linux.die.net/man/1/uniq

dan di

https://linux.die.net/man/1/sort