Найти/удалить дубликаты в txt файле

[Ввысь]

Здравствуйте.

Есть txt файл, в нем существуют дубликаты строк.
пишу 

Код: [Выделить]

cat spisok.txt | wc -lполучаю

Код: [Выделить]

1514пишу

Код: [Выделить]

cat spisok.txt | sort -u |wc -lполучаю

Код: [Выделить]

1270Т.е. явно все что не уникальное это дубликаты.

А как найти все дубликаты? Какой ключ? В идеале дубликаты из файла нужно просто удалить.
Спасибо.

[ReNzRv]

Найти:

Код: [Выделить]

sort spisok.txt | uniq -d
Удалить:

Код: [Выделить]

s="$(awk '!seen[$0]++' spisok.txt)"; echo "$s" > spisok.txt

[Ввысь]

renzrv, взлетело. Спасибо.

[Azure]

echo "$s"

Вы серьезно???

Код: (bash) [Выделить]

awk '!seen[$0]++' spisok.txt > tmp ; mv -f tmp spisok.txt

[ReNzRv]

Azure,
Серьезно. Загружал в переменную текста на 50 Мб, и все ок! Ниразу не завис.