Как из txt файла удалить повторы

[webrus]

Добрый день, я склеил много txt файлов вот этой командой - cat file2 >> file1 && rm file2 , и случайно склеил несколько похожишь файлов, вот мне нужна ваша помощь, как можно командой или прогой удалить повторы из txt файла весом 9гб ? 


ubunutu 11.10

[Señor_Gaga]

9гб удалить и склеить всё заново??

[izamoo]

uniq ?

[webrus]

9гб удалить и склеить всё заново??

не выход, прошу писать по существу

[izamoo]

http://www.opennet.ru/man.shtml?topic=uniq&category=1&russian=0

[webrus]

спасибо, все просто оказывается, вот если кому нада
 cat 1.txt | sort | uniq > 2.txt
 1.txt - файл который хотите проверить на повторы
 2.txt - записывает отредактированный файл

[Yurror]

sort -u Не канает?

[webrus]

Возник опять вопрос,дабы не засорять форум напишу здесь...
Как можно из txt файла удалить все пробелы, удалить пустые строки, удалить все слова и буквы, цифры до 8 знаков (т.е. txt должен содержать от 8 символов включительно )

На форуме ЗАПРЕЩЕНО
2.6. Задавать в одной теме несвязанные вопросы. Не бойтесь создавать по одной теме на каждый вопрос в соответствующих разделах.

Не забывайте об этом.

--andrew_bye

[alexander.pronin]

Возник опять вопрос,дабы не засорять форум напишу здесь...
Как можно из txt файла удалить все пробелы, удалить пустые строки, удалить все слова и буквы, цифры до 8 знаков (т.е. txt должен содержать от 8 символов включительно )

Разделите вопросы, вот к примеру.
УДАЛЕНИЕ ИЗ ФАЙЛА ВСЕХ КОММЕНТАРИЕВ И ПУСТЫХ СТРОК

Код: [Выделить]

cat old-file.txt | grep -v '^#' | grep -v '^$' > new-file.txt


[ArcFi]

alexander.pronin, оптимизируем:

Код: [Выделить]

sed -i '/^\(#\|$\)/d' file.txt

[alexander.pronin]

Принято.
ЗЫ. Вероятно и с grep -v сработает объединение шаблонов.

[ArcFi]

Вероятно и с grep -v сработает объединение шаблонов.

Ага.
https://forum.ubuntu.ru/index.php?topic=161609.msg1188634#msg1188634

Хотя, тут sed чуток удобнее, т.к. позволяет покоцать файл на месте.

[alexander.pronin]

Хотя, тут sed чуток удобнее, т.к. позволяет покоцать файл на месте.

Без записи в промежуточный файл что-ли ? Это сомнительно.

[webrus]

спасибо за ответы, и прошу прощения у модераторов, только вопрос остался открытым с удалением всех слов менее 8 символов

Второй раз тонко так намекаю, что:

Не бойтесь создавать по одной теме на каждый вопрос в соответствующих разделах.

--andrew_bye

[alexander.pronin]

Вы бы дали пример и что надо получить.