Форум русскоязычного сообщества Ubuntu


Увидели сообщение с непонятной ссылкой, спам, непристойность или оскорбление?
Воспользуйтесь ссылкой «Сообщить модератору» рядом с сообщением!

Автор Тема: Как из txt файла удалить повторы  (Прочитано 3541 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн webrus

  • Автор темы
  • Новичок
  • *
  • Сообщений: 17
    • Просмотр профиля
Как из txt файла удалить повторы
« : 22 Январь 2012, 11:53:53 »
Добрый день, я склеил много txt файлов вот этой командой - cat file2 >> file1 && rm file2 , и случайно склеил несколько похожишь файлов, вот мне нужна ваша помощь, как можно командой или прогой удалить повторы из txt файла весом 9гб ?  :o


ubunutu 11.10

Оффлайн Señor_Gaga

  • Забанен
  • Активист
  • *
  • Сообщений: 878
  • Ubuntu 12.04LTS & Linux Mint 13LTS "Maya"
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #1 : 22 Январь 2012, 11:58:19 »
9гб удалить и склеить всё заново??

izamoo

  • Гость
Re: Как из txt файла удалить повторы
« Ответ #2 : 22 Январь 2012, 11:59:01 »
uniq ?

Оффлайн webrus

  • Автор темы
  • Новичок
  • *
  • Сообщений: 17
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #3 : 22 Январь 2012, 12:00:20 »
9гб удалить и склеить всё заново??
не выход, прошу писать по существу


Оффлайн webrus

  • Автор темы
  • Новичок
  • *
  • Сообщений: 17
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #5 : 22 Январь 2012, 12:07:51 »
спасибо, все просто оказывается, вот если кому нада
 cat 1.txt | sort | uniq > 2.txt
 1.txt - файл который хотите проверить на повторы
 2.txt - записывает отредактированный файл

Оффлайн Yurror

  • Старожил
  • *
  • Сообщений: 1966
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #6 : 22 Январь 2012, 13:59:24 »
sort -u Не канает?

Оффлайн webrus

  • Автор темы
  • Новичок
  • *
  • Сообщений: 17
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #7 : 23 Январь 2012, 20:09:40 »
Возник опять вопрос,дабы не засорять форум напишу здесь...
Как можно из txt файла удалить все пробелы, удалить пустые строки, удалить все слова и буквы, цифры до 8 знаков (т.е. txt должен содержать от 8 символов включительно )

На форуме ЗАПРЕЩЕНО
2.6. Задавать в одной теме несвязанные вопросы. Не бойтесь создавать по одной теме на каждый вопрос в соответствующих разделах.

Не забывайте об этом.


--andrew_bye
« Последнее редактирование: 23 Январь 2012, 22:00:04 от andrew_bye »

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #8 : 24 Январь 2012, 08:21:43 »
Возник опять вопрос,дабы не засорять форум напишу здесь...
Как можно из txt файла удалить все пробелы, удалить пустые строки, удалить все слова и буквы, цифры до 8 знаков (т.е. txt должен содержать от 8 символов включительно )
Разделите вопросы, вот к примеру.
УДАЛЕНИЕ ИЗ ФАЙЛА ВСЕХ КОММЕНТАРИЕВ И ПУСТЫХ СТРОК
cat old-file.txt | grep -v '^#' | grep -v '^$' > new-file.txt

Оффлайн ArcFi

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
Re: Как из txt файла удалить повторы
« Ответ #9 : 24 Январь 2012, 11:50:19 »
alexander.pronin, оптимизируем:
sed -i '/^\(#\|$\)/d' file.txt

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #10 : 24 Январь 2012, 12:08:42 »
Принято.
ЗЫ. Вероятно и с grep -v сработает объединение шаблонов.
« Последнее редактирование: 24 Январь 2012, 12:16:52 от alexander.pronin »

Оффлайн ArcFi

  • Заслуженный пользователь
  • Старожил
  • *
  • Сообщений: 15189
    • Просмотр профиля
    • aetera.net
Re: Как из txt файла удалить повторы
« Ответ #11 : 24 Январь 2012, 12:45:43 »
Вероятно и с grep -v сработает объединение шаблонов.
Ага.
https://forum.ubuntu.ru/index.php?topic=161609.msg1188634#msg1188634

Хотя, тут sed чуток удобнее, т.к. позволяет покоцать файл на месте.

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #12 : 24 Январь 2012, 13:11:42 »
Хотя, тут sed чуток удобнее, т.к. позволяет покоцать файл на месте.
Без записи в промежуточный файл что-ли ? Это сомнительно.

Оффлайн webrus

  • Автор темы
  • Новичок
  • *
  • Сообщений: 17
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #13 : 24 Январь 2012, 14:38:55 »
спасибо за ответы, и прошу прощения у модераторов, только вопрос остался открытым с удалением всех слов менее 8 символов

Второй раз тонко так намекаю, что:
Цитировать
Не бойтесь создавать по одной теме на каждый вопрос в соответствующих разделах.

--andrew_bye
« Последнее редактирование: 24 Январь 2012, 15:08:49 от andrew_bye »

Оффлайн alexander.pronin

  • Старожил
  • *
  • Сообщений: 2539
    • Просмотр профиля
Re: Как из txt файла удалить повторы
« Ответ #14 : 24 Январь 2012, 14:55:14 »
Вы бы дали пример и что надо получить.

 

Страница сгенерирована за 0.08 секунд. Запросов: 24.