Форум русскоязычного сообщества Ubuntu


Получить помощь и пообщаться с другими пользователями Ubuntu можно
на irc канале #ubuntu-ru в сети Freenode
и в Jabber конференции ubuntu@conference.jabber.ru

Автор Тема: Bash: Поиск одинаковых строк в файле.  (Прочитано 12145 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Protopopulus

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1695
  • А чего вы так смотрите?..
    • Просмотр профиля
Bash: Поиск одинаковых строк в файле.
« : 24 Сентября 2010, 03:22:40 »
Имеется: файл с миллионом строк md5-хешей.
Задача: проверить файл на предмет двух одинаковых строк.
Алгоритм: Читаем из фала первую строку и сравниваем с ней по очереди остальные, если соответствия не найдено, то переходим на следующую строку фала и повторяем сравнение, если найдено соответствие, то выводим эту строку в другой файл.

Главный вопрос в том, как это грамотнее и быстрее осуществить на Shell... У кого какие идеи? :)
Если ты владеешь знаниями, то и знания владеют тобой. (с) Protopopulus

Оффлайн VestniK

  • Активист
  • *
  • Сообщений: 594
    • Просмотр профиля
Re: Bash: Поиск одинаковых строк в файле.
« Ответ #1 : 24 Сентября 2010, 04:02:05 »
Можно как-нибудь так:
sort file.1 | uniq -d > file.2

Оффлайн Protopopulus

  • Автор темы
  • Старожил
  • *
  • Сообщений: 1695
  • А чего вы так смотрите?..
    • Просмотр профиля
Re: Bash: Поиск одинаковых строк в файле.
« Ответ #2 : 24 Сентября 2010, 04:27:06 »
VestniK, спасибо большое. Действительно все крайне просто. :)
Если ты владеешь знаниями, то и знания владеют тобой. (с) Protopopulus

 

Страница сгенерирована за 0.014 секунд. Запросов: 21.