Найти одинаковые строки в файле!

[Sova777]

Программу на C++ собирал так: g++ -O3 -o unify unify.cpp
Вариант с Sun Studio:
sova@sova:~$ CC -fast -o unify unify.cpp
sova@sova:~$ time -p ./unify < access_log.30 > /dev/null
real 1.12
user 0.97
sys 0.16

[Jython]

Господа прошу помощи.
Необходим скрипт поиска одинаковых строк в ОДНОМ файле с последующим удаленмием одной из идентичных строк.
Может кто уже сталкивался... У меня с программированием туго по этому и прошу помощи.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

#!/usr/bin/env python
#-*-coding:utf8-*-
import string
import string
file=open("testfile")
text=file.read()
word_list=text.split()
unikal=set(word_list)
result=[]
for word in unikal:
    info={"word" : word,
          "quantity":string.count(text,word)}
    result.append(info)

print result

Так?

[Tonal]

Наверно самым быстрым из примитивных будет следующий код на С++

Код: [Выделить]

#include <iostream>
#include <string>
#include <tr1/unordered_set>

using std::string;

int main() {
  string str;
  std::tr1::unordered_set<string> set;
  while (getline(std::cin, str))
    if (set.insert(str).second)
      std::cout<<str<<std::endl;
}
Можно сильно быстрее, если добавить свой аллокатор для строк и для unordered_set.
Ну и set можно хранить не копии а указатели, как это происходит в python || perl. Вудет ещё быстрей.

[alexander.pronin]

Мне кажется, что если спрашивают на форуме по линуксу решение какой-то задачи, то не надо давать решение на перле, питоне, руби и хз чем.

Не согласен. Пусть расцветают все цветы, а время покажет, ху из ху.
Не хватает только java.

Код: [Выделить]

cat file | sort | uniq

Чуть-чуть полегче.
cat file.in | sort -mu > file.out

PS. Мне понравилась эта тема, что даже зарегистрировался.
 Еще лаконичнее
sort -mu file.in > file.out

Это без пипа, но я не уверен, что будет одназначно быстрее (т.к. буферизация м.б. исчезнет).
Проверять надо на длинных файлах.
Могу предложить еще несколько тем.
1. Поиск текстового фрагмента в каталоге.
2. Замена текстового фрагмента в файле.
Это для затравки.