Найти одинаковые строки в файле!

[lumen_xp]

Господа прошу помощи.
Необходим скрипт поиска одинаковых строк в ОДНОМ файле с последующим удаленмием одной из идентичных строк.
Может кто уже сталкивался... У меня с программированием туго по этому и прошу помощи.

[Kwah]

Определи признак одинаковости.

[lumen_xp]

Полностью идентичная строка. Все знаки одинаковы в том числе и пробелы в тех же местах.

[Kwah]

Количество одинаковых строк? Должна остаться только одна из всех (первая, последняя, какая-то ещё)? Положение в файле важно? Ограничения на размеры входного файла есть? Пример ввода/желаемого вывода можешь продемонстировать?

[lumen_xp]

Количество одинаковых строк неизвестно. Необходимо оставить одну из одинаковых остальные же (одинаковые) удалить. Где эта строка останется не важно. А вывод желательно оставить тем же.
Вот пример
192.168.4.182    192.168.3.3      6     3182     3128     404         5
192.168.4.182    192.168.3.3      6     3183     3128     1016        7
192.168.4.182    192.168.3.3      6     3182     3128     404         5
192.168.4.182    192.168.3.3      6     3185     3128     1016        7
 Вот по сути первая и третья строчки идентичны.
Выкидываем 3- ю и получаем то что нужно.

[ziv]

Ну вот как-то так.

Код: [Выделить]

#! /usr/bin/perl -w

if( !$ARGV[0] ) {
die "Usage: $0 <file>\n";
}

open FILE, $ARGV[0] or die "Can't open $ARGV[0]: $!\n";
while(<FILE>) {
push @old, $_;
}
close FILE;
unlink $ARGV[0];

for($i=0; $i<@old; $i++) {
push @new, $old[$i];

if( $i ) {
$del=0;

for($j=0; $j<@new-1; $j++) {
if( !$del && $old[$i] eq $new[$j] ) { $del=1; }
}

if( $del ) { pop @new; }
}
}

open FILE, ">$ARGV[0]" or die "Can't open $ARGV[0]: $!\n";
print FILE @new;
close FILE;


[lumen_xp]

Благодарю господа.
Обязательно протестю в начале следущего дня.

[ziv]

Обрати внимание, я только что подредактировал.
Да... и сделай бэкап предварительно

[S.Tokarev]

Обрати внимание, я только что подредактировал.
Да... и сделай бэкап предварительно

Так... Второй враг юникса себя обнаружил.
Я даже рекламу придумал такому решению: "Г%вно-софт! Теперь и под Линукс!"

А вот вменяемое решение.
Пишем в файл unify.pl следующее

Код: [Выделить]

#!/usr/bin/perl

my %wtf = ();

while(<STDIN>) {
  if (!defined($wtf{$_})) {
    print $_;
    $wtf{$_} = 1;
  }
}
Делаем его исполняемым один раз навсегда (а вдруг?)

Код: [Выделить]

chmod 755 ./unify.pl
Запускать надо так

Код: [Выделить]

./unify.pl < input_file
а если в файл надо результат сохранять, то

Код: [Выделить]

./unify.pl < input_file > output_file


[ziv]

Обрати внимание, я только что подредактировал.
Да... и сделай бэкап предварительно

Так... Второй враг юникса себя обнаружил.
Я даже рекламу придумал такому решению: "Г%вно-софт! Теперь и под Линукс!"

Хехе. А я так старался

[S.Tokarev]

Обрати внимание, я только что подредактировал.
Да... и сделай бэкап предварительно

Так... Второй враг юникса себя обнаружил.
Я даже рекламу придумал такому решению: "Г%вно-софт! Теперь и под Линукс!"

Хехе. А я так старался

А теперь представь как твоему скрипту в паре с процессором придётся стараться на файле из пары тысяч строк (с ~50% уникальностью).

[ziv]

Обрати внимание, я только что подредактировал.
Да... и сделай бэкап предварительно

Так... Второй враг юникса себя обнаружил.
Я даже рекламу придумал такому решению: "Г%вно-софт! Теперь и под Линукс!"

Хехе. А я так старался

А теперь представь как твоему скрипту в паре с процессором придётся стараться на файле из пары тысяч строк (с ~50% уникальностью).

Да, согласен. Идея с хэшем мне в голову не пришла.

[Bers]

или можно на питоне

Код: [Выделить]

#!/usr/bin/env python
wr = open('out.txt', 'w')
map(wr.write, set(open('in.txt', 'r').xreadlines()))

in.txt - входящий файл
out.txt - результат

[Yurror]

Раз выкладываем на разных языках

Код: ("destinct.cpp") [Выделить]

#include <iostream>
#include <map>

int main(int argc, char** argv) {
    std::string str;
    std::map<std::string, int> str_map;
    while (getline(std::cin, str)) {
        int& ref = str_map[str];
        if (!ref) {
            std::cout << str << std::endl;
            ref = 1;
        }
    }
    return (EXIT_SUCCESS);
}
хочу предупредить что  реализация тормозная до нельзя

[igel]

хочу предупредить что  реализация тормозная до нельзя

Неужели тормознее perl-а? Это не попытка обидеть perl, просто любопытство. Обычно на низкоуровневых языках получается быстрее. Впрочем, мой опыт из области вычислений, а не обработки текста.