Удаление дубликатов строк из несортированного текста

[ReNzRv]

Вот здесь нашел пример решения:

Код: (awk) [Выделить]

if (data[$0]++ == 0)
lines[++count] = $0 ""
END -
for (i = 1; i != count; i++)
print lines[i] ""
Тестовый Text.txt:

Код: (html5) [Выделить]

Text 1235
Text 123
Text 1237
Text 1234
Text 1235
Text 1236
Text 1237
Text 1238


Код: [Выделить]

sort Text.txt | uniq -dc
      2 Text 1235
      2 Text 1237
Переписал так в одну строку:

Код: (awk) [Выделить]

{if (data[$0]++ == 0) ; lines[++count] = $0 ""}; END {for (i = 1; i != count; i++) print lines[i] ""}
НО не работает:

Код: [Выделить]

cat Text.txt | awk '{if (data[$0]++ == 0) ; lines[++count] = $0 ""}; END {for (i = 1; i != count; i++) print lines[i] ""}'

Код: (html5) [Выделить]

Text 1235
Text 123
Text 1237
Text 1234
Text 1235
Text 1236
Text 1237
Что не так?

[Azure]

Можно из без awk

Код: (bash) [Выделить]

nl -nln Text.txt |
sort -k2V |
uniq -dcf1 |
sort -k3n,3n |
sed 's/[0-9]\+\s*//2'Пользователь добавил сообщение 14 Сентября 2016, 20:50:46:

Код: (awk) [Выделить]

seen[$0]++ == 1{
    line[NR]=$0
    }
END{
    for(i in line)
        print seen[line[i]], line[i]
   }

[ReNzRv]

Код: [Выделить]

nl -nln Text.txt | sort -k2V | uniq -dcf1 | sort -k3n,3n | sed 's/[0-9]\+\s*/-/'
      -1      Text 1235
      -3      Text 1237


Код: [Выделить]

cat Text.txt | awk 'seen[$0]++ == 1{line[NR]=$0}; END{for(i in line) print seen[line[i]], line[i]}'
2 Text 1235
2 Text 1237ошибка?
Пользователь добавил сообщение 14 Сентября 2016, 20:58:38:

Код: [Выделить]

sort Text.txt | uniq -dc
      2 Text 1235
      2 Text 1237Это я написал чтобы показать дубликаты строк.

Смысл - удалить из строк дубликаты без сортировки. Результат такой должен быть:

Код: (html5) [Выделить]

Text 1235
Text 123
Text 1237
Text 1234
Text 1236
Text 1238

[Azure]

ошибка?

Скопировал промежуточный тестовый вариант. Поправил.
Уникальные строки без сортировки выводятся так

Код: (awk) [Выделить]

awk '!seen[$0]++' Text.txtПользователь добавил сообщение 14 Сентября 2016, 21:07:09:Конечно после awk не так красиво

Код: (bash) [Выделить]

nl -nln Text.txt | sort -k2 -u | sort -n -k1,1 | cut -f2-

[ReNzRv]

Как просто)) Зачем такой код там в ссылке в нагородили? Спасибо.