Как отсортировать большой список?

[ase66]

Как отсортировать большой список?

Два вопроса.

1. Как найти и записать в другой файл самые свежие версии программ из списка?

Пример:

https://github.com/patrikx3/onenote/releases/download/v2019.10.253/P3X-OneNote-2019.10.253.AppImage
https://github.com/patrikx3/onenote/releases/download/v2019.10.248/P3X-OneNote-2019.10.248.AppImage

github.com/lemourin/libcloudstorage/releases/download/1.5-rc1/Cloud_Browser-x86_64.AppImage
github.com/lemourin/libcloudstorage/releases/download/1.4/Cloud_Browser-x86_64.AppImage


2. Как найти и удалить из очень большого списка одинаковые строки.

Пример:

ubuntu/+source/linux-signed-oem-osp1/5.0.0-1019.21
ubuntu/+source/linux-signed-oem-osp1/5.0.0-1019.21

Возможно ли это вообще?

[andytux]

Возможно ли это вообще?

Возможно.

Как найти и удалить из очень большого списка одинаковые строки.

"Очень большой" или "безобразно большой". Не соврать бы, в текстовом файле в пару миллионов строк сортировал и удалял одинаковые в банальном gedit. Да, не очень быстро. Но работает.

[bezbo]

Как найти и удалить из очень большого списка одинаковые строки.

Код: [Выделить]

sort /path/to/input_file | uniq -u | tee /path/to/output_file

[ase66]

Как найти и удалить из очень большого списка одинаковые строки.

Код: [Выделить]

sort /path/to/input_file | uniq -u | tee /path/to/output_file

Удалены не только копии но и оригиналы строки. Как оставить оригинал, но удалить копии строки?

[bezbo]

Как оставить оригинал, но удалить копии строки?

Код: [Выделить]

sort -u /path/to/input_file > /path/to/output_file

[ase66]

Второй вопрос решён.

[Azure]

Код: [Выделить]

sort -t/ -uk4,4

[ase66]

Код: [Выделить]

sort -t/ -uk4,4

это вынесло треть списка, но осталось много вот такого:

github.com/AdamSmasherDerby/CRG-To-Statsbook/releases/download/v0.3-beta.4/crgdatatool-0.3.4-x86_64.AppImage
github.com/AdamSmasherDerby/CRG-To-Statsbook/releases/download/v0.3-beta.5/crgdatatool-0.3.5-x86_64.AppImage
github.com/AdamSmasherDerby/CRG-To-Statsbook/releases/download/v1.0.0/crgdatatool-1.0.0-x86_64.AppImage
github.com/AdamSmasherDerby/CRG-To-Statsbook/releases/download/v2.0.0/crgdatatool-2.0.0-x86_64.AppImage

[Azure]

Я бы посоветовал привести все к единому виду: или с https:

Код: [Выделить]

sed '/^http/ !s_^_https://_'или без него

Код: [Выделить]

sed '\_^https\?://_s___'

[ase66]

Все строки начинаются с https по одному урл в строке. Я удалил их из примеров чтобы админы не ругались из-за кликабельных ссылок чёрти куда.
ТС, как видно по состоянию на 23/02/2020 потерял интерес к созданной им теме (пометка Решено в теме отсутствует, тема оставлена не закрытой, сообщений в теме давно не было). Тема стародавняя (последнее сообщение в топике: 26/08/2019; последнее сообщение от ТС в топике: 26/08/2019). Модератором раздела принято решение закрыть тему.
--zg_nico

[zg_nico]

чтобы админы не ругались из-за кликабельных ссылок чёрти куда.

Для этого достаточно ссылку заключить в теги [nobbc][/nobbc]. Тогда она перестанет быть "кликабельной". Я Вам дописал теги в первом Вашем сообщении на те ссылки, что были рабочими.