Как сохранить все ссылки в текстовый файл?

[ReNzRv]

Только wget и perl:

Код: [Выделить]

wget -r --spider 'https://forum.alpari.com/' 2>&1 | perl -ne 's/%([[:xdigit:]]{2})/chr(hex($1))/eg; if (/.*(https:\/\/forum\.alpari\.com\/index\.php\?\/topic\/\S+\/)/) { unless ($1 eq $prev_s) { print "$1\n"; open FH, ">>", "site_links" or die; print FH "$1\n"; close FH; $prev_s=$1 }}'

[daridaL]

ReNzRv, Спасибо, так поняла, что перевод в читаемый вид замедляет работу.
Сделала так

Код: [Выделить]

wget -r --spider 'https://forum.alpari.com/' 2>&1  | grep --line-buffered -Po 'https://forum\.alpari\.com/index\.php\?/topic/\S+' | awk -W interactive '($0 != p){print; print >> "site_links"}{p=$0}'Ссылки собираются, всё хорошо)
Попыталась по аналогии сделать такое начало ссылки

Код: [Выделить]

https://www.forexfactory.com/showthread.php?t=не хочет собирать

Код: [Выделить]

wget -r --spider 'https://www.forexfactory.com/' 2>&1  | grep --line-buffered -Po 'https://www\.forexfactory\.com/showthread\.php\?t=\S+' | awk -W interactive '($0 != p){print; print >> "site_links"}{p=$0}' Что неправильно?

[ReNzRv]

Конвертирование символов не замедляет работу.
Время занимает само сканирование и переход по страницам.
Конвертирование символов нужно не только для русских букв, но и для некоторых символов в ссылке которые wget не выдает в явном виде. Без конвертирования ссылки могут быть не найдены в выводе.
По аналогии все правильно. Ссылок может не быть еще потому-что они генерируются php скриптом на сервере или дополнительно ява-скриптом браузера.

[daridaL]

ReNzRv, спасибо.

Ссылок может не быть еще потому-что они генерируются php скриптом на сервере или дополнительно ява-скриптом браузера.

То есть, без браузера ссылок не собрать?
В коде ссылки выглядят так: первая страница темы фору

Код: [Выделить]

<a class="threadlist__title-link" id="thread_title_582459" href="https://www.forexfactory.com/showthread.php?t=582459"> <span class="icon icon--thread"></span> <span class="icon icon--poll" title="Attached Poll"></span> <span title="No trolls allowed. professional oriented trading only. i dont check pm much. current personal outlook eu to test 1.17 in pursuit of 1.2470 valid ..." class="threadlist__title-text">The Swamp</span> </a>вторая страница

Код: [Выделить]

<a data-page="2" href="showthread.php?t=582459&amp;page=2" title="View Posts 21 to 40">2</a>Можно, как то, собрать такие ссылки? Затем, в начало каждой строки я просто добавлю домен.

[ShadowUser15]

Не тестил!
Браузером  если нужно однократно, по идее самый надёжный вариант.
https://addons.mozilla.org/ru/firefox/search/?q=copy%20links
например
https://addons.mozilla.org/ru/firefox/addon/copy-links/

[daridaL]

ShadowUser15, спасибо.
ReNzRv, как можно вместо ссылок сохранять слово? Если встретилось слово "divergens" сохранять столько раз сколько встретится на сайте.

[ShadowUser15]

слово "divergens" сохранять столько раз сколько встретится на сайте.

количество встреч? страницы целиком? ссылки?

[daridaL]

ShadowUser15, каждый раз при встрече записать только это слово в файл.
вот так переходит и записывает все ссылки в файл

Код: [Выделить]

wget -r --spider 'https://forum.alpari.com/' 2>&1  | grep --line-buffered -Po 'https://forum\.alpari\.com/index\.php\?/topic/\S+' | awk -W interactive '($0 != p){print; print >> "site_links"}{p=$0}'в место ссылок нужно записывать "divergens" если оно есть на странице ) или слово - "divergens~!@#$%^&*()_+"