Форум русскоязычного сообщества Ubuntu


Получить помощь и пообщаться с другими пользователями Ubuntu можно
на irc канале #ubuntu-ru в сети Freenode
и в Jabber конференции ubuntu@conference.jabber.ru

Автор Тема: Парсинг rss-ленты  (Прочитано 25387 раз)

0 Пользователей и 1 Гость просматривают эту тему.

Оффлайн Magi

  • Автор темы
  • Участник
  • *
  • Сообщений: 116
    • Просмотр профиля
Парсинг rss-ленты
« : 09 Ноября 2023, 21:04:11 »
Здравствуйте!

Есть необходимость скачивать файлы, выложенные на файлообменниках с помощью jdownloader. Работающего расширения, которое поддерживает загрузку из нескольких rss-лент не нашел.
Поэтому наколхозил на баше однострочники, которые сохраняют ссылки на nitroflare.com в файл

#!/usr/bin/bash
curl --silent https://www.downloadmedicalbooks.com/feed/ | sed -E 's/<[^>]+>//g' | grep -oE 'https://[^"]*nitroflare\.com[^"]*' | sed -E 's/&#160;|]]>//g' | uniq | grep -v -e "rapidgator\.net" -e "katfile\.com" -e "turbobit\.com" > links.txt
wget -qO- https://freebookspot.club/freebookspot_Medicine_news.xml | grep -oP '<link>\K[^<]+' | xargs -I {} wget -qO- {} | grep -oE 'https://[^"]*(\.pdf|\.epub|\.rar)[^"]*' | grep -v -e "rapidgator\.net" -e "katfile\.com" -e "turbobit\.com" >> links.txt

Но скрипт собирает все ссылки, а как отбирать только новые, например за последние сутки?

 

Страница сгенерирована за 0.033 секунд. Запросов: 22.