[Wiki] Руководство по работе с wget.

[AgenT_Vano]

AgenT_Vano,

Код: [Выделить]

wget -qO- http://www.strnad.info/17plseMFFUK2011/ | grep -o 'images/[^"]*' | egrep -v '_t\.|\.js$|\.css$' | while read ; do wget -qP strnad.info http://www.strnad.info/$REPLY ; done

Большое спасибо за помощь, всё работает. Ну вот я только не совсем понял с шаблоном у egrep и почему в цикле укана ссылка на главную страницу сайта а не на месорасположение фотографий ? Мне нужно вот с этого сайта http://photo.rdx.cz/index.php?show=album&aid=412 тоже выкачать все фотографии, надеелся сделать это по подобию ну у меня что то не получается. Заранее спасибо за ответ.

[AgenT_Vano]

wget -qO- 'http://photo.rdx.cz/index.php?show=album&aid=412' | egrep -o 'index.php\?show=photo&pid=[0-9]+&aid=412' | sed 's/.*pid=\([0-9]*\).*/\1/' | while read num; do wget -P photo.rdx http://photo.rdx.cz/"$(wget -qO- "http://photo.rdx.cz/index.php?show=photo&pid=$num&aid=412" | egrep -o '"showphoto/.+jpg"' | sed 's/"//g')"; done

 

[guland2000]

Теперь вопрос?А как это смотреть через что?Скачав сайт посредством: wget http://www.google.ru/ --mirror,не могу просматривать скачанное,браузер всё время лезет в интернет

[alexander.pronin]

Файл - Работать автономно.
Бывает, что надо подкорректировать что-то ссылочное или убрать их совсем. Сейчас пошла мода, вставлять гугловские ссылки (какой-то маразм).

[guland2000]

Скачал сайт посредством следующей команды: $ wget -r -l0 -k http://www.site.ru/
Но конечно же с проблемами:
1.Нельзя воспользоваться меню внизу страницы, хотя и установил значение -k.Страницы открываются но только как директории

(Нажмите, чтобы показать/скрыть)

2.Некоторые линки внутри сайта просят соединене с интеренетом.
Почему так?
 

[Yujen]

2.Некоторые линки внутри сайта просят соединене с интеренетом.
Почему так?
 

Потому что, есть абсолютные, а, есть относительные пути

все зависит от разгильдяйства образованности кодера

[guland2000]

2.Некоторые линки внутри сайта просят соединене с интеренетом.
Почему так?
 

Потому что, есть абсолютные, а, есть относительные пути

все зависит от разгильдяйства образованности кодера

Лечению поддаётся с моей стороны?

[I_K]

Хочу скачать все файлы из дирректории http://host/dir/

Если адрес http://host/dir/ ввести в строку браузера, то открывается директория с файлами, которые мне и нужны.

Пытаюсь скачать все эти файлы
wget -r -l1 http://host/dir/
в результате скачивается файл index.html с именами всех нужных мне файлов, а не сами файлы.

Как скачать именно сами файлы из директории?

Заранее спасибо!

[alexander.pronin]

Принцип скачивания сайта следующий.
1. Скачивается стартовая страница.
2. В скачанной странице выделяются все ссылки. Скачиваются все ссылочные страницы.
3. Повторяется пункт 2 указанное (разумное) количество раз).

Здесь есть несколько засад.
1. Скачивается не модель сайта, а представление, генерируемое веб-сервером.
2. Можно уйти во внешние ссылки.
3. Нет ссылки - нет скачанной страницы.

ЗЫ. То что у Вас видны все директории - это дыра и ее надо заштопать.

[oldTV]

коллеги, как правильно получить файл полностью. Я использую

Код: [Выделить]

wget -c -P d:\GetFiles http://mySites.ru/BigLogo.jpgно иногда картинка закачивается не полностью, и об этом wget тоже говорит (он выдает что то типа)

Код: [Выделить]

Length: 87,008 [image/jpeg]
100%[====================================>] 87,008       247.00K/s    ETA 00:00
иногда 50%, иногда 95%.

Как составить команду так, чтобы только после загрузки на самой странице была скачана картинка?

[Batja]

  Как отменить зачачку в Wget? Чтобы она не возобновлялась?

[ArcFi]

Batja, Ctrl+C, или вы про что?

[oermolaev]

Batja, Ctrl+C, или вы про что?

Что то у меня по Ctrl+C не останавливается. Помогает только pkill -9 wget (xubuntu 12.04 x86_64)

[tеma]

А как при помощи wget скачать список файлов так, чтобы каждый файл был в своей директории так-же, как и на сайте. При этом весь сайт скачивать не надо, а только файлы из списка в текстовом файлике.
Например даны следующие файлы:

Код: [Выделить]

http://abc.ru/abc/1.txt
http://abc.ru/abc/2.txt
http://abc.ru/abc/3.txt
http://abc.ru/abd/1.txt
http://abc.ru/abd/2.txt
http://abc.ru/abd/3.txt
При этом надо, чтобы первые 3 файла скачались в папку abc, а следующие 3 -- в папку abd. Как это реализовать?

[Taumer]

Код: [Выделить]

#!/bin/bash
cd abc
wget http://abc.ru/abc/1.txt
wget http://abc.ru/abc/2.txt
wget http://abc.ru/abc/3.txt
cd ../abd
wget http://abc.ru/abd/1.txt
wget http://abc.ru/abd/2.txt
wget http://abc.ru/abd/3.txt