[Wiki] Руководство по работе с wget.

[Vlasssov]

Почитал описание wget, и что-то не нашел там опции скачивания файлов с фильтром по имени файла. То есть чтобы было можно задать:
Скачивать ТОЛЬКО те файлы, в адресе которых будет слово ***

Есть там такая опция?

[Polkan]

Почитал описание wget, и что-то не нашел там опции скачивания файлов с фильтром по имени файла. То есть чтобы было можно задать:
Скачивать ТОЛЬКО те файлы, в адресе которых будет слово ***

Есть там такая опция?

http://www.opennet.ru/man.shtml?topic=wget&category=1&russian=0

Загрузить файлы GIF папки на HTTP сервере.
Команда wget http://www.server.com/dir/*.gif не будет работать, так как маскировочные символы не поддерживаются при загрузке по протоколу HTTP. Используйте: 

Код: [Выделить]

wget -r -l1 --no-parent -A.gif http://www.server.com/dir/-r -l1 включает рекурсивную загрузку с максимальной глубиной 1.
--no-parent выключает следование по ссылкам в родительскую папку, имеющую верхний уровень,
 -A.gif разрешает загружать только файлы с расширением .GIF.  -A "*.gif" также будет работать.

[Vlasssov]

Почитал описание wget, и что-то не нашел там опции скачивания файлов с фильтром по имени файла. То есть чтобы было можно задать:
Скачивать ТОЛЬКО те файлы, в адресе которых будет слово ***

Есть там такая опция?

http://www.opennet.ru/man.shtml?topic=wget&category=1&russian=0

Загрузить файлы GIF папки на HTTP сервере.
Команда wget http://www.server.com/dir/*.gif не будет работать, так как маскировочные символы не поддерживаются при загрузке по протоколу HTTP. Используйте: 

Код: [Выделить]

wget -r -l1 --no-parent -A.gif http://www.server.com/dir/-r -l1 включает рекурсивную загрузку с максимальной глубиной 1.
--no-parent выключает следование по ссылкам в родительскую папку, имеющую верхний уровень,
 -A.gif разрешает загружать только файлы с расширением .GIF.  -A "*.gif" также будет работать.

Мне фильтр по разрешению не нужен... Мне нужен фильтр по ИМЕНИ файла.
Например, мне нужно скачать с определенного ресурса все файлы, где в ссылке содержиться слово print
*print*.*
вот как это сделать?

[Polkan]

...

Код: [Выделить]

wget -r -l1 --no-parent -A.gif http://www.server.com/dir/-r -l1 включает рекурсивную загрузку с максимальной глубиной 1.
--no-parent выключает следование по ссылкам в родительскую папку, имеющую верхний уровень,
 -A.gif разрешает загружать только файлы с расширением .GIF.  -A "*.gif" также будет работать.

Мне фильтр по разрешению не нужен... Мне нужен фильтр по ИМЕНИ файла.
Например, мне нужно скачать с определенного ресурса все файлы, где в ссылке содержиться слово print
*print*.*
вот как это сделать?

К.О. тактично намекает, что надо заменить -A "*.gif" на -A "*print*" 

[port72]

Загрузить файлы GIF папки на HTTP сервере.
Команда wget http://www.server.com/dir/*.gif не будет работать, так как маскировочные символы не поддерживаются при загрузке по протоколу HTTP. Используйте: 

Код: [Выделить]

wget -r -l1 --no-parent -A.gif http://www.server.com/dir/-r -l1 включает рекурсивную загрузку с максимальной глубиной 1.
--no-parent выключает следование по ссылкам в родительскую папку, имеющую верхний уровень,
 -A.gif разрешает загружать только файлы с расширением .GIF.  -A "*.gif" также будет работать.

Хммм... а из-за чего эта конструкция может не работать?

Код: [Выделить]

proxy# wget -r -l1 --no-parent -A.GIF http://rp5.ru/img/
--2009-11-19 14:06:59--  http://rp5.ru/img/
Распознаётся rp5.ru... 217.16.28.152
Устанавливается соединение с rp5.ru|217.16.28.152|:80... соединение установлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 5050 (4,9K) [text/html]
Сохраняется в каталог: `rp5.ru/img/index.html'.

100%[===================================================================================================================>] 5 050       --.-K/s   в 0,03s

2009-11-19 14:06:59 (159 KB/s) - `rp5.ru/img/index.html' сохранён [5050/5050]

Удаляется rp5.ru/img/index.html, т.к. он должен быть исключён.

ЗАВЕРШЕНО --2009-11-19 14:06:59--
Загружено: 1 файлов, 4,9K за 0,03s (159 KB/s)


В итоге вместо кучи gif файлов один Index of /img со ссылками на них

[Serge]

Как остановить или приостановить закачку? Кроме killall wget работает что-нибудь?

[ArcFi]

Serge,

Код: [Выделить]

pkill -STOP wget
pkill -CONT wget
pkill -9 wget

man kill
man pkill

[nep]

столкнулся со следующим:

нужно - выкачать сайт целиком. использую: wget -rkp

проблема: в шаблоне сайта в css файле используются картинки (background: url(images/bg.gif); - так, к примеру), а они не подгружаются.
Есть ли возможность таки заставить wget их видеть и подгружать?

Спасибо.

[svcunion]

Отличная тема, главное не увядающая свое актуальностью.
Конечно бывают случаи когда надо скинуть весь сайт, но немало вариантов когда надо копирнуть одну тему из этого сайта.
Пример: http://citforum.ru/programming/python.shtml
Надо скачать одну тему по питону. Зачем тянуть все эти новостные и прочие ветки. Ну ладно попадуться ветки и линки с искомой странице, но как ни искал в мане не нашел ключей на глубину погружения более допустим двух - трех страниц. Может кто-то читал иначе, у него успехов по - больше? Поделитесь тогда.
Пользователь решил продолжить мысль 27 Января 2010, 19:36:04:Просьба оценить правильность. Напомню, моя задача сделать закачку с сайта глубиной не более трех переходов.

wget -r -l 3 -k /home/mycomp/admin/ http://www.openspin.org/materials/courses/admin/index.html

Качать - качает, хотя и с меньшими излишествами, но все равно в к общий юзерский каталог, а не в указанную /home/mycomp/admin/.
Не пойму почему. Не уверен, что во всем выполняется переход не более чем на три страницы.

Новая идея:
wget -r -l 3 -np -P /home/mycomp/admin/ http://www.openspin.org/materials/courses/admin/index.html
Вечером проверю.

[kotnaton]

Почитал - трудно сразу понять  . wget -сильная вещь.
Если не трудно -подскажите как решить следующую задачу. Я понимаю что есть Filezilla, но интересует именно wget.
Допустим нужно скачать с FTP определённую папку с подпапками, ну соответственно с файлами, находящимися в них.
 Как реализовать это с помощью wget ?

wget -r ftp://www.aaa.com/files/*

А если, то же самое, только на страницу http с в вложенными папками, содержащими ссылки на доменном фтп, но которые сайт не хочет отдавать в index.html загружаемый wget ? Опция

--user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)"

Не помогла. Спасибо

[andronix]

Короче прочитал вчю тему и так и не понял.  Расскажите как качать вгетом с сайта сразу все песни mp3 с прямыми ссылками? сайт http://my-hit.ru/film/8314/tracks

[ArcFi]

andronix, минимум, пара вариантов:
1) flashgot+wget
2)

Код: [Выделить]

wget "http://my-hit.ru/film/8314/tracks" -O- | grep -o "saundtreki/.*.mp3" | sort -u | while read ; do wget "http://my-hit.ru/$REPLY" ; done

[nikolai_rys]

Здравствуйте.

Следующая проблема:
Была установлена Ubuntu 9.10 Server
И функции fetch  curl wget  не работают..
Пишет:
-bash: fetch: command not found

И так со всеми функциями..
Более всего интересует wget.

Подскачите , куда копать.
Заранее спасибо.

Проблему решил.Решается:
sudo apt-get install wget

p.s.Пост оставил , может кто-то будет искать - накнется..А то я вот не нашел на рус..Только у буржуев.

[cooler_3105]

А как можно мастроить категории закачек? Т.е. если wget получает файлы *.avi, *.mkv, то в одну папку, а *.rar, *.zip - в другую.

[Noor]

помогите. у меня такая проблема.
  например когда пробую закачать сайт,где странички названы русскими или арбскими буквами, после скачки имена файлов нечитабельны, и в конце написано неверная кодировка. как сделать чтобы все было  правильно.