[Wiki] Руководство по работе с wget.

[alexander.pronin]

Если используется прокси

Редактируем файл /etc/wgetrc Находим и изменяем строки:
http_proxy = http://ip:порт/
ftp_proxy = http://ip:порт/
 
use_proxy = on

Взято отсюда
http://www.mikeryabov.tk/ubuntu/3proxy

[Noor]

не используется.  и не знаю что это такое.  а других вариантов нет? 
Пользователь решил продолжить мысль 29 Ноября 2010, 21:29:06:нашел. как решить описано здесь: http://linux-in-life.blogspot.com/2009/06/wget-utf8.html

 но мою проблему это не решило. кажется в другом проблема.

[amph]

Для себя сделал так:
На панельке сверху создал ярлык с командой:

Код: [Выделить]

wget -c -i "/home/USER/Рабочий стол/downloads.txt" -P "/media/DATA/Incom" --content-disposition
Получил в итоге:
В файлик на рабочем столе downloads.txt кидаем нужную ссылку/ссылки, сохраняем, на панеле приложений кликаем по ярлыку wget'a .. и все ссылки с ПРАВИЛЬНЫМИ именами закачивает в указанный каталог как по мне удобнее некуда плюс докачка в пункте -с учтена

[ArcFi]

amph, для запоминания опций есть .wgetrc

[amph]

amph, для запоминания опций есть .wgetrc

я нигде не нашел человеческого FAQ по нем

[ArcFi]

Вот пример синтаксиса:

(Нажмите, чтобы показать/скрыть)

$ cat .wgetrc
user-agent = "Mozilla/5.0"
tries = 1000
wait = 0
read_timeout = 5
continue = 1
check_certificate = 0
dir_prefix = Загрузки
content_disposition = 1

Все опции из

Код: [Выделить]

man wget

[banan]

 Подскажите, кто знает, надо с сайта выкачать файлы по маске +определенного размера (там типа превьюшки есть - короткие mp3). Как короткие файлы  "отсечь"?  В manе нету про лимиты размеров. Поиск пока ничего не дал. Скрипты еще не осилил.
 делал так:
wget -r -l 3 -A mp3 site.com && find  \( -size -500 \) -exec rm  {} \;

Вот только ненужных файлов слишком много накачалось, может можно их не качать?

Прикольно, вот нашел ответ на похожий с моим  вопрос на англоязычном ресурсе: 
your question was: How can I? And both answered: You can't!

[ArcFi]

Прикольно, вот нашел ответ на похожий с моим  вопрос на англоязычном ресурсе: 
your question was: How can I? And both answered: You can't!

Да, пожалуй, одним wget не обойтись.
Можно удалить лишнее после скачивания через find или из наутилуса, отсортировав файлы по размеру.

[banan]

Сортировать и удалять после скачивания - это банально, хочется поинтеллектуальнее чего-нибудь. Будем искать.

[ArcFi]

хочется поинтеллектуальнее чего-нибудь

Можно удалить лишнее после скачивания через find

[alexander.pronin]

Там принцип такой. Если встречается какая-то ссылка, то по этой ссылке что-то еще скачается.
Далее в новой ссылке ситуация повторяется.
Возможно бесконечная закачка, если встречаются переходы на доп. ресурсы.
Для ограничения существует максимальное количество рекурсивных вложений.
Я ее в курсе, есть ли это в wget.

[KotKit]

Всем доброго времени суток!
Подскажите, как с помощью wget выкачать сайт, если он состоит из зипованных html:
$ file index.html
index.html: gzip compressed data, from Unix

при попытке выкачать  получаю:

(Нажмите, чтобы показать/скрыть)

~/SG$ ./siteget http://www.openspin.org/materials/courses/admin/index.html
2011-03-21 11:40:29 URL:http://www.openspin.org/materials/courses/admin/index.html [7823/7823] -> "/home/konst/SG1/www.openspin.org/materials/courses/admin/index.html" [1]
ЗАВЕРШЕНО --2011-03-21 11:40:29--
Загружено: 1 файлов, 7,6K за 0s (14571 GB/s)
konst@god3-32:~/SG$

т.е. скачивается тоглько один файл и все.
Пользуюсь Wget 1.12 , kubuntu 10.04 .

siteget, здесь где-то о нем писалось, код:

Код: [Выделить]

wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
   --directory-prefix=/home/konst/SG1 \
   --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}


[dayser]

Всем доброго времени суток!
Подскажите, как с помощью wget выкачать сайт, если он состоит из зипованных html:
$ file index.html
index.html: gzip compressed data, from Unix

при попытке выкачать  получаю:

(Нажмите, чтобы показать/скрыть)

~/SG$ ./siteget http://www.openspin.org/materials/courses/admin/index.html
2011-03-21 11:40:29 URL:http://www.openspin.org/materials/courses/admin/index.html [7823/7823] -> "/home/konst/SG1/www.openspin.org/materials/courses/admin/index.html" [1]
ЗАВЕРШЕНО --2011-03-21 11:40:29--
Загружено: 1 файлов, 7,6K за 0s (14571 GB/s)
konst@god3-32:~/SG$

т.е. скачивается тоглько один файл и все.
Пользуюсь Wget 1.12 , kubuntu 10.04 .

siteget, здесь где-то о нем писалось, код:

Код: [Выделить]

wget --mirror --convert-links --no-verbose --no-parent --page-requisites \
   --directory-prefix=/home/konst/SG1 \
   --user-agent="Mozilla/5.0 (compatible; Konqueror/3.0.0/10; Linux)" ${1}


выставте ограничение по входным каталогам. Мне кажется администратор сайта позаботился о правах доступа и admin панель скачать не даст)

[AgenT_Vano]

Здравствуйте, у меня такая проблема нужно скачать все фотографии с помощью wget с сайта http://www.strnad.info/17plseMFFUK2011/ именно фотографии а не их уменьшенные изображения, помогите пожалуйста.

[ArcFi]

AgenT_Vano,

Код: [Выделить]

wget -qO- http://www.strnad.info/17plseMFFUK2011/ | grep -o 'images/[^"]*' | egrep -v '_t\.|\.js$|\.css$' | while read ; do wget -qP strnad.info http://www.strnad.info/$REPLY ; done