Русскоязычное сообщество Ubuntu Linux
*

Добро пожаловать, Гость. Пожалуйста, войдите или зарегистрируйтесь.
Вам не пришло письмо с кодом активации?
Войти

 Получить помощь вы также можете в нашем списке рассылки:
ubuntu-ru@lists.ubuntu.com
Русскоязычное сообщество Ubuntu Linux  |  Поддержка  |  How-To & F.A.Q (Модераторы: victor53p, Дмитрий Бо, Offoff, vadimka, MadKox, EgoVir, Labaman, ubuntar)  |  Тема: Руководство по работе с wget.
Страниц: [1] 2 3 4  Все   Вниз
Печать
Автор Тема: Руководство по работе с wget.  (Прочитано 14596 раз)
0 Пользователей и 1 Гость смотрят эту тему.
ajunta
Автор темы
Любитель
**
Сообщений: 71



Просмотр профиля
« : 26 Мая 2007, 17:29:48 »

Есть ли опция, позволяющая весь загруженный из сети контент помещать в одну директорию? Например в C:\WGetDownloads\

« Последнее редактирование: 29 Мая 2007, 13:23:32 от victor53p » Записан
MA3X
Герой
*****
Сообщений: 824


Просмотр профиля
« Ответ #1 : 26 Мая 2007, 17:31:03 »

самое простое - запускать его из этого каталога.
Wink
Записан

Microsoft isn't the answer.
Microsoft is the question, and the answer is NO.
ajunta
Автор темы
Любитель
**
Сообщений: 71



Просмотр профиля
« Ответ #2 : 26 Мая 2007, 18:47:09 »

Я правильно понял что настройки можно задать в файле ".wgetrc" в директории с программой? Может можно что-то в этот файл прописать для этого?
Записан
virens
Герой
*****
Сообщений: 647


Просмотр профиля
« Ответ #3 : 26 Мая 2007, 20:12:27 »

Я правильно понял что настройки можно задать в файле ".wgetrc" в директории с программой? Может можно что-то в этот файл прописать для этого?
Можно, но зачем? В зависимости от ситуации, используются разные параметры.
Вообще в сети мануал wget переведён на русский. У меня лежит в загашнике неоконченная песня про wget, и если модераторы не оторвут голову, выкладываю:

Нужно просто скачать файл и/или продолжить закачку, которая оборвалась. Это очень и очень легко сделать, не запуская GUIёвых программ, а открыв только терминалку.

Просто скачать файл wget-ом

    wget ftp://vasya.pupkin.com/film.avi

Это было не трудно, так ведь? Ещё вариант: часть файла скачана, закачка оборвалась.

Для продолжения файла закачки пишем:

    wget -c ftp://vasya.pupkin.com/film.avi
    или
    wget -continue ftp://vasya.pupkin.com/film.avi

Вместо -с можно написать -continue, так как каждый ключ имеет короткую и длинную формы: длинные ключи проще запомнить, но дольше писать. Можно легко смешивать различные формы написания.

Чтобы выкачать файлы из списка, содержащего прямые ссылки:

    wget -i pupkinlist
    или
    wget -input-file=pupkinlist

Здесь указывается только файл, в котором содержатся ссылки. Файл может так же быть HTML-страницей, в которой есть ссылки. Они будут выкачаны указанной выше командой.

Использование а-ля "Teleport Pro for Linux"
При скачивании веб-сайтов возможностей больше, и поэтому требуется больше ключей. Опять-таки, запоминать их все не обязательно, можно сделать скрипт (а лучше несколько - под разные случаи) и вызывать их.
Так вот, если имеется веб-сайт, и хотелось бы иметь его локальную копию на компьютере, чтобы, отключившись от сети, можно было неторопясь его почитать.

Зеркалирование сайтов на локальную машину:
wget -m http://www.vasyapupkin.com/

Это эквивалентно -r -N -l inf -nr, поэтому напишу подробнее про эти опции.

Замечу, что при этом ссылки останутся абсолютными - то есть, будут указывать на Интернет-адреса, и удобно просматривать на локальной машине будет затруднительно.

Копирование сайта для локального просмотра:
wget -r -l0 -k http://www.vasyapupkin.com/

При этом будет включена рекурсивная выгрузка (ключ -r, --recursive),

-np --no-parent

Не подниматься выше начального адреса при рекурсивной загрузке.


 Для этого в wget имеется большое количество полезных опций - побольше, чем у телепорта флажков. Будучи завёрнутым в скрипт teleport и положенным на видное место (указанное в PATH), имеем удобство применения и богатство настроек.

-r | -recursive
    Включить рекурсивный просмотр каталогов и подкаталогов на удал©нном сервере.

-l depth | -level=depth
    Определить максимальную глубину рекурсии равной depth при просмотре каталогов на удал©нном сервере. По умолчанию depth=5.

-np | -no-parent
    Не переходить в родительский каталог во время поиска файлов. Это очень полезное свойство, поскольку оно гарантирует, что будут копироваться только те файлы, которые расположены ниже определ©нной иерархии.

-A acclist | -accept acclist

-R rejlist | -reject rejlist
    Определить раздел©нные запятыми списки суффиксов им©н файлов или шаблонов, чтобы принять или отвергнуть копирование файлов. Подробнее смотрите раздел 13.4.3.
-k | -convert-links
    Превратить абсолютные линки в HTML документе в относительные линки. Преобразованию подвергнутся только те линки, которые указывают на реально загруженные страницы; остальные не будут преобразовываться.

    Заметим, что лишь в конце работы Wget сможет узнать какие линки были реально загружены. Следовательно, лишь в конце работы Wget будет выполняться окончательное преобразование.


http-user=user

-http-passwd=password
    определить имя пользователя как user и пароль как password на HTTP сервере. В соответствии с типом обращения, Wget будет кодировать эти параметры с использованием одной из схем кодирования: basic (не секретная) и digest.



-A acclist --accept acclist -R rejlist --reject rejlist

Список имен файлов, разделенных запятыми, которые следует или не следует загружать. Разрешается задание имен файлов по маске.


-H --span-hosts

Разрешает посещать любые сервера, на которые есть ссылка.

-p --page-requisites

Загружать все файлы, которые нужны для отображения страниц HTML. Например: рисунки, звук, каскадные стили.

По умолчанию такие файлы не загружаются. Параметры -r и -l, указанные вместе могут помочь, но т.к. Wget не различает внешние и внутренние документы, то нет гарантии, что загрузится все требуемое.


-k --convert-links

После завершения загрузки конвертировать ссылки в документе для просмотра в автономном режиме. Это касается не только видимых ссылок на другие документы, а ссылок на все внешние локальные файлы.

Каждая ссылка изменяется одним из двух способов:

    * Ссылки на файлы, загруженные Wget изменяются на соответствующие относительные ссылки.

Например: если загруженный файл /foo/doc.html, то ссылка на также загруженный файл /bar/img.gif будет выглядеть, как ../bar/img.gif. Этот способ работает, если есть видимое соотношение между папками одного и другого файла.

    * Ссылки на файлы, не загруженные Wget будут изменены на абсолютные адреса этих файлов на удаленном сервере.

Например: если загруженный файл /foo/doc.html содержит ссылку на /bar/img.gif (или на ../bar/img.gif), то ссылка в файле doc.html изменится на http://host/bar/img.gif.

Благодаря этому, возможен автономный просмотр сайта и файлов: если загружен файл, на который есть ссылка, то ссылка будет указывать на него, если нет - то ссылка будет указывать на его адрес в интернет (если такой существует). При конвертировании используются относительные ссылки, значит вы сможете переносить загруженный сайт в другую папку, не меняя его структуру.


Ссылки:
Их очень много. Вот <a href="http://www.inp.nsk.su/%7Ebolkhov/teach/inpunix/typ_wget.ru.html">здесь</a> лежит простое описание возможностей wget, <a href="http://linux.zp.ua/doc/ru/books/shevel/node103.html">здесь</a> часть ключей с интересными комментариями. Что-то взято <a href="http://forum.ixbt.com/topic.cgi?id=24:7978">отсюда</a> и <a href="http://www.lifehacker.com/software/top/geek-to-live--mastering-wget-161202.php">отсюда</a>. Ну и конечно это не отменяет прочтение мануала, в том числе на <a href="http://linuxwiki.sbin.ru/index.php/Man:wget">русском</a>.
« Последнее редактирование: 27 Мая 2007, 14:50:21 от victor53p » Записан
ajunta
Автор темы
Любитель
**
Сообщений: 71



Просмотр профиля
« Ответ #4 : 26 Мая 2007, 21:45:27 »

Всем спасибо, проблема решена! (Я просто не учитывал регистр ключей )
« Последнее редактирование: 26 Мая 2007, 23:58:26 от ajunta » Записан
doctor
Модератор форума
*****
Сообщений: 1427


не навреди...


Просмотр профиля
« Ответ #5 : 27 Мая 2007, 05:46:24 »

Вообще в сети мануал wget переведён на русский. У меня лежит в загашнике неоконченная песня про wget, и если модераторы не оторвут голову, выкладываю:

Хех.. просто перенесем в раздел How-To & FAQ Wink

З.Ы. а ведь еще есть curl....
Записан
dgrin2006
Любитель
**
Сообщений: 58



Просмотр профиля Email
« Ответ #6 : 15 Февраля 2008, 11:32:49 »

а подскажите пожауйста - что мне нужно вбить в терминал что бы скачать с какой - либо страницы все файлы определённоготипа...
наппример со страницы http://.......ru мне нужно выкачать все файлы mp3
Такое возможно или мне надо пользоваться какой-нибудь другой прогой?
И куда по умолчанию всё будет закачиваться?
« Последнее редактирование: 15 Февраля 2008, 11:34:57 от dgrin2006 » Записан
12d3
Герой
*****
Сообщений: 1346


Ubuntu 10.04

263268732 12d3@jabber.mipt.ru
Просмотр профиля Email
« Ответ #7 : 15 Февраля 2008, 11:34:21 »

flashgot великая весчь
UPD: простите, в одной буковке опечатался.  Smiley
« Последнее редактирование: 15 Февраля 2008, 13:05:47 от 12d3 » Записан
dgrin2006
Любитель
**
Сообщений: 58



Просмотр профиля Email
« Ответ #8 : 15 Февраля 2008, 11:36:29 »

flashget великая весчь
работает под линуксом?
Записан
12d3
Герой
*****
Сообщений: 1346


Ubuntu 10.04

263268732 12d3@jabber.mipt.ru
Просмотр профиля Email
« Ответ #9 : 15 Февраля 2008, 13:04:41 »

плагин же для файрфокс.
почему бы ему не работать.
Записан
dgrin2006
Любитель
**
Сообщений: 58



Просмотр профиля Email
« Ответ #10 : 15 Февраля 2008, 13:16:19 »

тоесть мне можно написать sudo apt-get install flashget и сё загрузится?
или что нужно сделать что бы завладеть этой волшебной вещицей!
Записан
12d3
Герой
*****
Сообщений: 1346


Ubuntu 10.04

263268732 12d3@jabber.mipt.ru
Просмотр профиля Email
« Ответ #11 : 15 Февраля 2008, 13:17:55 »

нет, плагины для файрфокса ставятся с addons.mozilla.org
https://addons.mozilla.org/en-US/firefox/addon/220
Записан
dgrin2006
Любитель
**
Сообщений: 58



Просмотр профиля Email
« Ответ #12 : 15 Февраля 2008, 13:44:28 »

спасибо большое - работает)))
Записан
valet2valet
Участник
***
Сообщений: 224

379034207 valet2valet@jabber.ru
Просмотр профиля
« Ответ #13 : 29 Октября 2008, 19:28:30 »

Почитал - трудно сразу понять  Cheesy. wget -сильная вещь.
Если не трудно -подскажите как решить следующую задачу. Я понимаю что есть Filezilla, но интересует именно wget.
Допустим нужно скачать с FTP определённую папку с подпапками, ну соответственно с файлами, находящимися в них.
 Как реализовать это с помощью wget ?
Записан
tolstyj
Участник
***
Сообщений: 196


Просмотр профиля
« Ответ #14 : 29 Октября 2008, 21:09:04 »

Почитал - трудно сразу понять  Cheesy. wget -сильная вещь.
Если не трудно -подскажите как решить следующую задачу. Я понимаю что есть Filezilla, но интересует именно wget.
Допустим нужно скачать с FTP определённую папку с подпапками, ну соответственно с файлами, находящимися в них.
 Как реализовать это с помощью wget ?

wget -r ftp://www.aaa.com/files/*
Записан
Страниц: [1] 2 3 4  Все   Вверх
Печать
Русскоязычное сообщество Ubuntu Linux  |  Поддержка  |  How-To & F.A.Q (Модераторы: victor53p, Дмитрий Бо, Offoff, vadimka, MadKox, EgoVir, Labaman, ubuntar)  |  Тема: Руководство по работе с wget.
Перейти в:  


Powered by MySQL Powered by PHP Powered by SMF 1.1.11 | SMF © 2006, Simple Machines LLC Best Hosting
Серверы на Ubuntu
Страница сгенерирована за 0.154 секунд. Запросов: 18.