[Wiki] Руководство по работе с wget.

[ArcFi]

le6681, тот большой зелёный прямоугольник наверху страницы для кого сделан?
google > настройка cron

[psor]

скажыте плз как скачивать с помощю wget фалы с сайта или со страницы/ниц по определенному формату .mp3 .jpg .txt читаю маны но не вижу там

[ArcFi]

psor,

   Recursive Accept/Reject Options
       -A acclist --accept acclist
       -R rejlist --reject rejlist
           Specify comma-separated lists of file name suffixes or patterns to accept or reject. Note that if any of the wildcard characters,
           *, ?, [ or ], appear in an element of acclist or rejlist, it will be treated as a pattern, rather than a suffix.

[dodther]

а вот не подскажите как скачать по ссылке типа
 

Код: [Выделить]

http://files2.dsv.data.cod.ru/?WyIwYTJlY2RlYmRjY2RlMjFhNW чтобы файл сохранился именно с нормальным именем.
а то поставишь на ночь качаться 10-15 частей архива так потом фиг-же разберешься где какой

[ArcFi]

а то поставишь на ночь качаться 10-15 частей архива так потом фиг-же разберешься где какой

Отсортируйте по дате, или используя лог закачки, или перенаправьте вывод wget в файл, или задайте имя выходного файла в простеньком скриптике.

[dodther]

да я вот и задумался про задать имя в скрипте. но познаний нехватает
полез читать инфу по bash. ниосилил
мож подскажеш как сделать?

[ArcFi]

dodther, надо более подробно обрисовать задачу.

[dodther]

dodther, надо более подробно обрисовать задачу.

целиком моя задача выглядит так.

есть десоток ссылок вида http://files2.dsv.data.cod.ru/?WyIwYTJlY2RlYmRjY2RlMjFhNW

если я закину их в файл и скормлю wget

Код: [Выделить]

wget -i url.listто на выходе получу десяток файлов вида WyIwYTJlY2RlYmRjY2RlMjFhNW
вместо нормальных имен.

можно повозится и ручками исправить имена. но это гемор.

нужно чтобы на выходе были нормальные имена файлов.

[ArcFi]

dodther, например, так:

Код: [Выделить]

cat url.list | while read; do wget $REPLY -O file_name_$((i++)).ext; done

[dodther]

dodther, например, так:

Код: [Выделить]

cat url.list | while read; do wget $REPLY -O file_name_$((i++)).ext; done

спасиб. правда в этом коде почти ничего непонятно. буду разбираться

З.Ы
оказывается никакие скрипты ненужны, а достаточно указать опцию

Код: [Выделить]

--content-dispositionправда у этой опции стоит лайба   (ЭКСПЕРИМЕНТАЛЬНЫЙ).
но у мну норм сработала

[Polkan]

Подскажите, а как поднять wget из фона? Просто я сижу на сервере по ssh и естественно не круглосуточно. После отключения wget уходит работать в фон, а вот как его оттуда поднять, чтобы посмотреть что он в данный момент делает, я не знаю. Подскажите знающие, как мне это сделать.

jobs показывает задачи, fg выводит из фона. Если в фоне несколько задач, то указывай jobID.

[pol01]

День добрый.
Подскажите, как с помощью wget решить следующую задачу.
Нужно полностью скачать учебник. Вот ссылка:http://mysopromat.ru/uchebnye_kursy/ustalost/.

Скачивал вот так:

Код: [Выделить]

wget -k -np -r -p  http://mysopromat.ru/uchebnye_kursy/ustalost/

Но все изображения находятся в каталоге: http://mysopromat.ru/images/, и они не скачиваются из-за опции -np.
Убираю -np - качается много лишнего.

Как правильно скачивать такие документы?

[MusicMan]

Приблизительно такая же проблема.
Нужно сохранить веб-страницы со ВСЕМИ изображениями, что там находятся.
Ввожу wget http://www.xyz.ru/ и скачивается только индексная страница в html-формате и ничего больше. А мне необходимо выкачать всё как есть. И при этом мне не нужно скачивать весь сайт, а считать данные из файла download.txt.

Приблизительно мне это видится, как
wget -i download.txt

если добавить -r, то качается слишком много ерунды и занимает слишком много времени.
А мне нужно конкретные урлы сохранить со всем его содержимым!
Как такого добиться, кто подскажет?

[cyber-punk]

cyber-punk, я решил эту проблему с помощью screen.
Вот, например, краткое руководство: http://rus-linux.net/kos.php?name=MyLDP/consol/screen.html

Согласен, screen приятная весчь, если работа идёт через ssh, но на самом деле для поднятия из фона нужно просто ввести fg wget, или fg $pid, если wget запускался с указанием pid=$!

[strah4]

Использую дома под убунтой для закачки сайтов снятых с делегирования, у которых хостинг не истек с синтаксисом wget --recursive -E - K --header='Host: WWW.ACCEPT.RU' 'http://89.108.89.51' все пашет на ура

Поставил на работе wget под винду не работает в лог выдает:
--2009-07-30 11:07:18--  http://www.accept.ru'/
Распознаётся www.accept.ru'... сбой: Host not found.
C:\Program Files\GnuWin32\bin\wget: невозможно распознать адрес `www.accept.ru''
'http://89.108.89.51': Неподдерживаемая схема.