Объясните, пожалуйста, насчёт wget

[piyavking]

Хочу через wget сохранить страницу с изображениями. Ввожу в терминале:

wget -p -k -P ~/tmp http://osmiev.livejournal.com/375717.html

В результате у себя в ~/tmp/osmiev.livejournal.com имею только 375717.html и robots.txt. Но ведь ключ -к к wget'у я же указал. Почему ж тогда изображения не затянулись? Спасибо за внимание.

[Scorry]

Код: [Выделить]

wget -E -H -k -K -p -e robots=off http://osmiev.livejournal.com/375717.html

[piyavking]

Scorry,
Ясно. С синтаксисом понятно, простая страница с картинками втянулась замечательно, спасибо! Возник следующий вопрос: Есть урл, скажем - "http://wallbase.cc/wallpaper/2900464". Там есть картинка. Она засунута на страницу через ява-скрипт. При команде "wget -E -H -k -K -p -P ~/tmp http://wallbase.cc/wallpaper/2900464" я у себя в ~/tmp наблюдаю только два хтмл-а, картинку затянуть у wget'а не получается, как я понял - из-за ява-скрипта. А в браузере по команде "Save page" - всё пучком, и картинка сохраняется. Можно ли заставить wget (или, в более общем случае - командную строку) победить это обстоятельство?

[Scorry]

Эмм... Попробуйте опцию -r с глубиной 1-2, протестируйте аккуратно (чтобы весь интернет не загрузить :-) ) Ну это так, догадка такая у меня в голове сложилась — не факт, что правильная. Кстати, HTTrack не пробовали использовать?

[piyavking]

Кстати, HTTrack не пробовали использовать?

Не, это немного не то. Мне командную строку надо, чтобы в скрипт можно было вписать. Я хочу замутить скрип рандомной обоины с wallbase.cc (после девиантартового захотелось повысить левел, но воллбейс устроен сложнее).

[Scorry]

Кстати, HTTrack не пробовали использовать?

Не, это немного не то. Мне командную строку надо, чтобы в скрипт можно было вписать. Я хочу замутить скрип рандомной обоины с wallbase.cc (после девиантартового захотелось повысить левел, но воллбейс устроен сложнее).

Тогда нужно копать устройство страницы на этом самом воллбейсе. Может, надо ещё покрутить юзер агента у вгета. Яваскрипт может весьма чудные вещи вытворять иногда. Одно дело, если он отдаёт каким-то образом статику, а второе — если генерирует страницу с временными именами файлов, извлечёнными из базы. В общем, копайте сам воллбейс, наверное.

[piyavking]

Scorry,
А не, я разобрался. httrack вполне себе командностроковая вещь, вполне возможно, что и то, что нужно. Поизучаю, спасибо!

[Jack Sparrow]

Еще есть такая вещь, как curl. Вот тут, для примера, приводится использование wget  vs. curl с примерами. А у curl есть полезная опция -o (маленькое "о"). Не знаю, поможет ли это при ява-скриптах, но там говорят, что помогает в php-скриптах (там пример в самом конце). Там есть ссылки на еще больше примеров.

[Quarck]

Может быть не совсем в тему, но для смены обоев есть классная прога variety, ваш скилл с wget не прокачает, но обои меняет отлично.

[piyavking]

Jack Sparrow,
спасибо!

Quarck,
Ну да, именно наткнувшись в новостях на описание variety, я и нашёл wallbase.cc. Но, как вы видите из подписи к моим постам, я достаточно аскетичный человек, и variety мне не подходит по религиозным соображениям, однако идея у неё неплохая, и, думаю, проблема решаема скриптом. Тем более, что она уже была решена (в инторнетах есть wallbase-downloader скрипт, на данный момент уже нерабочий, видимо, по причине редизайна воллбейса).

[peregrine]

regenerat, а в чём собственно цель Ваших мучений с wget? Выкачивать картинки с какого-то сайта? Или вообще всю страницу этого сайта? Или вообще весь сайт?

[piyavking]

peregrine,
Я хочу изготовить скрип рандомной онлайн-обоины.

[peregrine]

regenerat, брать именно с сайта http://wallbase.cc
Тогда можно сначала покопаться в коде страницы при помощи отладчика в Chrome или FireBug в FireFox. Обоина совсем рандомная нужна? Или чтоб определённую выкачивал (подставил адрес страницы, в качестве параметра, а он скачал)?
Пользователь решил продолжить мысль 09 Июля 2013, 23:28:52:regenerat, и вот ещё, можно использовать Aria2, тогда будет несколько потоков, сам ею пользуюсь, глюков не замечал, но если только одна картинка, то нестрашно, можно использовать и Wget.

[piyavking]

peregrine,
Не совсем рандомная. С настройкой параметров, конечно, но эти вещи выставляются с помощью изменения соответствующего урл'а, скажем, по этому адресу: http://wallbase.cc/search/:/213/eqeq/1280x1024/1.25/111/60/date/wallpapers/desc/ расположены превьюшки обоин с разрешением 1280x1024, включая adult-контент, включая хай-рез, в порядке убывания по дате, количеством 60.

Но это дело второе, рандомная ссылка вида http://wallbase.cc/wallpaper/2892072 достаточно ненапряжно получается с помощью регулярных выражений. А вот как с этой самой http://wallbase.cc/wallpaper/2892072 уже выцепить ссылку на зашитую в неё обоину (http://ns223506.ovh.net/rozne/5e4726b5787c4137ff18294088b01802/wallpaper-2892072.jpg) - вот это уже задача. Ковырять яваскрипты я точно неасилю, да и кошернее было бы httrack'ом, я считаю, только надо поподробнее этот httrack изучить.

[peregrine]

regenerat, можно посмотреть, как делали другие люди https://www.raymii.org/s/software/Wallbase.cc_Command_line_script.html тут важно ещё wget за браузер выдать. Иначе забанят по ip при определённой надоедливости твоего парсера.