Backup ваших изображений с сайта itmages.ru

[ALiEN]

ALiEN175, выкладывай скриптик  в отдельную тему и прикрепи её, пусть народ вытаскивает контент.

(Нажмите, чтобы показать/скрыть)

Код: (bash) [Выделить]

#!/bin/bash

HTML=$HOME/itmages # папка с html

# сохраняем странички в формате "только HTML" в отдельную папку.
# в данном скрипте: ~/itmages
#
# CCЫЛКА:
# https://itmages.ru/home?itmages_models_Data_page=1
#
# подставляем вместо последней цифры номера страничек.
#
# !!!Важно каждую ссылку на страничку открывать через адресную строку,
# а не нажимать на номера на самой страничке!
#
# По умолчанию, ваши изображения будут в папке ~/itmages/images


TMP=/tmp/itmages
[[ -d "$HTML/images" ]] || mkdir "$HTML/images"

egrep --no-filename -Ro '^\ {11}href.*' $HTML |
sed 's/href="/itmages.ru/' |
tr -cd '[:alnum:].\n/' > $TMP

echo "Парсинг страничек... Может занять продолжительное время."

while read i; do
    curl -sL "$i" |
    grep max-width |
    sed 's/.*src="//'|
    tr -d \"
done < $TMP > ${TMP}_link &&

echo "
Парсинг успешно выполнен!

Начинаем сохранять картинки...
"

cd $HTML/images &&
while read i; do
    echo "Сохраняю $(basename -- "$i") в $HTML/images ..."
    curl -sLO "$i" || echo "Ошибка! Бекап не полный!"
done < ${TMP}_link



Пожалуйста, сообщайте об успешной работе скрипта!

[Azure]

выкладывай скриптик

Без предварительного скачивания и пр. - достаточно внести в код свой логин/пасс

Код: (bash) [Выделить]

#!/bin/bash

login=your_login
pass=your_password
cookie=/tmp/itmages.cookie

#Get initial cookie
curl -c $cookie -s 'https://itmages.ru/user/login' >/dev/null
#Parce cookie for token
token=$(grep -ow '[[:xdigit:]]\{40,\}$' $cookie)
#Get access cookie
curl -b $cookie -c $cookie  --ssl -s -k -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0' \
     --data "itmages_modules_account_forms_Login[username]=$login&itmages_modules_account_forms_Login[password]=$pass&token=$token" \
     'https://itmages.ru/user/login' >/dev/null
#Get number of the last page
num=$(curl -b $cookie -H 'User-Agent: Mozilla/5.0 (X11; Linux x86_64; rv:52.0) Gecko/20100101 Firefox/52.0' -s 'https://itmages.ru/home' |
    grep -oP '(?<=itmages_models_Data_page=)\d+' |
    sort -r |
    head -1)
#Form url line
url="https://itmages.ru/home?itmages_models_Data_page=[1-$num]"
#Get images
curl -b $cookie -s $url |
sed '/^\ \{11\}href="/! d;s//itmages.ru/;s/">//' |
wget -qi- -O- |
sed '/.*max-width.*="/! d;s///;s/"//' |
sort -u |
wget -i-
#Cleaning
rm $cookieПроверил бы кто?

[ALiEN]

Azure, одна кавычка не убрана

sed '/.*max-width.*=/! d;s///;s/"//g' |

После правки заработало!

[Azure]

ALiEN175, Я такой, я могу че-нить такое выкинуть... Поправил, спасиб!

[ALiEN]

Azure, можно, попрошу чутка разъяcнить по sed? 
конкретно - здесь:

Код: [Выделить]

sed '/.*max-width.*="/! d;s///;s/"//'правильно ли я думаю:
/.*max-width.*="/!d - ищем строку и выражение до целевой подстроки. (понятно)
s/// - идем по строке дальше от первого выражения, заменяем "ничего на ничего" (вот здесь вообще не понял)
s/"// - убираем кавычку. (как сработало, если мы уже прошлись заменой по выражению?)

[Azure]

заменяем "ничего на ничего"

"Заменяем предыдущее выражение поиска на ничего" - sed позволяет не повторять регулярку поиска вот таким способом.

как сработало, если мы уже

Там мы заменили с открывающей кавычкой, а теперь убрали закрывающую

[Lemonadnый_Jo]

Проверил бы кто?

Скрипт грузит только с первых 9-ти страниц.

Прописал вручную [1-40] (у меня 40 страниц):

Код: (bash) [Выделить]

url="https://itmages.ru/home?itmages_models_Data_page=[1-40]"Скачалось всё. Спс.

[Дмитрий Бо]

Более не актуально, закрыто.