Помогите разобраться с Curl/wget и печеньки.

[fill.sa]

Товарищи гуру нужен совет по curl/wget.
По этого момент пользовался ими на уровне

Код: [Выделить]

wget -o ~/moifile http://stranica
Теперь понадобилось скачать страницу сайта с аторизацией с дальнейшим ее разобром. Сайт местный, показать не могу.
Нашел у курла команду

Код: [Выделить]

curl -u USER:PASS http://stranica и у вгета

Код: [Выделить]

whet --user=USER   --password=PASS   http://stranicaНе помогло, как я понял это работает только для просытх http сайтов, у меня же https и мне требуется работать с печеньками.
Я все верно понял? или есть другие варианты?


Далее немного почитал про печеньки, и теряюсь в информации. Вроде как нужно сперва запросить печеньки, потом их переслать обратно. По ходу дела как-то еще отправить имя/пароль. Или же это можно сделать последовательно? Отправлять имя/пароль как, только через вариант --data/--post-data   или есть другие пути? Для вариант --data/--post-data  я так понимаю нужно предварительно знать как устроен сайт?

Помогите кто чем может.

[piyavking]

эээ.

Может, всё-таки браузером попробовать страницу втащить? хорошо, если всё только от юзера и пассворда зависит, а вдруг она ещё и скриптом каким-нибудь формируется?

Команда типа "браузер_с_уже _сохранёнными_куками_и_следовательно_-_с_автовходом_на_сайт --output file" даст искомый результат без плясок с бубном. Точнее, браузер сам спляшет.

[fill.sa]

Немного в замешательстве, в целом вроде обычный сайт, есть своя учетка на нем и через хромовый обозреватель без проблем захожу. Даже накатил на хром дополнение, чтобы смотреть какие-то передаваемые данные, но в них пока ничего непонимаю, вижу только имя/пароль.
Код сайта в принципе могу открыть и прислать.

курл/вгет по сути нужны для того, чтобы в дальнейшем скриптом вытягивать некоторую инфу со страницы.
Пользователь добавил сообщение 29 Сентября 2018, 13:34:57:я правильно понял, по сути через --data можно сделать все что угодно? Аля вариант работы с сырыми данным, Только нужно знать что записать? Тогда встает вопрос как лучше идти путем копания данных или все же вариантом аля -u USER:PASS ? И если первым путем то как узнать какие данные передовать нужно?
Я пробовал

curl -c cockes https://stranica &&  curl -b cockes -c cockes --data "username=aaa&password=aa" https://stranica
В ответ страница с ошибкой.

[Azure]

Это делается в два приема: сначала вызывается страница авторизации, по <F12> разбирается (или какое там у Вас в браузере "посмотреть код страницы"), определяются наименование полей с лог/пас (т.к. каждый сайтописатель называет их по своему) и отправляется POST-запрос где полям присваиваются нужные значения и получают кукис. А потом, уже используя этот кукис работают с самим сайтом.
Пример показан тут

[fill.sa]

Как раз эту ссылку и видел. Но все равно чего-то не пойму. Там вроде получают печеньку, затем одновременно отправляют и получают + отправка данных.

Код страницы я смотрел, для примера вот код полей имя/пароль

Код: [Выделить]

<input autocomplete="off" id="id_username" maxlength="75" name="username" type="text" class="uniform-input text">

<input autocomplete="off" id="id_password" maxlength="30" name="password" type="password" class="uniform-input password">т.е. у меня типовые name="usernameи и name="password". Или мне нужно на id="id_username" и id="id_password" смотреть?

Я так понимаю мне нужну за один заход получить печеньку с уже сформированым имя/пароль, т.е. данные имя/пароль я передаю в момент сохранения печеньки в файл, а затем отправлять и получать страницу?
Делаю первый заход так и у же в консоле вижу сформированю страницу с ошибкой.

Код: [Выделить]

curl -c coockes --data "username=aaa&password=aaa" https://stranic

[fill.sa]

Так ничего у меня и не вышло, делаю так

Код: [Выделить]

curl -s -b ~/my.cookies -c ~/my.cookies --data "password=PASSWORD&username=USER&submit=OK" https://site/login/?next=/panel/ -v
получаю от сайта страницу с ошибкой.

(Нажмите, чтобы показать/скрыть)

Код: [Выделить]

* About to connect() to bla_bla_site port 443 (#0)
*   Trying 1... connected
* Connected to bla_bla_site (1) port 443 (#0)
* successfully set certificate verify locations:
*   CAfile: none
  CApath: /etc/ssl/certs
* SSLv3, TLS handshake, Client hello (1):
* SSLv3, TLS handshake, Server hello (2):
* SSLv3, TLS handshake, CERT (11):
* SSLv3, TLS handshake, Server finished (14):
* SSLv3, TLS handshake, Client key exchange (16):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSLv3, TLS change cipher, Client hello (1):
* SSLv3, TLS handshake, Finished (20):
* SSL connection using RC4-SHA
* Server certificate:
* subject: CN=*.aaa
* start date: 2018-09-18 00:00:00 GMT
* expire date: 2020-09-17 12:00:00 GMT
* subjectAltName: bla_bla_site matched
* issuer: C=US; O=DigiCert Inc; OU=www.digicert.com; CN=RapidSSL RSA CA 2018
* SSL certificate verify ok.
> POST /login/?next=/panel/ HTTP/1.1
> User-Agent: curl/7.19.7 (i486-pc-linux-gnu) libcurl/7.19.7 OpenSSL/0.9.8k zlib/1.2.3.3 libidn/1.15
> Host: bla_bla_site
> Accept: */*
> Cookie: csrftoken=Pj7BCBR0SiNdRhE13eSm5T3JxqPCwvC4
> Content-Length: 46
> Content-Type: application/x-www-form-urlencoded
>
< HTTP/1.1 403 Forbidden
< Server: nginx
< Date: Thu, 11 Oct 2018 13:18:53 GMT
< Content-Type: text/html
< Content-Length: 1176
< Connection: keep-alive
< Keep-Alive: timeout=5
< ETag: "52b50b4a-497"
<
<!doctype html>
<html>
    <head>
        <meta charset="utf-8">
        <meta name="robots" content="noindex,nofollow">
        <title> ERROR</title>   
        <style type="text/css">
            body {
                background-color: #e96803;
            }
           
            .owl {
                margin: 70px auto 0 auto;
                width: 300px;
                height: 300px;
            }

            .error {
                width: 600px;
                margin: 20px auto;
                text-align: center;
                font-size: 48px;
                font-family: arial, sans-serif;
                color: #f4b481;
                text-shadow: 1px 1px rgba(0, 0, 0, 0.3);
            }

            .error .header {
                color: #ddd;
                font-size: 160px;
                line-height: 140px;
            }
        </style>
    </head>
   
    <body>
        <div class="owl">
            <img src="ngnix-owl.png" alt="" />
        </div> 
        <div class="error">
            <div class="header">ERROR</div>
            ERROR
        </div>           
    </body>

</html>

* Connection #0 to host bla_bla_site left intact
* Closing connection #0
* SSLv3, TLS alert, Client hello (1):

Что не так, куда дальше идти?

[Azure]

эту ссылку и видел

Как-то мы по разному смотрим. 2 (две!!!) команды должно быть. 1-я сохранение куков, вторая - уже работа непосредственно с сайтом, используя сохраненные куки. Не одна команда как у Вас всё в куче.

Код: [Выделить]

curl -c ~/my.cookies --data "username=aaa&password=aaa" https://site/login/
curl -s -b ~/my.cookies https://site/что-там-надо-скачать -v

[Pasha-pivo]

а разве нельзя посмотреть куки в браузере и просто подставить их в

Код: [Выделить]

curl -s -b ~/my.cookies https://site/что-там-надо-скачать -v?

[fill.sa]

Azure, я не очень понимаю последовательность. Сперва запрашиваю печеньки и в этой же команде отсылаю данные ИМЯ/пароль ? А уже во второй команде отсылаю печеньки и качаю страницу?
Судя по вашему примеру именно такая схема.

Но проблема что уже на команде

Код: [Выделить]

curl -c ~/my.cookies --data "username=aaa&password=aaa" https://site/login/ я уже вижу сформированую страницу с ошибкой. Неправильные данные в "--data" получается?
на

Код: [Выделить]

curl -s -b ~/my.cookies https://site/что-там-надо-скачать я получаю просто страницу с просьбой ввести имя/пароль.


Pasha-pivo, возможно как вариант. Только как выгрузить из обозревателя их?
Я тут попробовал просмотреть их в хроме и вставить значения в файл руками. Отправляю файл и попрежнему вижу страницу просящую войти.

[Pasha-pivo]

В файрфоксе не нашел, в хроме (у меня на английском) settings → privacy_and_security → content_settings → cookies → see_all_cookies_and_site_data. Дальше находишь свой сайт и читаешь куки, которые тебе нужны.

В файрфоксе можно вытянуть из базы данных кук ~/.mozilla/firefox/<profile>/cookies.sqlite  командой

Код: [Выделить]

$ sqlite3 cookies.sqlite

sqlite> select name, value from moz_cookies where baseDomain is "ubuntu.ru"; -- ubuntu.ru заменить на свой домен

Вот как-то так...