Вновь о качивании видео (как скачать?).

[ecc83]

А зачем это делать "налету" и разве я об этом "налету" что то говорил?

. Интересует рабочее решение, которое позволить скачать ВЕСЬ видеоролик себе на диск и сохранить ОДНИМ файлом.

Вам нужно чаще гулять на свежем воздухе. То чего небыло сказано, вы просто додумали 
Я вовсе не имел ввиду, что должно быть "налету".
Пусть это будет несколько команд в одном скрипте, которые скачивают, конвертируют и делают слияние.

Код: (bash) [Выделить]

ffmpeg -y -v warning -loglevel debug -headers "Referer: https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru" -i https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8 -vcodec copy -c copy -f mpegts out.ts

(Нажмите, чтобы показать/скрыть)

ffmpeg -y -v warning -loglevel debug -headers "Referer: https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru" -i https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8 -vcodec copy -c copy -f mpegts out.ts

Splitting the commandline.
Reading option '-y' ... matched as option 'y' (overwrite output files) with argument '1'.
Reading option '-v' ... matched as option 'v' (set logging level) with argument 'warning'.
Reading option '-loglevel' ... matched as option 'loglevel' (set logging level) with argument 'debug'.
Reading option '-headers' ... matched as AVOption 'headers' with argument 'Referer: https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru'.
Reading option '-i' ... matched as input url with argument 'https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8'.
Reading option '-vcodec' ... matched as option 'vcodec' (force video codec ('copy' to copy stream)) with argument 'copy'.
Reading option '-c' ... matched as option 'c' (codec name) with argument 'copy'.
Reading option '-f' ... matched as option 'f' (force format) with argument 'mpegts'.
Reading option 'out.ts' ... matched as output url.

Finished splitting the commandline.
Parsing a group of options: global .
Applying option y (overwrite output files) with argument 1.
Applying option v (set logging level) with argument warning.
Successfully parsed a group of options.
Parsing a group of options: input url https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8.
Successfully parsed a group of options.
Opening an input file: https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8.
[NULL @ 0x556243589700] Opening 'https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8' for reading
[https @ 0x556243589fc0] Setting default whitelist 'http,https,tls,rtp,tcp,udp,crypto,httpproxy'
[https @ 0x556243589fc0] No trailing CRLF found in HTTP header.
[https @ 0x556243589fc0] request: GET /meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8 HTTP/1.1
User-Agent: Lavf/57.83.100
Accept: */*
Range: bytes=0-
Connection: close
Host: edge-8.facecast.net
Icy-MetaData: 1
Referer: https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru


[https @ 0x556243589fc0] HTTP error 403 Forbidden
https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8: Server returned 403 Forbidden (access denied)

Пользователь добавил сообщение 17 Декабря 2018, 19:31:12:

Поэтому я и интересовался как был добыт УРЛ и как его вычислить не испоьзуя скрипты работающие на браузере

Например с помощью расширения браузера DownloadHelper

[EvangelionDeath]

ecc83, вам же уже сказали, почему мои ссілки вам не подойдут.

Инструкция в "скринах"
Для https://meloman.ru/concert/strasti-po-ioannu-2018-12-14/

1) Открываем debug панель браузера (переключаемся на вкладку network)
2) Нажимаем play
3) Смотрим, куда идут запросы (у меня https://edge-8.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8)

4) Смотрим заодно и какой реферер
5) Меняем в моем варианте урл и реферер на то, что у вас в браузере
6) юзаем ffpeg =)



Для https://www.meloman.ru/concert/rudolf-buhbinder-2018-11-11/
1) Нажимаем правой кнопочкой на изображении видео. Ищем тег для html5 видео

2) Опять же переключаемся на вкладку дебагера network, запускаем видео, смотрим запросы. Переключаем композиции
3) Копипастим referer
4) Используем wget

[sdchess]

   EvangelionDeath, большое спасибо на подробную инструкцию.
Однако я пока ее изучаю и добрался только до ее середины. У меня один пионерский вопрос: как можно использовать ffmpeg ?

[EvangelionDeath]

sdchess, вот ffmpeg тут как раз для того, что бы из "кусочков" собрать сразу один файл (а если очень надо и перекодировать в другой формат, у меня после обработки получился файл mp4 размером 1.5 ГиБ)

Ну собственно вот https://yadi.sk/i/BwuShqn-tjQkeQ (оригинал https://meloman.ru/concert/strasti-po-ioannu-2018-12-14/ )
Правда надо было еще сделать перекодирование:

Код: (bash) [Выделить]

ffmpeg -i out.ts -acodec copy -vcodec copy 2018-12-14.mp4


(Нажмите, чтобы показать/скрыть)

Код: (bash) [Выделить]

#!/bin/bash

INPUT=$1
OUTPUT=$2
REFERER=$3

if [[ "x$INPUT" = "x" ]]; then
    echo "    Usage $0 <input> <output> [referer]"
    exit 1
fi

if [[ "x$OUTPUT" = "x" ]]; then
    echo "    Usage $0 <input> <output> [referer]"
    exit 1
fi

if [[ "x$REFERER" = "x" ]]; then
    ffmpeg -y -v warning -i $INPUT -vcodec copy -c copy -f mpegts $OUTPUT
else
    ffmpeg -y -v warning -headers "Referer: $REFERER" -i $INPUT -vcodec copy -c copy -f mpegts $OUTPUT
fi

read -p "Do you nead decode file to mp4? " -n 1 -r
if [[ ! $REPLY =~ ^[Yy]$ ]]; then
    exit 1
fi

echo

ffmpeg -i $OUTPUT -acodec copy -vcodec copy $OUTPUT.mp4 && rm $OUTPUT


Ну и собственно https://yadi.sk/i/fePxXKdOaXgh9w ( https://www.meloman.ru/concert/rudolf-buhbinder-2018-11-11/ )

(Нажмите, чтобы показать/скрыть)

Код: (bash) [Выделить]

#!/bin/sh                                                                                                                                                                                                                                                                   

URL=$1
VIDEOSRC=$2
OUTPUT=$3
REFERER=$4

if [[ "x$URL" = "x" ]]; then
    echo "   Usage: $0 <url> <videosrc> <output> [referer]
    exit 1
fi

if [[ "x$VIDEOSRC" = "x" ]]; then
    echo "   Usage: $0 <url> <videosrc> <output> [referer]
    exit 1;
fi

if [[ "x$OUTPUT" = "x" ]]; then
    echo "   Usage: $0 <url> <videosrc> <output> [referer]
    exit 1;
fi

wget -qO- --keep-session-cookies --save-cookies cookies.txt $URL > /dev/null

if [[ "x$REFERER" = "x" ]]; then
    wget -q --load-cookies cookies.txt $VIDEOSRC -O $OUTPUT
else
    wget -q --load-cookies cookies.txt $VIDEOSRC --header="Referer: $REFERER" -O $OUTPUT
fi

rm cookies.txt


Писать парсер + эмулятор запросов, для того, что бы все это делалось вообще автоматом мне лень (да и с Selenium я не особо дружу, , ну и обычному пользователю он нафик не надо, а потому увы: полной автоматизации не предвидиться)

[cargan]

Например с помощью расширения браузера DownloadHelper

браузер здесь неинтересен. Нужно просчитать скрипты чтобы расширить youtube-dl   на этот  URL

[ecc83]

браузер здесь неинтересен. Нужно просчитать скрипты

Что такое "просчитать скрипты"? И почему браузер не интересен?

Какой порядок действий у вас предусмотрен?

Например я всегда захожу на сайт с помощью браузера. Если там есть интересное видео, копирую на него ссылку и комбинацией горячих клавиш запускаю скрипт, который берёт из буфера обмена ссылку на видео, скачивает конвертирует и сохраняет на диске файл.

Если вам "браузер не интересен", как вы планируете действовать?

расширить youtube-dl   на этот  URL

Правильнее было бы написать разработчику youtube-dl

[EvangelionDeath]

cargan, очень забавно, но youtube-dl имеет уже workaround, но все равно ему надо будет предоставить параметры.

Для https://meloman.ru/concert/strasti-po-ioannu-2018-12-14/

Код: (bash) [Выделить]

youtube-dl --referer 'https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru' 'https://edge-led-1.facecast.net/meloman/hls/LjRLNmn01imvg_AIe2uS8g/0/philharmonic10/2173/1080p_full/index.m3u8'

Кусок строки URL LjRLNmn01imvg_AIe2uS8g , на сколько я понял, - это закодированая строка, в которую как минимум входит IP адрес клиента (соответственно надо поменять ее на свою)

Для https://www.meloman.ru/concert/rudolf-buhbinder-2018-11-11/

Код: (bash) [Выделить]

youtube-dl --referer 'https://player.meloman.facecast.net/?key=18-12-14-19-00-KZCH&lang=ru' 'https://records.meloman.facecast.net/files/thq-lCl4kmYyX8Pvz45pFQ/0/KZCH/meloman/18-11-11-19-00-HD-KZCH.mp4'
Ну а тут эту роль выполняет thq-lCl4kmYyX8Pvz45pFQ (аналогично - подменить на свою)


P.S. То есть youtube-dl умеет загружать файлики, но ему надо указывать именно адрес "видео", а не страницы, на которой это видео находится. Почему так? Да потому что видео там на самом деле находится во фрейме.

[cargan]

Что такое "просчитать скрипты"? И почему браузер не интересен?

потому что интересно расширить доступность youtube-dl

Правильнее было бы написать разработчику youtube-dl

А вот это лишнее, ибо расширение доступности автор отдал на откуп стороним юзерам... И потом автор не обязан разбираться во всех хитросплетениях скриптов сторонних разработчиков и расширять возможности инструмента

То есть youtube-dl умеет загружать файлики, но ему надо указывать именно адрес "видео", а не страницы, на которой это видео находится. Почему так? Да потому что видео там на самом деле находится во фрейме

не совсем уверен что связан с АйПи юзера, скорее здесь играет роль сессия.
По поводу того что ю-туб-дл понимает УРЛ источника, но почему то блокирует дальнейшую загрузку. Здесь видимо что то ему мешает и вполне это видимо отсутствие знания сессии или сервер видит, что скачать видео пытается не браузер и отказывает в доступе.
)) будем думать

[sdchess]

EvangelionDeath, спасибо за инструкции и готовый файл! Продолжаю разбираться и двигаюсь по Вашей инструкции! Однако дело идет не слишком быстро по многим причинам. Надеюсь смогу пройти эту дорогу до победного конца сделать все самостоятельно!
Думаю, что вопросы еще придется задать, но это не сегодня.

[EvangelionDeath]

cargan, Сессия не играет. Так как я это протестировал. Можно не указывать куки (они за сессию и отвечают). Да и сессия в браузере отличается от сессии вгета\курла\другого браузера, что запущены на той же машинке. Но ИП роль играет (еть возможность использовать разніе ИП (личный + 2 ВПН + куча точек доступа с других систем)).

Мешает ему отсутствие хедера реферера... На что я указал в примере (реферером можно юзать тот урл, что указан урлом фрейма)

[cargan]

EvangelionDeath,  я посмотрел в скриптах фрейма - там есть запрос AJAX  формирования URL -  участвует агент и имя браузера.
А у нас не браузер - видимо сервер и отказывает в выдаче
Кароче нужно разбираться. и нужно время

[EvangelionDeath]

cargan, еще раз - найдите строки нужные для скачивания в браузере (что искать я уже показал на скринах даже). После чего надо скормить реферер и урл программе, которой будете качать - и будет вам счастье.

P.S. И как же так, если в формировании принимает участие агент (всегда считал, что браузер - это уже парсинг агента), для "выуживания" ссылок я использовал ФФ, а вот качал уже wget, ffmpeg, youtube-dl (у них user-agent довольно таки отличается от ФФшного, но и его если очень надо можно подменить в том же wget\curl)

P.P.S. И еще, реферер тоже не принимает участия, в одном из примеров я передал реферер с другого видео. И ничего, пережевало.

И пора прекращать. Как это сделать я расписал. Если есть вопросы, или желание "раздобыть ссылки" на всоих примерах - пишите в личку.