Как скачать видео с сайта? : Сеть

OlegON · █ 30.10.2014 20:38

Кто знает, как это слить? Oracle Day 2014 отзывы
Боюсь, что уберут, а мне посмотреть потом бы... Сейчас некогда очень...

twix · █ 30.10.2014 20:52

Блен... Оно там чанками идёт, а не одним потоком. )8 *чешет репу*

twix · █ 30.10.2014 21:19

В общем, видео стримится кусками по 979Кб. Ссылка на чанки такая:

Код:

http://webinar-live.cdn.ngenix.net/live/_definst_/ns47ltiwvhxof6y41ha1_2/DVR_b125000_w128695108_qRFZS.abst/Seg1-Frag$i

где $i - номер чанка от 1 до 13333 (для данного стрима).

Пока остановился на таком:

Код:

#!/bin/bash
for (i in {1..13333}
do
	wget http://webinar-live.cdn.ngenix.net/live/_definst_/ns47ltiwvhxof6y41ha1_2/DVR_b125000_w128695108_qRFZS.abst/Seg1-Frag$i -O - >> out_$i.mp4
done

По отдельности чанки открываются, но видео по какой-то причине отсутствует, а длина каждого отдельного ролика - 0 секунд. При попытке выводить результат wget'а добавлением stdout к файлу, gstreamer ругается на то, что не находит контейнеров в открываемом файле.

twix · █ 30.10.2014 21:29

Попробовал скачать несколько файлов, и склеить их:

Код:

cat *.mp4 | ffmpeg -i - -sameq final_output.mp4

Попробовал так же "-f h264", который там как бы и должен быть... Но каменный цветок не вышел.
Есть две проблемы:
1. Иногда чанки не скачиваются, возвращая 404. Происходит рандомно на разных чанках.
2. Некоторые чанки идут без заголовков, как бы завершая предыдущий блок, а не являясь отдельным контейнером.

В общем, потная, вроде, задачка вырисовывается. (:

twix · █ 30.10.2014 21:32

Ну, и, чтобы всё было по-честному, уточню, что номер последнего чанка для целикового видео на 9 часов 55 минут 30 секунд - 14032. Полезное заканчивается гораздо раньше, и на чанке 13333, в который я рандомно ткнул, уже нет ничего кроме надписи "Трансляция закончена".

twix · █ 30.10.2014 21:48

Нашлась программа под названием Replay Media Catcher.
Вынюхивая трафик через winpcap, она расковыряла манифест со страницы со стримом, и стала качать флеш видео. Триальная версия ограничивает время скачиваемого стрима 50% его длины... но в россии-то весь софт бесплатный, правда? (%
Так что можешь попробовать.

OlegON · █ 30.10.2014 22:32

Ну вот я принципиально не пользуюсь пиратским софтом... А отдавать 50 баксов за программку под винду... Но возню оценил :) Тем не менее, поправил
Чтобы не налетать на 404, надо поставить нормального юзерагента.

Код:

#!/bin/bash
#14032
for i in {1..200}
do
    wget http://webinar-live.cdn.ngenix.net/live/_definst_/ns47ltiwvhxof6y41ha1_2/DVR_b125000_w128695108_qRFZS.abst/Seg1-Frag$i -O out_$i.mov -U "Mozilla/4.0 (compatible; MSIE 5.5; Windows 95)"
done

а для склеивания

Код:

#!/bin/bash
ffmpeg -f concat -i <(for i in {1..200} ; do echo "file '/home/ftp/exchange/temp/out_$i.mov'"; done) -qscale:v 0 -an all.avi

только все равно ffmpeg не находит данных в скачанном :(

twix · █ 30.10.2014 22:40

Цитата:

OlegON ➤ а для склеивания

Код:

#!/bin/bash
ffmpeg -f concat -i <(for i in {1..200} ; do echo "file '/home/ftp/exchange/temp/out_$i.mov'"; done) -qscale:v 0 -an all.avi

только все равно ffmpeg не находит данных в скачанном :(

Правильно, что не находит. Потому что у тебя получается один большой файл, в котором грубо склеены сотни и тысячи мелких mp4-контейнеров. Тут подход чуть хитрее нужен.

Апдейт: тупанул. Отдельный файлик он конвертнуть может без ошибок?

twix · █ 30.10.2014 22:43

Насколько я понимаю, флешовый проигрыватель, который работает на сайте, извлекает данные из контейнера, и скармливает их в чистом виде встроенному во флеш объекту для воспроизведения медиаконтента. Т.е., по отдельности ценности у этих чанков нет. Тупо склеенные они, опять же, совершенно бесполезны. Нужно извлечь контент, склеить его, и упаковать в новый контейнер.

OlegON · █ 30.10.2014 22:44

В том и дело, что фигня

Цитата:

file out_123.mov
out_123.mov: Apple QuickTime movie (unoptimized)

Цитата:

ffmpeg -i out_123.mov out.avi
.....
[mov,mp4,m4a,3gp,3g2,mj2 @ 0x1efbd80] moov atom not found
out_123.mov: Invalid data found when processing input