Перейти из форума на сайт.

Новости • Файловые архивы
Поиск • Активные темы • Топ лист
Правила • Кто в on-line?
Вход • Забыли пароль? • Первый раз на этом сайте? • Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » youtube-dl | yt-dlp (Часть 1)

Модерирует : gyra, Maz

Maz (17-02-2024 09:09): youtube-dl | yt-dlp (Часть 2)  Версия для печати • Подписаться • Добавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203

   

jasonliull



Advanced Member		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Текущая версия: 2021.12.17

youtube-dl - бесплатная консольная программа для скачивания видео с YouTube и множества других сайтов.
Сейчас проект практически не развивается, скорость скачивания с YouTube не выше 100 кБ/сек - рекомендуется использовать yt-dlp.
официальные ночные сборки
 

 
youtube-dl с фиксом скорости, не требует SSE2
youtube-dl с фиксом скорости (другой вариант)
неофициальные ночные сборки youtube-dl  
 
 
 





yt-dlp - активный форк youtube-dl, рекомендуется к использованию.
Цели проекта: добавление новых функций, исправление известных проблем. Есть различия в поведении от основного проекта.
 
ytdl-patched - пока не понятный форк yt-dlp
 
yt-dlp для Windows XP x86
форк yt-dlp, есть вариант для Windows XP x86
примеры для начинающих (англ)
некоторые шаблоны и в чем-то более детальная документация, чем на оф-сайте (англ)
 
 
Графические интерфейсы

  • MediaDownloader (2023)
  • Metube (web-UI)
  • Tartube (2023)
  • Videomass (2023)
  • Vividl (2023)
  • youtube-dl-gui (murrty, 2022)
  • youtube-dl-gui (oleksis, 2023)
  • Stacher (2023)
     
    Полезное

  • ffmpeg.exe - yt-dlp/FFmpeg-Builds
  • BAT-ник от DeZz
  • кнопки от notinthewoods
  • BAT-ник, Downloader, расширения от 351878
  • Youtube Format IDs  
     

    • Всего записей: 2630 | Зарегистр. 05-08-2012 | Отправлено: 13:44 05-03-2018 | Исправлено: Maz, 09:07 17-02-2024
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg

    Цитата:
    22 качается в полный канал, а звук отдельный - 31 кБ/с...

    нет  нормально качает ты опять не обновил прогу походу
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 20:15 10-03-2023
    aleksvolgin

    Advanced Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    Почитай пару страниц назад.

    Ты определись сперва, тебе нужно скачать определённый формат аудио дороги или скачать кучу мусора и оттуда выковыривать необходимое, совершая дополнительные телодвижения, а то, похоже тебе нужен не результат, а "процесс".

    Цитата:
    нет нормально качает ты опять не обновил прогу походу

    "никогда такого не было и вот опять!" В.С. Черномырдин
    Всего записей: 1601 | Зарегистр. 19-02-2006 | Отправлено: 20:17 10-03-2023 | Исправлено: aleksvolgin, 20:19 10-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Цитата:
    не обновил прогу походу
    Та ещё сразу накатил, как увидел релиз. Сейчас всё работает. Я про тогдашнее.
     
    aleksvolgin
    Цитата:
    совершая дополнительные телодвижения
    У меня никаких телодвижений оно не требует. Тык вторую кнопцу вместо первой.  
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 21:15 10-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    ещё есть такой вариант
    --download-sections "*10:15-inf" сразу скачает с 10:15 до конца
    --download-sections "*10:15-10:30" или так 15 секунд с 10:15 до 10:30  
    это тоже самое что написать
    --external-downloader ffmpeg --external-downloader-args "ffmpeg_i:-ss 00:10:15 -to 00:10:30"
     
    insorg

    Цитата:
    Та ещё сразу накатил, как увидел релиз. Сейчас всё работает. Я про тогдашнее.

    да и в этой вроде так же со скоростью аудио если так качать и в ночнухе сегодняшней
     
    скорость если видео длинное больше 22минут 30секунд то низкая
    если меньше то быстрая
    больше я не нашел причин почему скорость разная
    решил потестить
    вот это скачалось с 400кб скоростью
    yt-dlp --download-sections "*10:15-10:30" -f ba[ext=m4a] https://www.youtube.com/watch?v=GD80k6e67io
    а вот это скачалось с 4.5мб скоростью, разница в том что во втором случае не кусок, а до конца скачивает, и успевает разогнаться, а в первом очень быстро всё
    yt-dlp --download-sections "*10:15-inf" -f ba[ext=m4a] https://www.youtube.com/watch?v=GD80k6e67io
    вот здесь 5.5мб
    yt-dlp --download-sections "*10:15-inf" -f ba[ext=m4a] https://www.youtube.com/watch?v=l476aBeDlrE
    а вот так 5.3мб
    yt-dlp --download-sections "*10:15-15:30" -f ba[ext=m4a] https://www.youtube.com/watch?v=l476aBeDlrE
    до 22 минут вот такая скорость https://www.youtube.com/watch?v=oX9h4dUDJxk (21:57)
    size=    4976kB time=00:05:14.98 bitrate= 129.4kbits/s speed= 662x
    [download] 100% of    4.86MiB in 00:00:00 at 4.86MiB/s
    22:03 ещё такая https://www.youtube.com/watch?v=pfUZA7BTZHU
    4.94MiB/s
    22:13 тоже норм https://www.youtube.com/watch?v=5MO8d4oQNlA
    5.36MiB/s
    22:31 уже низкая https://www.youtube.com/watch?v=pEV50W0FzzI
    size=    4976kB time=00:05:14.98 bitrate= 129.4kbits/s speed=1.99x
    [download] 100% of    4.86MiB in 00:02:39 at 31.27KiB/s
    а вот 22:28 https://www.youtube.com/watch?v=J66Jpn_l3os (22:29 и 22:30 не нашел пока) уже норм
    size=    4976kB time=00:05:14.98 bitrate= 129.4kbits/s speed= 680x
    [download] 100% of    4.86MiB in 00:00:01 at 3.75MiB/s
    в общем почему так хз, по логам ничем не отличаются вроде
    надо спрашивать у разрабов, может это даже и пофиксят
     
    а может это из за того что надо ffmpeg`ом обработать, хотя там вроде как настройки идут copy, да и на видео ниже 22 минут всё быстро скачивает и сохраняет, а если превышаешь, то сразу скорость рубит, хз кароч
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 00:01 11-03-2023 | Исправлено: greeple, 00:06 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Цитата:
    скорость если видео длинное больше 22минут 30секунд то низкая
    если меньше то быстрая  
    Ах вон оно чё. А я то на музыке мелкой около-пятиминутной сегодня тыцал.
    Цитата:
    надо ffmpeg`ом обработать
    Не, ff не при чём.  
    Цитата:
    если превышаешь, то сразу скорость рубит
    Значит, опять ютупп шалит гадина.
     
    Добавлено:
    Хотя только что попробовал  
    C:\Portable\FFMPEG~1\yt-dlp.exe -f 140 https://www.youtube.com/watch?v=G56lE2407Ls   - здесь 1 час  
    C:\Portable\FFMPEG~1\yt-dlp.exe -f 140 https://www.youtube.com/watch?v=TLLPiguWG2k   - здесь 8 минут
    C:\Portable\FFMPEG~1\yt-dlp.exe -f 140 https://www.youtube.com/watch?v=cbTZXCwO9Pw   - здесь полчаса
    Вся тройка качается в полный канал - на все свободные сейчас 8-9 МБ/с.
     
    Добавлено:

    Цитата:
    22:31 уже низкая https://www.youtube.com/watch?v=pEV50W0FzzI  
    Тоже быстро в полный канал. Скачалось за три секунды.
     
     
    Добавлено:
    Это всё на актуальной yt-dlp 2023.03.04
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 01:02 11-03-2023 | Исправлено: insorg, 01:07 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg

    Цитата:
    Вся тройка качается в полный канал - на все свободные сейчас 8-9 МБ/с

    это да, а если скачивать часть с обрезкой, то с низкой
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 01:26 11-03-2023 | Исправлено: greeple, 01:35 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg
    отбой, вроде нормально со скоростью, хз что это вчера было, версия была вроде последняя ночнушка от 10, сейчас проверил и на стабильной и на ночнухах нормально отрабатывает этот вариант
    yt-dlp --download-sections "*10:15-10:30" -f ba[ext=m4a]  
    такое чувство как будто у меня была версия старая без фиксов, и проверил сейчас ту февральскую, да, она так скачивает до 22 минут 30 секунд с такой вот обрезкой быстро, а выше уже режет скорость, а новые версии нормально, а сам тебе сказал обновить, но у себя я точно помню что обновил, прям перед тестом, скачал, закинул с заменой ночнуху последнюю, может могла скачаться старая версия? потому что у меня её уже давно на компе нет, все версии удалял и закидывал новые, сначала с ytdl-patched потом с основы релиз, а потом и ночнухи с основного репозитория, значит в ночнухе закинули старую версию, подсунули, подлецы блин
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 19:47 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple
    Вот потому я и не люблю туда-сюда по сто раз менять, легко запутаться - где что.  
    Но, раз новое работает - уже хорошо.
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 19:56 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    нашел на этом билде такая скорость была 2023.03.10.071258 на ночнухе
     
    Добавлено:
    я же помню что новая была версия
     
    Добавлено:
    и на этом тоже 2023.03.10.075336
     
    Добавлено:
    и на этой 2023.03.10.084636
     
    Добавлено:
    и опять у меня даже на стабильной такая скорость, все которые не проверял бы, с такой скоростью, так же как вчера
     
    Добавлено:
    всё, из за того что ютуб троттлит скорость, то не может yt-dlp передать в ffmpeg быстрее чанки, так разраб написал, пофиксить сможем наверно сказал, но я так и не понял почему днем нормально скачивало с норм скоростью, а сейчас опять как и вчера с низкой скоростью
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 19:57 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    как то он через раз работает, сейчас ещё раз проверил
    вот так низкая  
    yt-dlp --download-sections "*10:15-15:30" https://www.youtube.com/watch?v=_-hsYsc8dCg
    вот так нормальная
    yt-dlp --download-sections "*10:15-15:30" -f ba https://www.youtube.com/watch?v=_-hsYsc8dCg
    а вот так было не нормально, а сейчас опять норм скорость  
    yt-dlp --download-sections "*10:15-15:30" -f ba[ext=m4a] https://www.youtube.com/watch?v=_-hsYsc8dCg
    кароче когда ютуб выдает чанки по 10мб то норм, а если превышаешь то троттлит это понятно, но не понял почему пару часов назад одна и та же команда не работала, а сейчас работает, версии yt-dlp не менял команду тоже, магия вне хогвардса
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 22:28 11-03-2023 | Исправлено: greeple, 22:29 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    одна и та же команда не работала, а сейчас работает
    Потому что опять ютупцы чё-то мутят.
    Не хотят, чтоб скачивали, хотят чтоб смотрели и обязательно с рекламой и не уходили, а прошлись по всяким "популярным" и "предлагаемым" (или как там оно сейчас называется...).
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 22:36 11-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    Кстати, я тут заглянул в логи mitm прокси. Похоже, yt-dlp всегда качает кусками по 9.7 МБ, даже если визуально (в терминале) кажется, что непрерывно. Но когда в терминале видны фрагменты, это еще какая-то большая дичь (меньше куски?).
    И вот похоже ютуб размер куска, запрашиваемый yt-dlp спалил (у браузеров, наверное, по другому) и подрезал скорость. Это в старых версиях еще.
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 23:15 11-03-2023 | Исправлено: neorion, 23:17 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion
    Значит, куски нужно запрашивать рандомные, либо в соответствии с тем, что просит андроидовый клиент-плеер, которым сабж и прикидывается.
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 23:22 11-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion

    Цитата:
    Похоже, yt-dlp всегда качает кусками по 9.7 МБ

    прикалываешься? так это и было сделано же для фикса, yt-dlp теперь по 10мб чанки грузит, если выше, то ютуб скорость режет, вы не следите за сообщениями тут ответ вам же в котором даже ссылку дал на коммит с этим фиксом троттлинга

    Код:
     
    # Youtube throttles chunks >~10M
                        'http_chunk_size': 10485760,
                    }
                    CHUNK_SIZE = 10 << 20
                    dct.update({
                        'request_data': b'x',
     

     
    Добавлено:
    сейчас качает норм всё, кроме того когда отдаешь на обрезку в ffmpeg
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 23:57 11-03-2023
    insorg



    Platinum Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

    Цитата:
    кроме того когда отдаешь на обрезку в ffmpeg
    А отдавать на обрезку можно при использовании внешней качалки? Или это за гранью возможностей?
    Всего записей: 17353 | Зарегистр. 04-11-2010 | Отправлено: 00:32 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    insorg
    так и эта качалка норм работает, просто с этим флагом косяк походу, без него качает с норм скоростью
    внешней можно наверно
     
    Добавлено:
    это же и есть внешняя качалка ffmpeg называется
    --external-downloader ffmpeg --external-downloader-args "ffmpeg_i:-ss 00:10:11 -to 00:14:25"
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 00:35 12-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple

    Цитата:
    так это и было сделано же для фикса

    Да у меня версия старая 2023.02.17, еще до изменений. Специально не обновляю пока.
     
    И старые и новые версии качают кусками примерно по 10 МБ (старые чуть меньше, 9.5-9.7 МБ), но изменился способ запроса.
    2023.02.17 версия в заголовке запроса пишет
    Range bytes=0-9994111 (первый кусок)
    Range bytes=9994112-13536259 (второй кусок)
    Сам файл 13 МБ.
    Сервер на оба запроса отвечает HTTP/1.1 206 Partial Content.
     
    Версия 2023.03.04 не отправляет заголовки Range. Сервер всегда возвращает HTTP/1.1 200 OK.
    В ответном запросе кусок ровно 10 МБ. Так что тоже делается потом еще несколько запросов, чтобы скачать весь файл. Но запрос Range теперь перешел из заголовков HTTP в сам URL, в него дописывается в конце &range=0-10485759 (возможно еще какие-то параметры URL изменились).
     
    У меня кстати версия 2023.02.17 качает довольно быстро (по моим скромным меркам).
    Новая версия (2023.03.04) стала писать в терминале (frag 0/2), создавать много временных файлов и показывать % загрузки неравномерно. Например, если файл 13 МБ, с 0 до 50% будет равномерно (10 МБ), потом прыгнет до 80 и с 80 до 100% будет только равномерно.
     

    Цитата:
    просто с этим флагом косяк походу

    Может не нравится user agent от ffmpeg.
     
    Добавлено:
    У новых малопопулярных видео своя извращенная логика. Почти не поменялась в старой и новой версии. Там с сервера manifest.googlevideo.com отправляется список кусков по 141 КБ (в новой версии стало 142 КБ). Так что даже маленький звук в 3.7 МБ будет иметь 27 кусков, которые по очереди запрашиваются и качаются. Естественно, этот процесс очень медленный, если ping большой. Вот почему новым малопопулярным видео не везет.
    В общем, новые версии yt-dlp всегда теперь показывают количество фрагментов в терминале.
     
    Добавлено:
    mitm прокси для исследования если что Charles (на Java). Есть на рутрекере (поиск по запросу Charles proxy). В yt-dlp тогда нужно будет дописать --proxy 127.0.0.1:8888 --no-check-certificates
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 10:07 12-03-2023 | Исправлено: neorion, 10:31 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion

    Цитата:
    У новых малопопулярных видео своя извращенная логика. Почти не поменялась в старой и новой версии. Там с сервера manifest.googlevideo.com отправляется список кусков по 141 КБ (в новой версии стало 142 КБ). Так что даже маленький звук в 3.7 МБ будет иметь 27 кусков, которые по очереди запрашиваются и качаются. Естественно, этот процесс очень медленный, если ping большой. Вот почему новым малопопулярным видео не везет.
    В общем, новые версии yt-dlp всегда теперь показывают количество фрагментов в терминале.

    новое малопопулярное видео https://www.youtube.com/watch?v=UDPVO2e2-9Y 12мб аудио в 2 фрагмента качается, где у тебя там 37?

    Цитата:
    Может не нравится user agent от ffmpeg.

    нет, просто ffmpeg не ограничивает чанки по 10мб как yt-dlp и поэтому когда загружаешь через него ютуб троттлит скорость ему после первого чанка
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 10:53 12-03-2023
    neorion

    Full Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    greeple

    Цитата:
    новое малопопулярное видео https://www.youtube.com/watch?v=UDPVO2e2-9Y 12мб аудио в 2 фрагмента качается, где у тебя там 37?

    У меня тоже 2. Но это не малопопулярное видео (относительно). Вы видимо смотрите только топов, а не редкие каналы. Там где редкие, даже видны значки ~ в yt-dlp. Т.е. точный размер неизвестен.
     

     
    Добавлено:
    Вот такие критерие редкости у ютуба (по данным Invidious, потому что youtube в своем интерфейсе многое скрывает)
    Редкие видео:
    134 просмотра 18 лайков
    200 просмотров 24 лайка
     
    Популярные видео:
    471 просмотров 26 лайков
    570 просмотров 55 лайков
    1200 просмотров 97 лайков (ваш пример на данный момент)
     
    Т.е. редкие это совсем совсем редкие или которые еще почти никто не посмотрел. Неудивительно, что вы с ними не встречались. В популярных каналах для того, чтобы перейти в раздел популярных наверняка достаточно нескольких минут. Но в редких каналах они могут висеть месяцами.
    Всего записей: 448 | Зарегистр. 02-10-2022 | Отправлено: 12:16 12-03-2023 | Исправлено: neorion, 12:59 12-03-2023
    greeple

    Silver Member    		Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
    neorion
    ну и что ты обвёл там? mpd манифест это ключ расшифровки
    те что ~ обозначены это справа даже видно по другому написано dash video где разрешения должны быть, это как раз зашифрованные видео, а не малопопулярные, у ютуба это на лайвстримах такое только с mpd, видео которые были прямой трансляцией
     
    а это достаточно популярный канал и видео?
    https://www.youtube.com/watch?v=Y_EVyGjK1x8  
    2 дня 58 просмотров
     
    нету никакой малопопулярности и количества чанков
    Всего записей: 4377 | Зарегистр. 11-02-2020 | Отправлено: 00:56 13-03-2023 | Исправлено: greeple, 01:02 13-03-2023
       

    Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178 179 180 181 182 183 184 185 186 187 188 189 190 191 192 193 194 195 196 197 198 199 200 201 202 203

    Компьютерный форум Ru.Board » Компьютеры » Программы » youtube-dl | yt-dlp (Часть 1)
    Maz (17-02-2024 09:09): youtube-dl | yt-dlp (Часть 2)


    Реклама на форуме Ru.Board.

    Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
    Modified by Ru.B0ard
    © Ru.B0ard 2000-2024

    BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

    Рейтинг.ru