Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178

Открыть новую тему     Написать ответ в эту тему

GaDiNa



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
[ UNIX Shell ] || [ Рекурсивная загрузка веб-сайтов ] — родительские ветки.
 
GNU Wget

GNU Wget — это свободная неинтерактивная утилита для скачивания файлов по HTTP, HTTPS, FTP и FTPS (и только), обладающая самым базовым функционалом загрузки одиночных файлов и рекурсивной загрузки сайтов (HTTP) и директорий (FTP).
 

| Офсайт | Википедия | Фрешмит | Опен-хаб (бывш. Охлох) | Мануал | Ман | Ман (русск., устар.) | --help (русск.) |

 
Где взять.
Под GNU — уже стоит. Под FreeBSD — есть в портах. Под [Mac] OS X — собрать ванильный.  
Под Windows есть варианты: Cygwin | GNUWin32 (учитывайте зависимости) | Wget + OpenSSL by GetGnuWin32  | by TumaGonx Zakkum (он же osspack32 и The Moluccas  |  by Jernej Simoncc (32 и 64 бит отдельные пакеты) | Wget2.
.
 
Литература.
Popkov. Параметры программы wget
В. А. Петров. Wget — насос для Интернета
 
FAQ
 
Q: Можно ли простым перебором загрузить страницы (допустим) с первой по сотую, если их адреса:  
http://example.org/index?page=1
http://example.org/index?page=2
...
http://example.org/index?page=100
A: Вэ-гет не умеет делать инкрементальный перебор, поскольку это умеет делать любая командная оболочка. На Баше это делается так:
$ wget -E "http://example.org/index?page="{1..100}
Еще раз отметьте, {1..100} — это синтаксическая конструкция Баша, а не Вэ-гета. Эквивалентной этой будет команда:
$ for i in {1..100}; do wget -E "http://example.org/index?page=$i"; done
Или для cmd.exe:
for /l %i in (1,1,100) do wget -E "http://example.org/index?page=%i"
 
Q: А как собственно сайт целиком-то загрузить?
A: $ wget -mpEk "http://example.org"
Это, наверное, самый ходовой набор ключей, но вам, может быть, более подойдут другие. Что значит каждый — легко узнать в мане.
 
Q: Я хочу загрузить с сайта, требующего авторизации. Что делать?
A: Проще всего кинуть куда-нибудь файл с нужными (но лишние не помешают) куками в нетскэйповском формате, затем воспользоваться ключом --load-cookies.
$ wget --load-cookies cookies.txt бла-бла # файл cookies.txt в текущей директории
У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширениями «Export Cookies» либо «Cookie.txt»; у Хрома — «Cookie.txt export»
 
Q: Не-ASCII символы сохраняются в именах файлов как %D0%A5%D1%83%D0%B9 (или того хуже), хотя локаль юникодная.
A: Укажите ключ --restrict-file-names=nocontrol,unix или --restrict-file-names=nocontrol,windows соответственно.
Если у вас Windows и локаль не юникодная — используйте вариант от Alex_Piggy с ключом --local-filesystem-encoding=ENCODING, где ENCODING — имя кодировки локали в терминах iconv. Текущую локаль cmd.exe можно проверить при помощи команды chcp. Для русской кириллицы в Windows обычно используется CP866.
 
Q: Известно, что можно приказать Вэ-гету обновить ранее загруженный файл, если на сервере новее или иного размера (ключ --timestamping, он же -N). Можно приказать учитывать только дату, но не размер (--timestamping --ignore-length). А можно ли учитывать только размер, но не дату?
A: При помощи одного только Wget’а — нет.  Возможна обработка получаемых заголовков файла при помощи средств командной оболочки. Пример для cmd.exe.
 
Q: Можно ли приказать Вэ-гету докачать файл, но только если он не изменился.
A: Нет, нельзя. Сочетание ключей -cN (--continue --timestamping), как можно было бы предположить, нужного эффекта не даст — «докачает» даже если файл изменился — получите в итоге мусор.
 
Q: Можно ли при рекурсивной загрузке ограничится только ссылками, содержащими параметр lang=ru, т.е. грузить:
http://example.org/index?lang=ru
http://example.org/page?id=1001&lang=ru
http://example.org/file?id=60&lang=ru&format=dvi
и не грузить:
http://example.org/index?lang=en
http://example.org/about?lang=fr
и т.д.
A: Для версий < 1.14 нет такой возможности.  
Общий вид URI: <протокол>://<логин>:<пароль>@<хост>:<порт>/<путь>?<параметры>#<якорь>. Так вот ключи -I (--include-directories) и -X (--exclude-directories) относятся только к пути, но не к параметрам.
В версиях > 1.14 возможно при использовании ключей --accept-regex / --reject-regex. Пример: --reject-regex "lang=[^r][^u]"
 
Q: Можно ли средствами Вэ-гета ограничить перечень загружаемых файлов по дате модификации (новее чем, старше чем)?
A: Нет такой возможности.
 
Q: Можно ли при рекурсивной или множественной загрузке произвольно задать целевые пути и/или имена файлов на основе пути/имени по-умолчанию (применить транслитерацию, отбросить хвостовую часть) или хотя бы независимо (сгенерировать случайно или по счетчику)?
A: Нет.
 
Q: То — нельзя, это — невозможно. Почему все так плохо?
A: Потому что Вэ-гет на настоящий момент — базовая программа, предоставляющая только самый базовый функционал. Если вы уперлись в потолок ее возможностей, просто смените ее на другой инструмент. Из неинтерактивных свободных программ наиболее функциональными будут:
aria2c — для загрузки одиночных файлов по HTTP(S), FTP, бит-торренту;
httrack — для рекурсивной загрузки («зеркалирования») веб-сайтов;
lftp — для работы по FTP, FTPS, SFTP, FISH, а также с листингами, отдаваемыми по HTTP(S) (пример).
curl — для работы с одиночными файлам по HTTP(S), FTP(S) и многими другими протоколами на более низком уровне.
wput — клон wget для аплоада файлов на удаленные FTP(S) сервера.
axel — клон wget для многопоточной загрузки одиночных файлов по протоколам HTTP(S) и FTP(S). Порты для Windows: 2.4, 2.16.1
 
Разное.
GUI для Wget’а
 

Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант под #.

Всего записей: 1551 | Зарегистр. 17-06-2003 | Отправлено: 13:39 08-11-2003 | Исправлено: anynamer, 11:40 25-12-2023
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NikosColev
 
Wget и FFMpeg это инструменты для задач из абсолютно разных областей и их прямое сравнение некорректно. В принципе протокол RTSP берёт любая официальная сборка cURL ( https://curl.haxx.se/download.html#Win32 | https://curl.haxx.se/download.html#Win64 для WinXP SP3 и новее) хотя там потребуются иные ключи в комстроке, но поскольку и cURL и Wget решают сходные задачи скачивание файлов с произвольных серверов сравнение возможностей данной пары инструментов корректно. Для пользователя видимая разница будет только в приёмнике по умолчанию (если прямо не указано иное) - для cURL без ключей -o ,  --output <имя_файла>это stdout (-o, --output <file> Write to file instead of stdout) и в итоге экран консоли, для Wget файл с именем как на сервере. Но Wget скачает трансляцию в виде набора фрагментов, а cURL встретив RTSP поток по идее сам соберёт его в единый файл. У меня такой задачи не стояло, но можете попробовать команду curl -C - -LR --create-dirs --output <путь включая имя файла> <URL> {...[-C - -LR --create-dirs --output <путь включая имя файла> <URL>] ... ]-C - -LR --create-dirs --output <путь включая имя файла> <URL>]...} . Фрагмент в фигурных скобках необязателен и использует возможность cURL задать в одном вызове несколько независимых URL и команд для их скачивания (в Wget такой возможности нет).

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33133 | Зарегистр. 31-07-2002 | Отправлено: 15:45 09-12-2018
NikosColev



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG

Цитата:
Wget скачает трансляцию в виде набора фрагментов, а cURL встретив RTSP поток по идее сам соберёт его в единый файл
Идея получать набор фрагментов возникла с целью снижения риска возникновения ошибок при сохранении потокового видео в исходном качестве. Не подскажите возможно ли для Wget и FFmpeg настроить внятный вывод об успешности транспортировки фрагментов?  

Всего записей: 1256 | Зарегистр. 31-07-2002 | Отправлено: 16:14 09-12-2018
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NikosColev
 
Для курл-а и вгет-а процент выполнения - они выведут значение 100% только когда файл скачан успешно, для ффмпег не пользовался, не скажу.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33133 | Зарегистр. 31-07-2002 | Отправлено: 18:40 09-12-2018
NikosColev



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Для курл-а и вгет-а процент выполнения - они выведут значение 100% только когда файл скачан успешно, для ффмпег не пользовался, не скажу.
Из этой логики я и исходил, - для downloader'ов критерием успешности является слил/не слил, а что считает успешным FFmpeg я никак не пойму.
Вот сейчас им качаю и периодически наблюдаю "Server closed the connection", но он качает и пишет дальше, смотришь результат плеером, вроде бы все отлично, начинаешь редактировать CinePlay и QTP отказываются резать, а Avidemux режет... Очень бы хотелось понимать, что файл не только удалось как-то собрать, но и что собирался он из успешно или не успешно скачанных фрагментов.

Всего записей: 1256 | Зарегистр. 31-07-2002 | Отправлено: 19:10 09-12-2018
mithridat1



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NikosColev

Цитата:
Вопрос к знатокам, отличается ли Wget от FFmpeg по ресурсоемкости? - я недолго экспериментировал со скачкой потокового видео Wget, но качая четыре потока столкнулся со 100% загрузкой ЦП, что после FFmpeg меня сильно удивило.

По идее, Wget по ресурсоемкости должен быть еще менее требователен чем FFmpeg поскольку в отличие от последнего вообще никак не обрабатывает поток а только сохраняет сегменты. Надо смотреть детальнее, возможно просто очередь к диску переполнена при 4 одновременных потоках. Или вы опять взяли неудачную сборку. Но если все как говорит Victor_VG (100% только когда файл скачан успешно) то в виду малого размера сегментов и их большого количества загрузка CPU будет непрерывно 100%
 

Цитата:
Не подскажите возможно ли для Wget и FFmpeg настроить внятный вывод об успешности транспортировки фрагментов?  

Включите вывод лога в файл, там будет вся информация о загрузке сегментов
 
-o logfilename.txt  - для wget
-report -loglevel verbose - для FFmpeg
 
Victor_VG

Цитата:
В принципе протокол RTSP берёт любая официальная сборка cURL

Я не понял к чему эта реплика, ведь об RTSP речи не было.  
Ну и в качестве  оффтопа - cURL возьмет далеко не любой RTSP стрим, для этого лучше использовать FFmpeg, VLC или openRTSP.

Всего записей: 4924 | Зарегистр. 05-01-2006 | Отправлено: 19:23 09-12-2018 | Исправлено: mithridat1, 19:25 09-12-2018
NikosColev



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mithridat1

Цитата:
Или вы опять взяли неудачную сборку

Я взял сборку с предыдущей страницы:
https://eternallybored.org/misc/wget/releases/wget-1.20-win64.zip  
Ткните в правильную, плз, если я опять совершил неверный выбор.

Цитата:
Надо смотреть детальнее, возможно просто очередь к диску переполнена при 4 одновременных потоках.

Цитата:
Но если все как говорит Victor_VG (100% только когда файл скачан успешно) то в виду малого размера сегментов и их большого количества загрузка CPU будет непрерывно 100%  

Уточню, что потоками я назвал кол-во источников, адресов скачивания, во сколько потоков сабж качает отдельный фрагмент по умолчанию я не знаю.
По диспетчеру задач загрузка диска была невелика.
Если сегментами Вы называете, .ts-файлы, скачиваемые фрагменты потока, то они не так уж они малы: https://yadi.sk/i/tkzWAapdA-oofA
Alex_Piggy на этот счет предположил:
Цитата:
по поводу Wget - 100% загрузка могла быть из-за слишком частых запусков Wget (я не добавлял секундную паузу между циклами).


Всего записей: 1256 | Зарегистр. 31-07-2002 | Отправлено: 20:03 09-12-2018
mithridat1



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NikosColev
wget однопоточный загрузчик, в логе это можно увидеть более наглядно. Насчет сборки у меня нет рекомендаций, но я бы взял не самый последний, а более проверенный релиз. Вы запустите одну загрузку стрима wget и посмотрите сколько он CPU съедает, чтобы о чем то судить.
 
Кстати, замечу что стрим у вас довольно паршивый поскольку сегменты .ts (это правильное название) очень быстро устаревают и удаляются из исходной директории на сервере сразу после удаления из плейлиста m3u8 - видимо, переносятся в архив. Так что с паузой надо быть аккуратнее, при большом таймауте можно поймать пропуски сегментов.  
 
По поводу проверки целостности данных в записанной трансляции. Вы сначала попробуйте вырезать произвольный фрагмент тем же инструментов что и записали поток, то есть FFmpeg. Если даже так при обработке возникнут ошибки либо конечный фрагмент будет с рассинхроном то значит с записью действительно что то неладное. И надо помнить что причина может быть уже банально в самом исходном стриме на сервере. Если получится сохранить исходные сегменты стрима вместе с записью FFmpeg, которую проблематично обработать, то можно поразбираться в этом вопросе более детально.
 
 
 

Всего записей: 4924 | Зарегистр. 05-01-2006 | Отправлено: 21:24 09-12-2018 | Исправлено: mithridat1, 21:28 09-12-2018
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
NikosColev
 
По умолчанию один - два, реже (специально пропатченные варианты) четыре потока загрузки одновременно. Включение многопоточности зависит от сервера.
 
Добавлено:
mithridat1
 
Сегменты .TS формируются динамически сервером трансляции под конкретную загрузку, а на сервере (по крайней мере если смотреть по VLC) в недоступной для пользователей области лежит полный файл. Это снижает нагрузку и фрагментацию дисковой подсистемы сервера. Мы сами в локалке ставили VLC в качестве источника потоковой трансляции и нам не потребовалось кучи сегментов. Диск с транслируемыми роликами, VLC, несколько сетевых плат и всё.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")
Xeon E5 2697v2/C602/128 GB PC3-14900L/GTX 1660 Ti, Xeon E5-2697v2/C602J/128 Gb PC3-14900L/GTX 1660 Ti

Всего записей: 33133 | Зарегистр. 31-07-2002 | Отправлено: 22:36 09-12-2018
mithridat1



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG
Подробнее...

Всего записей: 4924 | Зарегистр. 05-01-2006 | Отправлено: 06:29 10-12-2018
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
у кого-нибудь с ключом --compression=auto нормально работает?
--compression=gzip все в порядке, а что auto что none - результат одинаковый.

Всего записей: 7322 | Зарегистр. 08-09-2001 | Отправлено: 15:53 14-12-2018
los

Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
для v1.20 вопрос снят.

Всего записей: 7322 | Зарегистр. 08-09-2001 | Отправлено: 12:47 16-12-2018
rrgjvwvnge



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Подскажите, пожалуйста, хочу с помощью wget скачать K-Lite Codec Pack MEGA http://www.codecguide.com/download_k-lite_codec_pack_mega.htm адрес для скачивания http://files2.codecguide.com/K-Lite_Codec_Pack_1460_Mega.exe . Дело в том что в названии файла K-Lite_Codec_Pack_1460_Mega.exe все время меняется номер версии. Можно ли использовать какую либо маску для цифр чтобы wget находил файл, например, по маске "_Mega.exe" игнорируя меняющиеся цифры?

Всего записей: 24 | Зарегистр. 11-12-2007 | Отправлено: 14:38 08-01-2019
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Доброе время, rrgjvwvnge
wget "http://www.codecguide.com/download_k-lite_codec_pack_mega.htm" -r -l 1 -H -D codecguide.com -A "*Mega.exe" -c -nd

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 14:45 08-01-2019
rrgjvwvnge



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Уважаемый Alex_Piggy большое спасибо! Все отлично работает! Вот только в папке создается дополнительный лишний файл robots.txt.tmp. Я добавил в конце вашего bat файла строку del robots.txt.tmp чтобы его сразу удалять. Это правильно или у wget есть специальная команда чтобы не качать robots.txt.tmp?

Всего записей: 24 | Зарегистр. 11-12-2007 | Отправлено: 16:29 08-01-2019 | Исправлено: rrgjvwvnge, 16:30 08-01-2019
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
rrgjvwvnge
-e "robots=off"

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 16:39 08-01-2019
rrgjvwvnge



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Теперь все идеально! Отличная работа уважаемый Alex_Piggy!

Всего записей: 24 | Зарегистр. 11-12-2007 | Отправлено: 16:47 08-01-2019 | Исправлено: rrgjvwvnge, 16:47 08-01-2019
Itepy

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Пару вопросов, если можно...
1) Список файлов задан в отдельном файле, запускаю --input-file=_WGETS.URL
В списке файлов нужны комментарии, можно ли их поставить?
Как ни пробую ругается: _WGETS.URL: Invalid URL
2) Использую ключ --timestamping ругается: Last-modified header missing -- time-stamps turned off.
Как я понял, WGET при отсутствии "Last-modified header" все равно будет качать файл и этого никак не избежать.
3) Если не использовать --timestamping, то к имени скачанного файла добавляется ".1", можно этого как-то избежать. Пусть перезаписывает.
 
GNU Wget 1.11.4, a non-interactive network retriever. Windows XP/SP3, CPU:AthlonXP.

Всего записей: 190 | Зарегистр. 11-12-2017 | Отправлено: 14:03 19-01-2019
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Доброе время, Itepy
1. Нет, нельзя. Ругается и ладно. Можете начинать комментарий со знака решетки.
2. Если у Вас не указано "-с/--continue".
3. Использовать  "-N/--timestamping"? Использовать "-с/--continue"?

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 14:54 19-01-2019
Itepy

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Alex_Piggy Попробую использовать "--continue". А точно, при изменении размера файла WGET полностью скачает новую версию, а не "докачает" старую?
Причем новый файл может быть меньше старого.
ADD1: Попробовал, дописав несколько символов в скачанный файл, WGET качать файл не стал.
ADD2: Попробовал, записав несколько символов в скачанный файл, WGET "докачал".
--continue - не вариант.
Пока выкрутился так

Всего записей: 190 | Зарегистр. 11-12-2017 | Отправлено: 16:33 19-01-2019 | Исправлено: Itepy, 16:52 19-01-2019
Alex_Piggy

Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Itepy

Цитата:
А точно, при изменении размера файла WGET полностью скачает новую версию, а не "докачает" старую?

Точно "докачает" старую.
Можно ссылку на один такой файл? Хочу поиграться с заголовками (Etags If-Modified-Since If-None-Match).
PS. Wget 1.11.4 из-за AthlonXP (SSE2), да? Глянте - этот 1.17.1 заработает ?

Всего записей: 1883 | Зарегистр. 07-08-2002 | Отправлено: 17:27 19-01-2019
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153 154 155 156 157 158 159 160 161 162 163 164 165 166 167 168 169 170 171 172 173 174 175 176 177 178

Компьютерный форум Ru.Board » Компьютеры » Программы » Wget


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru