Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153

Открыть новую тему     Написать ответ в эту тему

GaDiNa



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
[ UNIX Shell ] || [ Рекурсивная загрузка веб-сайтов ] — родительские ветки.
 
GNU Wget

GNU Wget — это свободная неинтерактивная утилита для скачивания файлов по HTTP, HTTPS, FTP и FTPS (и только), обладающая самым базовым функционалом загрузки одиночных файлов и рекурсивной загрузки сайтов (HTTP) и директорий (FTP).
 

| Офсайт | Википедия | Фрешмит | Опен-хаб (бывш. Охлох) | Мануал | Ман | Ман (русск., устар.) | --help (русск.) |

 
Где взять.
Под GNU — уже стоит. Под FreeBSD — есть в портах. Под [Mac] OS X — собрать ванильный.  
Под Windows есть варианты: Cygwin | GNUWin32 (учитывайте зависимости) | Wget + OpenSSL by GetGnuWin32  | by TumaGonx Zakkum (он же osspack32 и The Moluccas  |  by Jernej Simoncc (32 и 64 бит отдельные пакеты).
 
Литература.
Popkov. Параметры программы wget
В. А. Петров. Wget — насос для Интернета
 
FAQ
 
Q: Можно ли простым перебором загрузить страницы (допустим) с первой по сотую, если их адреса:  
http://example.org/index?page=1
http://example.org/index?page=2
...
http://example.org/index?page=100
A: Вэ-гет не умеет делать инкрементальный перебор, поскольку это умеет делать любая командная оболочка. На Баше это делается так:
$ wget -E "http://example.org/index?page="{1..100}
Еще раз отметьте, {1..100} — это синтаксическая конструкция Баша, а не Вэ-гета. Эквивалентной этой будет команда:
$ for i in {1..100}; do wget -E "http://example.org/index?page=$i"; done
Или для cmd.exe:
for /l %i in (1,1,100) do wget -E "http://example.org/index?page=%i"
 
Q: А как собственно сайт целиком-то загрузить?
A: $ wget -mpEk "http://example.org"
Это, наверное, самый ходовой набор ключей, но вам, может быть, более подойдут другие. Что значит каждый — легко узнать в мане.
 
Q: Я хочу загрузить с сайта, требующего авторизации. Что делать?
A: Проще всего кинуть куда-нибудь файл с нужными (но лишние не помешают) куками в нетскэйповском формате, затем воспользоваться ключом --load-cookies.
$ wget --load-cookies cookies.txt бла-бла # файл cookies.txt в текущей директории
У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширениями «Export Cookies» либо «Cookie.txt»; у Хрома — «Cookie.txt export»
 
Q: Не-ASCII символы сохраняются в именах файлов как %D0%A5%D1%83%D0%B9 (или того хуже), хотя локаль юникодная.
A: Укажите ключ --restrict-file-names=nocontrol,unix или --restrict-file-names=nocontrol,windows соответственно.
Если у вас Windows и локаль не юникодная — используйте вариант от Alex_Piggy с ключом --local-filesystem-encoding=ENCODING, где ENCODING — имя кодировки локали в терминах iconv. Текущую локаль cmd.exe можно проверить при помощи команды chcp. Для русской кириллицы в Windows обычно используется CP866.
 
Q: Известно, что можно приказать Вэ-гету обновить ранее загруженный файл, если на сервере новее или иного размера (ключ --timestamping, он же -N). Можно приказать учитывать только дату, но не размер (--timestamping --ignore-length). А можно ли учитывать только размер, но не дату?
A: При помощи одного только Wget’а — нет.  Возможна обработка получаемых заголовков файла при помощи средств командной оболочки. Пример для cmd.exe.
 
Q: Можно ли приказать Вэ-гету докачать файл, но только если он не изменился.
A: Нет, нельзя. Сочетание ключей -cN (--continue --timestamping), как можно было бы предположить, нужного эффекта не даст — «докачает» даже если файл изменился — получите в итоге мусор.
 
Q: Можно ли при рекурсивной загрузке ограничится только ссылками, содержащими параметр lang=ru, т.е. грузить:
http://example.org/index?lang=ru
http://example.org/page?id=1001&lang=ru
http://example.org/file?id=60&lang=ru&format=dvi
и не грузить:
http://example.org/index?lang=en
http://example.org/about?lang=fr
и т.д.
A: Для версий < 1.14 нет такой возможности.  
Общий вид URI: <протокол>://<логин>:<пароль>@<хост>:<порт>/<путь>?<параметры>#<якорь>. Так вот ключи -I (--include-directories) и -X (--exclude-directories) относятся только к пути, но не к параметрам.
В версиях > 1.14 возможно при использовании ключей --accept-regex / --reject-regex. Пример: --reject-regex "lang=[^r][^u]"
 
Q: Можно ли средствами Вэ-гета ограничить перечень загружаемых файлов по дате модификации (новее чем, старше чем)?
A: Нет такой возможности.
 
Q: Можно ли при рекурсивной или множественной загрузке произвольно задать целевые пути и/или имена файлов на основе пути/имени по-умолчанию (применить транслитерацию, отбросить хвостовую часть) или хотя бы независимо (сгенерировать случайно или по счетчику)?
A: Нет.
 
Q: То — нельзя, это — невозможно. Почему все так плохо?
A: Потому что Вэ-гет на настоящий момент — базовая программа, предоставляющая только самый базовый функционал. Если вы уперлись в потолок ее возможностей, просто смените ее на другой инструмент. Из неинтерактивных свободных программ наиболее функциональными будут:
aria2c — для загрузки одиночных файлов по HTTP(S), FTP, бит-торренту;
httrack — для рекурсивной загрузки («зеркалирования») веб-сайтов;
lftp — для работы по FTP, FTPS, SFTP, FISH, а также с листингами, отдаваемыми по HTTP(S) (пример).
curl — для работы с одиночными файлам по HTTP(S), FTP(S) и многими другими протоколами на более низком уровне.
wput — клон wget для аплоада файлов на удаленные FTP(S) сервера.
axel — клон wget для многопоточной загрузки одиночных файлов по протоколам HTTP(S) и FTP(S). Порты для Windows: 2.4, 2.16.1
 
Разное.
GUI для Wget’а
 

Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант под #.

Всего записей: 1531 | Зарегистр. 17-06-2003 | Отправлено: 13:39 08-11-2003 | Исправлено: juvaforza, 17:27 01-09-2019
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
D1D1D1D
Чтение вывода в консоль очень помогает... поставьте вокруг урла кавычки

Всего записей: 8647 | Зарегистр. 11-03-2002 | Отправлено: 09:24 11-02-2017
D1D1D1D

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Спасибо!

Всего записей: 744 | Зарегистр. 05-04-2010 | Отправлено: 11:13 11-02-2017
Dimsokolov

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А какой прок от файлов из папки "locale" в сборке? Понятно, что языковые файлы, но они только добавляют отображения в консоли, или на что-то ещё влияют? Всё время пользовался одним exe безо всяких доп. файлов, и всё норм. И чтобы их задействовать, надо отдельный файл "wget.mo" рядом с exe положить?

Всего записей: 132 | Зарегистр. 28-03-2009 | Отправлено: 17:02 12-02-2017 | Исправлено: Dimsokolov, 17:02 12-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Dimsokolov
 
Это перевод сообщений на разные языки, и они должны лежать в подкаталогах  ./locale/<lang>/LC_MESSAGES их расположение задано в исходниках, а выбор нужного файла производится через ./locale/locale.alias . Если их убрать то все сообщения Wget будут выводится на языке который задан в исходниках и не во всякой сборке им окажется английский. Мне и японские, корейские и даже китайские попадались. Не желаете поучить?

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 17:48 12-02-2017
dsrabot

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Нужна помощь:
Есть сайт/файловое хранилище(https файловый сервер), там десятки терабайт, поэтому качать их - не катит, целая древовидная структура. Нужно собрать всё это в файл и/или найти файл по ссылке по маске напр. *qwerty*

Всего записей: 93 | Зарегистр. 25-12-2013 | Отправлено: 16:29 14-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
dsrabot
 
В один файл не соберёте - не всякая программа умеет работать с такими файлами. В команду добавляются ключи -regex-type=pcre --accept-regex=<regexp> --trust-server-names -L -r . Ну а регулярку напишите сами согласно спецификации PCRE.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 16:45 14-02-2017
EstellaMadl



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Уважаемые специалисты, прошу помощи в скорее всего простом вопросе.
Но не могу пока понять как сделать. Хелп читала. Наверно тупая.
версия windows
Надо скачать файл в определенную папку.
Пишу так
Код:
wget -p c://path http://site.ru/file.zip

так ругается на с

Всего записей: 21 | Зарегистр. 09-12-2016 | Отправлено: 20:23 15-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EstellaMadl
 
Правильно ругается - вы ошиблись с указанием пути. Для DOS / OS/2 / Win надо так писать wget -p c:\path http://site.ru/file.zip или для *NIX wget -p /home/usr/<login>/path http://site.ru/file.zip . Т.е для каждого типа ОС в командах нужно использовать её формат записи пути, а URL должен писаться с прямыми слешами и в неизменном виде. Если в путях или URL встречаются спецзнаки либо пробелы т.е. любые символы отличные от букв и цифр 0 - 9 они указываются в кавычках. Это общее для всех ОС правило. Тогда всё у вас заработает.
 
P.S.
 
Будет нужна подсказка спрашивайте.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 20:41 15-02-2017
EstellaMadl



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG
Так тоже пробовала. Не пойму. Вот точное сообщение:

Код:
 
C:\>"C:\Program Files\GnuWin32\bin\wget.exe" -p C:\!123\Downloads http://www.rarlab.com/rar/winrar-x64-540al.exe
SYSTEM_WGETRC = c:/progra~1/wget/etc/wgetrc
syswgetrc = C:\Program Files\GnuWin32/etc/wgetrc
--2017-02-15 22:58:07--  ftp://c/%5C!123%5CDownloads
           => `c/%5C!123%5CDownloads'
Распознаётся c... сбой: No data record of requested type.
C:\Program Files\GnuWin32\bin\wget: невозможно распознать адрес `c'
--2017-02-15 22:58:10--  http://www.rarlab.com/rar/winrar-x64-540al.exe
Распознаётся www.rarlab.com... 5.135.104.98
Устанавливается соединение с www.rarlab.com|5.135.104.98|:80... соединение устан
овлено.
Запрос HTTP послан, ожидается ответ... 200 OK
Длина: 2320760 (2,2M) [application/octet-stream]
Сохраняется в каталог: `www.rarlab.com/rar/winrar-x64-540al.exe'.
 
100%[======================================>] 2 320 760    528K/s   в 4,3s
 
2017-02-15 22:58:14 (524 KB/s) - `www.rarlab.com/rar/winrar-x64-540al.exe' сохранён [2320760/2320760]
 
ЗАВЕРШЕНО --2017-02-15 22:58:14--
Загружено: 1 файлов, 2,2M за 4,3s (524 KB/s)
 

 
А если делать две команды
cd C:\!123\Downloads
C:\Program Files\GnuWin32\bin\wget.exe" http://www.rarlab.com/rar/winrar-x64-540al.exe
тогда качает правильно.
Только мне надо не двумя командами а одной скачать файл.
 

Всего записей: 21 | Зарегистр. 09-12-2016 | Отправлено: 21:02 15-02-2017
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
EstellaMadl
-p и -P - это какбэ разные совсем вещи...

Всего записей: 8647 | Зарегистр. 11-03-2002 | Отправлено: 21:07 15-02-2017
EstellaMadl



Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
О! Pasha_ZZZ получилось!
Огромное спасибо!
Очень благодарна всем откликнувшимся специалистам.
Еще раз, Спасибо!

Всего записей: 21 | Зарегистр. 09-12-2016 | Отправлено: 21:10 15-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
EstellaMadl
 
Простите, спешил и не обратил внимание на вторую ошибку в команде - Wget это утилита из мира UNIX/Linux а для этих ОС ключи управляющие поведением программ (команд, утилит) регистро-зависимы для увеличения числа доступных режимов работы программы.  
 
В DOS/Windows регистр символов команды обычно не различается для совместимости с DOS, но если вы запускает в них перенесённую ("портированную") с UNIX/LINUX или IBM OS/2, IBM OS/360 (OS/370) или соответствующую стандарту POSIX 1009.3 Windows программу (спасибо Микрософт - позаботилась о нас грешных и выкинула из оси лишнюю поддержку POSIX и прочих международных стандартов - запускалке для игрушек сиё не требуется ), то они различают ключи и имена путей, так что к примеру DOS команда COPY <file> <dir> эквивалента по результатам вне зависимости от регистра символов, а её UNIX аналог cp -t <dir> <file> и cp -T <file1> <file2> дадут совершенно различные результаты - в первом случае <file> будет скопирован в каталог-приёмник <dir>, во втором содержимое файла-источника <file1> будет скопировано в файл-приёмник <file2> и это изменение поведения определяется "только" регистром ключа -t или -T.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 22:22 15-02-2017 | Исправлено: Victor_VG, 22:28 15-02-2017
skipik



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
wget-1.19.1_curl-7.52.1_win32_win64.7z
Сборочку обновили до 1.19.1.

Всего записей: 3246 | Зарегистр. 07-07-2006 | Отправлено: 23:22 16-02-2017
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Сборочку обновили до 1.19.1
О, я писал автору, почему предыдущие сборки CURL ругаются на ключ --compressed (типа не поддерживает либа). В этой вроде поддерживает. Но только почему-то CURL стал тихим. Раньше было 3 режима: тихий (-s), обычный (без ключей) и подробный (-v). Теперь без ключей почему-то тоже тихий...

Всего записей: 8647 | Зарегистр. 11-03-2002 | Отправлено: 23:56 16-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Однако на GNU маны до сих пор для 1.18 - мантейнер не обновил страницу,  в демоне пока то же старая 1.19 - ./ports/ftp/wget/distinfo:  

Цитата:
TIMESTAMP = 1486213522
SHA256 (wget-1.19.tar.xz) = 0f1157bbf4daae19f3e1ddb70c6ccb2067feb834a6aa23c9d9daa7f048606384
SIZE (wget-1.19.tar.xz) = 2075916

хотя я порты взял тарбаллом пару минут назад с ftp://ftp.freebsd.org/pub/FreeBSD/ports/ports/ - значит мантейнеры не успели ещё проверить новую версию и скорректировать мэйки. Возможно будут и патчи для сорцов...
 
Добавлено:
skipik
Pasha_ZZZ
 
Это не полноценная версия 1.19.1, а фикс версии 1.19, вдобавок функционально урезанный - в Wget v1.19.1 добавлена "маленькая" мелочь - новая опция --retry-on-http-error которой равно как и поддержки gpgme тут нет, а потому на обновление увы, не тянем.
 
Добавлено:
Факты:
 
Исходники выложены:
 
v1.19.1
wget-1.19.1.tar.xz  2017-02-11 16:03      
wget-1.19.1.tar.gz  2017-02-11 16:01
 
v1.19
wget-1.19.tar.xz     2017-02-03 07:11
wget-1.19.tar.gz     2017-02-03 07:11
 
./wget-1.19.1/NEWS:

Цитата:
* Changes in Wget 1.19.1
 
* Fix bugs, a regression, portability/build issues
 
* Add new option --retry-on-http-error

./wget-1.19.1/ChangeLog .
 
Так что с номером версии накладка вышла. Именно что бы их избежать в демоне для таких случаев используется чуть иная схема нумерации min.maj.[bld][.rev][_fix] т.е. в терминологии версий BSD это сборка версии 1.19_1 (кстати, GCC/VC такую маркировку воспринимают как корректную, но должно стоять нижнее подчёркивание а не дефис или минус - эти мигом уменьшат последнюю цифру на единицу, проверено, запомнено).
 
А вот разница в наборах либ использованных при сборке:
 

 
так что вопросов у меня к ней много....


----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 01:44 17-02-2017 | Исправлено: Victor_VG, 14:17 17-02-2017
Vasily_Koshkin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Уважаемые, не подскажете как выкачать WGet'ом вот такую галерею и ей подобные? Интересуют именно увеличенные изображения. Основная сложность в том, что не известны точные пути до файлов. Я конечно не эксперт, но,  по-моему, возможность задать маску для папок в Wget'e отсутствует. Вопрос традиционный - можно ли с этим что-нибудь сделать? Спасибо за внимание.

Всего записей: 1082 | Зарегистр. 07-02-2004 | Отправлено: 19:04 17-02-2017
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vasily_Koshkin
 
Там парсер нужен - линки динамически генерятся скриптом. Так что самое разумное использовать Metaproduct Offline Explorer Enterprise - этот такие вещи разбирать умеет.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24894 | Зарегистр. 31-07-2002 | Отправлено: 19:13 17-02-2017
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG> линки динамически генерятся скриптом
 
Нет.
 
> самое разумное — использовать Metaproduct Offline Explorer Enterprise
 
Я думаю, у товарища найдется лучшее применение шестистам долларам США.

----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 20:42 17-02-2017
Vasily_Koshkin



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Victor_VG

Цитата:
Там парсер нужен - линки динамически генерятся скриптом.

Сдается мне, что линки все-таки постоянные, хотя содержат некий хеш, из-за которого и сложности. А нельзя сохранить структуру каталогов на сайте в файл, а потом скачать все изображения согласно этому списку?  

Всего записей: 1082 | Зарегистр. 07-02-2004 | Отправлено: 20:49 17-02-2017
ASE_DAG



Gold Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Vasily_Koshkin> из-за которого и сложности
 
Какие сложности-то?
 
$ wget -e robots=off -m -I album -I images \
> http://izettaro.webnode.ru/fotogaljerjeja/kolody-taro/taro-russkoe/


----------
Dmitry Alexandrov <321942@gmail.com> [PGP] [BTC]

Всего записей: 9272 | Зарегистр. 12-05-2005 | Отправлено: 20:52 17-02-2017
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153

Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Имя:
Пароль:
Сообщение

Для вставки имени, кликните на нем.

Опции сообщенияДобавить свою подпись
Подписаться на получение ответов по e-mail
Добавить тему в личные закладки
Разрешить смайлики?
Запретить коды


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2018

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru