Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Модерирует : gyra, Maz

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153

Открыть новую тему     Написать ответ в эту тему

GaDiNa



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
[ UNIX Shell ] || [ Рекурсивная загрузка веб-сайтов ] — родительские ветки.
 
GNU Wget

GNU Wget — это свободная неинтерактивная утилита для скачивания файлов по HTTP, HTTPS, FTP и FTPS (и только), обладающая самым базовым функционалом загрузки одиночных файлов и рекурсивной загрузки сайтов (HTTP) и директорий (FTP).
 

| Офсайт | Википедия | Фрешмит | Опен-хаб (бывш. Охлох) | Мануал | Ман | Ман (русск., устар.) | --help (русск.) |

 
Где взять.
Под GNU — уже стоит. Под FreeBSD — есть в портах. Под [Mac] OS X — собрать ванильный.  
Под Windows есть варианты: Cygwin | GNUWin32 (учитывайте зависимости) | Wget + OpenSSL by GetGnuWin32  | by TumaGonx Zakkum (он же osspack32 и The Moluccas  |  by Jernej Simoncc (32 и 64 бит отдельные пакеты).
 
Литература.
Popkov. Параметры программы wget
В. А. Петров. Wget — насос для Интернета
 
FAQ
 
Q: Можно ли простым перебором загрузить страницы (допустим) с первой по сотую, если их адреса:  
http://example.org/index?page=1
http://example.org/index?page=2
...
http://example.org/index?page=100
A: Вэ-гет не умеет делать инкрементальный перебор, поскольку это умеет делать любая командная оболочка. На Баше это делается так:
$ wget -E "http://example.org/index?page="{1..100}
Еще раз отметьте, {1..100} — это синтаксическая конструкция Баша, а не Вэ-гета. Эквивалентной этой будет команда:
$ for i in {1..100}; do wget -E "http://example.org/index?page=$i"; done
Или для cmd.exe:
for /l %i in (1,1,100) do wget -E "http://example.org/index?page=%i"
 
Q: А как собственно сайт целиком-то загрузить?
A: $ wget -mpEk "http://example.org"
Это, наверное, самый ходовой набор ключей, но вам, может быть, более подойдут другие. Что значит каждый — легко узнать в мане.
 
Q: Я хочу загрузить с сайта, требующего авторизации. Что делать?
A: Проще всего кинуть куда-нибудь файл с нужными (но лишние не помешают) куками в нетскэйповском формате, затем воспользоваться ключом --load-cookies.
$ wget --load-cookies cookies.txt бла-бла # файл cookies.txt в текущей директории
У Файрфокса куки в требуемом виде можно получить, воспользовавшись расширениями «Export Cookies» либо «Cookie.txt»; у Хрома — «Cookie.txt export»
 
Q: Не-ASCII символы сохраняются в именах файлов как %D0%A5%D1%83%D0%B9 (или того хуже), хотя локаль юникодная.
A: Укажите ключ --restrict-file-names=nocontrol,unix или --restrict-file-names=nocontrol,windows соответственно.
Если у вас Windows и локаль не юникодная — используйте вариант от Alex_Piggy с ключом --local-filesystem-encoding=ENCODING, где ENCODING — имя кодировки локали в терминах iconv. Текущую локаль cmd.exe можно проверить при помощи команды chcp. Для русской кириллицы в Windows обычно используется CP866.
 
Q: Известно, что можно приказать Вэ-гету обновить ранее загруженный файл, если на сервере новее или иного размера (ключ --timestamping, он же -N). Можно приказать учитывать только дату, но не размер (--timestamping --ignore-length). А можно ли учитывать только размер, но не дату?
A: При помощи одного только Wget’а — нет.  Возможна обработка получаемых заголовков файла при помощи средств командной оболочки. Пример для cmd.exe.
 
Q: Можно ли приказать Вэ-гету докачать файл, но только если он не изменился.
A: Нет, нельзя. Сочетание ключей -cN (--continue --timestamping), как можно было бы предположить, нужного эффекта не даст — «докачает» даже если файл изменился — получите в итоге мусор.
 
Q: Можно ли при рекурсивной загрузке ограничится только ссылками, содержащими параметр lang=ru, т.е. грузить:
http://example.org/index?lang=ru
http://example.org/page?id=1001&lang=ru
http://example.org/file?id=60&lang=ru&format=dvi
и не грузить:
http://example.org/index?lang=en
http://example.org/about?lang=fr
и т.д.
A: Для версий < 1.14 нет такой возможности.  
Общий вид URI: <протокол>://<логин>:<пароль>@<хост>:<порт>/<путь>?<параметры>#<якорь>. Так вот ключи -I (--include-directories) и -X (--exclude-directories) относятся только к пути, но не к параметрам.
В версиях > 1.14 возможно при использовании ключей --accept-regex / --reject-regex. Пример: --reject-regex "lang=[^r][^u]"
 
Q: Можно ли средствами Вэ-гета ограничить перечень загружаемых файлов по дате модификации (новее чем, старше чем)?
A: Нет такой возможности.
 
Q: Можно ли при рекурсивной или множественной загрузке произвольно задать целевые пути и/или имена файлов на основе пути/имени по-умолчанию (применить транслитерацию, отбросить хвостовую часть) или хотя бы независимо (сгенерировать случайно или по счетчику)?
A: Нет.
 
Q: То — нельзя, это — невозможно. Почему все так плохо?
A: Потому что Вэ-гет на настоящий момент — базовая программа, предоставляющая только самый базовый функционал. Если вы уперлись в потолок ее возможностей, просто смените ее на другой инструмент. Из неинтерактивных свободных программ наиболее функциональными будут:
aria2c — для загрузки одиночных файлов по HTTP(S), FTP, бит-торренту;
httrack — для рекурсивной загрузки («зеркалирования») веб-сайтов;
lftp — для работы по FTP, FTPS, SFTP, FISH, а также с листингами, отдаваемыми по HTTP(S) (пример).
curl — для работы с одиночными файлам по HTTP(S), FTP(S) и многими другими протоколами на более низком уровне.
wput — клон wget для аплоада файлов на удаленные FTP(S) сервера.
axel — клон wget для многопоточной загрузки одиночных файлов по протоколам HTTP(S) и FTP(S). Порты для Windows: 2.4, 2.16.1
 
Разное.
GUI для Wget’а
 

Смело правьте и дополняйте шапку, однако не забывайте отписываться об исправлениях и сохранять исходный вариант под #.

Всего записей: 1531 | Зарегистр. 17-06-2003 | Отправлено: 13:39 08-11-2003 | Исправлено: juvaforza, 17:27 01-09-2019
nikmedber

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
skipik

Цитата:
https://github.com/VictorVG/Software/blob/master/wget_ruboard.zip

Спасибо!  
Просто работает, сохраняет в нужной кодировке. Почему нет в шапке, или я слепой?

Всего записей: 51 | Зарегистр. 12-03-2008 | Отправлено: 04:26 14-08-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nikmedber

Цитата:
Почему нет в шапке, или я слепой?

Лежит и будет лежать пока я её с Git не потру, а лишней афиши мне на надо. Есть печальный опыт с ЯД. Хватит.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 05:42 14-08-2019
nikmedber

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Последний вопрос и не буду больше засорять тему.  
В корне на ftp сервере лежит папка Обмен. Сейчас для скачивания этой папки использую команду wget -r --level=0 --user=user --password=password ftp://127.0.0.1. Где эта команда запускается туда и скачивает. Wget создает папку 127.0.0.1 и туда скачивает  папку Обмен, видимо 127.0.0.1 считает корневым или нулевым уровнем. Вопрос: как скачать папку Обмен без создания папки 127.0.0.1?

Всего записей: 51 | Зарегистр. 12-03-2008 | Отправлено: 06:19 14-08-2019 | Исправлено: nikmedber, 06:42 14-08-2019
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
nikmedber
-nH

Всего записей: 8524 | Зарегистр. 11-03-2002 | Отправлено: 06:49 14-08-2019
nikmedber

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Доброго дня. Обещал не беспокоить по глупым вопросам но сам справиться не могу.
Задача: нужно скачать с ftp Filezilla server каталог со множеством вложений. На сервере и на клиенте Windows 7. Сейчас используется команда wget -r -nH --level=0 --user=user --password=password ftp://127.0.0.1 и столкнулся с двумя проблемами.
1. Начиная с 6-7 уровня вложений папок качаются обрезанные имена. Например на ftp лежит файл /1/2/3/4/5/6/Длинное имя файла.doc а wget скачивает /1/2/3/4/5/6/Длинное имя фай(или Длинное имя файла.d). причем если на сервере ftp переместить эти же файлы из 6 каталога в 1 то файлы wget загружаются корректно. Однако файлы закачиваются полностью, стоит добавить расширение и они открываются. Пробовал опции -m и --content-disposition не помогают. Можно как-то это исправить? Кто нибудь сталкивался с таким?
2. Кажется вторая проблема связана с первой. Wget качает не все файлы с глубоким уровнем вложений каталогов. Например в каталоге 1/2/3/4/5/6/7/ содержится 20 файлов а скачивает 10. В итоге с ftp в место 38Гб wget качает 35Гб. Без опции --level=0, wget качал 14.3 Гб.  
 
P.S. В место каталогов 1 2 3 4 5 6 7 каталоги с русскими именами в которых могут содержатся точки и пробелы. Если Wget не предназначен для такого, то сообщите об этом и я буду искать другое решение.

Всего записей: 51 | Зарегистр. 12-03-2008 | Отправлено: 04:32 15-08-2019 | Исправлено: nikmedber, 04:55 15-08-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nikmedber
 
Всё правильно. Ограничение ОС - MAX_PATH <= 260. Официально ограничение снято в Win10 (1607) и новее. Так же в Win32API имеются ограничения на уровень вложенности каталогов связанные с %MAX_PATH% и вгет вынуждена подчинятся требованиям ОС. Используйте альтернативы, например Far Manager 3.0 у которого не данных ограничений ОС зам счёт собственной реализации файлового ввода-вывода. Тотал Коммандер, МультиКоммандер, Dowble Commander, muCommander, Q-Dir таких средств не имеют т.к. работают через средства ОС.
 
Добавлено:
Подробнее о MAX_PATH написано статьях MSDN Naming Files, Paths, and Namespaces и там же в статье File System Functionality Comparison. Обе статьи на английском, на MSDN перевода для них нет.
 
P.S.
 
Вещи сложные, так что сразу не все будет понятно.


----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 04:52 15-08-2019 | Исправлено: Victor_VG, 07:39 15-08-2019
nikmedber

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Понятно /имя100символов/имя100символов/имя60символов/ это и есть 260. Раньше думал что ограничение 260 на имя каталога/файла, не учел что весь путь составляет больше 260. Теперь понятно почему winscp.com в командной строке так же не справляется а winscp.exe c графической оболочкой справляется спокойно. Простите за флуд. Спасибо Victor_VG

Всего записей: 51 | Зарегистр. 12-03-2008 | Отправлено: 05:33 15-08-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nikmedber
 
Ограничения частично сняты (на NTFS для 64-х битных ОС и  приложений) для UNICODE файловых функций с суффиксом W, для ANSI с суффиксом A оно действует. По крайней мере такой ответ дают разработчики ядра ОС.

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 06:44 15-08-2019 | Исправлено: Victor_VG, 07:38 15-08-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Т.к. знакомые часто спрашивают "Чем отличается Wget от cURL?" думаю мой ответ кому пригодится:
 
алгоритм работы в Wget/Wput реализует стратегию:
 
"один вызов - одна команда с уникальным набором ключей и URL, выводим в файл, каталог-приёмник должен существовать до вызова Wget",  
 
а в cURL:  
 
"вызов обрабатывает одиночный или очередь из нескольких URL с разными или общим набором ключей до исчерпания входной очереди или ключа "--", по умолчанию выводим в stdout для конвейерной обработки, в файл пишем если указано в команде и при необходимости создаём каталог-приёмник".

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 11:06 18-08-2019 | Исправлено: Victor_VG, 11:08 18-08-2019
generator324

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как указать директорию, куда сохранять файл при скачивании? Wget вообще такое умеет? Я не нашёл .
 
Добавлено:
Wget 1.11.4, если что.

Всего записей: 392 | Зарегистр. 11-01-2019 | Отправлено: 12:05 28-08-2019
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
generator324
-P

Всего записей: 8524 | Зарегистр. 11-03-2002 | Отправлено: 12:08 28-08-2019
generator324

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Pasha_ZZZ
Пасиб! БеЗтолковый я, беЗтолоковый! Слона-то и не приметил!
А что с форумом ныне творится? Только через Тор зайти удалось
 
Добавлено:
Ога, понял - на https переехали

Всего записей: 392 | Зарегистр. 11-01-2019 | Отправлено: 12:23 28-08-2019
harpy



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
последние версии под винды https://eternallybored.org/misc/wget/

----------
latest HarpyTools

Всего записей: 931 | Зарегистр. 26-01-2006 | Отправлено: 18:57 06-09-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
harpy
 
Вообще-то, это официальные сборкм на которые ведёт самая первая в списке ссылка на https://www.gnu.org/software/wget/faq.html#download

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 19:39 06-09-2019
VecH



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Заранее извиняюсь, но задачка немного специфичная:
 
Есть железяка коммутатор, у которого конфигурацию можно получить через telnet командой:
Код:
show running-config
после которой в терминал/консоль летит вся конфигурация железяки
для Linux есть варианты как это можно сделать, а под Windows не нахожу совсем
 
И таких железяк много, хочу автоматизировать возможность бэкапов, но как это сделать в Windows не понимаю
 
p.s. Не кидайте тапками, больше не знаю куда обратится (может есть ветка здесь на форума для таких вопросов

Всего записей: 2341 | Зарегистр. 18-02-2003 | Отправлено: 04:11 07-09-2019
Victor_VG



Tracker Mod
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
VecH
 
cURL с телнета свободно считает - curl -LRSs --create-dirs --output <dir>\<file name> URL
 
но я так сформировал команду, что он выведет только сообщение об ошибке. Прогресс-индикатор отключён. Если надо, curl -LR --create-dirs --output <dir>\<file name> URL

----------
Жив курилка! (Р. Ролан, "Кола Брюньон")

Всего записей: 24764 | Зарегистр. 31-07-2002 | Отправлено: 04:36 07-09-2019
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
VecH
А не проще в самих раутерах это настроить, а на нужном хосте поднять FTP... ну или WebDAV... ну или что там вы еще нафантазируете.
 
З.Ы.: Дедулю можешь не воспринимать, он уже давно того...

Всего записей: 8524 | Зарегистр. 11-03-2002 | Отправлено: 05:23 07-09-2019
VecH



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Pasha_ZZZ
В железяках нет возможности вставлять скрипты, и уж тем более отсутствует планировщик
 
есть веб морда, но она на на iframe-ах, и городить скрипты на wget для авторизции и т.д. еще тот геморрой (я пробовал)
 
а вот забрать конфигурацию через telnet самое простое, в Linux я такое раньше проворачивал через except, но тут Windows и except-а толкового я не нашел
 
попробую чуть позже cURL-ом, надеюсь все сработает как надо
 
несколько интересный вопрос: а как cURL будет авторизационные данные вводить?

Всего записей: 2341 | Зарегистр. 18-02-2003 | Отправлено: 05:52 07-09-2019
Pasha_ZZZ



Gold Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
VecH
ActiveTcl - есть expect под венду.
pexpect на петоне - https://github.com/pexpect/pexpect
нечто подобное на Go - https://github.com/zetamatta/expect/releases
 
Добавлено:
И кстате, если это циски - то там есть Kron, ежели чего...

Всего записей: 8524 | Зарегистр. 11-03-2002 | Отправлено: 06:34 07-09-2019
VecH



Silver Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Pasha_ZZZ
SNR-ы (от nag.ru)
типа Cisco

Всего записей: 2341 | Зарегистр. 18-02-2003 | Отправлено: 06:45 07-09-2019
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 54 55 56 57 58 59 60 61 62 63 64 65 66 67 68 69 70 71 72 73 74 75 76 77 78 79 80 81 82 83 84 85 86 87 88 89 90 91 92 93 94 95 96 97 98 99 100 101 102 103 104 105 106 107 108 109 110 111 112 113 114 115 116 117 118 119 120 121 122 123 124 125 126 127 128 129 130 131 132 133 134 135 136 137 138 139 140 141 142 143 144 145 146 147 148 149 150 151 152 153

Компьютерный форум Ru.Board » Компьютеры » Программы » Wget

Имя:
Пароль:
Сообщение

Для вставки имени, кликните на нем.

Опции сообщенияДобавить свою подпись
Подписаться на получение ответов по e-mail
Добавить тему в личные закладки
Разрешить смайлики?
Запретить коды


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2018

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru