Jonmey
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ChernavinOleg
OneHunt скорее имел ввиду сайт не с однократной капчей при входе, а такой, в котором капча появляется периодически после посещения n-ного числа страниц (число может быть как фиксированным, так и одновременно зависящем от скорости открывания страниц (например, 5 стр/мин.)). Подобные сайты автоматически можно скачать только при использовании пачки прокси-серверов (как таковые, через tor, vpn и др.). В любом случае нужно точно знать ограничения, имющиеся на таком сайте, что, возможно, при пробах приведет к бану нескольких IP (то есть, стоит сразу использовать не свой IP). Мне такие сайты встречались. Поэтому даже если раздобыть автоматизированную систему распознавания капчей - далеко не каждый сайт это поможет скачать.
Из предложений по вашей программе мне лично не хватало опции "Пауза загрузки" (при обнаружении слов из стоп-листа). У вас вроде имеется только опция "Остановить загрузку" (при обнаружении слов из стоп-листа).
Вторая желаемая - Случайная пауза из указанного интервала (между загрузками страниц/файлов).
И третья - Десинхронизация подключения потоков (если потоков более одного), чтобы не было более одного (двух) одновременных запросов на подключение. Нередко сайты медленно коннектятся и возникает ситуация, когда послано сразу несколько запросов - сайту это может не нравиться с вытекающими. Тогда как если новый запрос посылается уже после установления предыдущего (независимо от того скачался или нет файл), то это может вызывать меньше проблем, поскольку запросы на подключение не накапливаются на сервере. |
