www_world
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
stormlord666
Цитата:
Насколько я понимаю, там 127 721 страница в разделе, который вы желаете выкачать с URL начиная
https://sprosivracha.com/questions/
или
https://sprosivracha.com/questions/1
и заканчивая URL
https://sprosivracha.com/questions/127721
Качайте в один поток. Если хотите быстрее, то используйте пачку (больше числа потоков минимум в два раза) высокоанонимных рабочих прокси в рандомном режиме.
Или пробуйте использовать режим скачивания имитирующий открытие в браузере.
Настройте корректно фильтры на URL и типы скачиваемых файлов.
А лучше - тупо составьте полный список скачиваемых урлов в явном виде (127 721 штука) и впишите их в проект, запретив скачивать любые иные).
В общем ничего нового, о чем бы не говорилось в данной теме за годы ее существования.
Время web1.0, когда можно было невозбранно качать что угодно, как угодно и чем угодно, безвозвратно ушло. Теперь защита стоит не только на сайтах, но на серверах, на которых хостятся сотни и тысячи сайтов. И это защита не столько от качальщиков, сколько от злоумыщленников. А потому например владелец сервера может посчитать что 3-5 запросов в сек с одного IP - достаточно дляобычного юзера, а потому всечто выше - априори зловред который нужно кляпить. Вот и соображайте, как вам лучше качать в подобных условиях. |
