Jonmey
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Цитата:
Для этого нужен, как минимум URL сайта, который гарантированно имеет редиректы (302) и их можно было наблюдать в браузере.
Цитата:| тест я проводил с инструкцией на удаление проекта. если Additional=Delete... шла первой командой, то не отрабатывала. если все команды были в одном Additional то отрабатывала |
Если проект удален первой командой, как можно исполнить остальные инструкции в отношении уже удаленного проекта?
Цитата:| в курсе, предполагаю ограничения ОЕ |
Не знаю. Не думаю, что автор сделал ограничения сильно больше ограничений самой командной строки (то есть, короче 2000 символов), поскольку ключи OE изначально не отличаются краткостью.
Цитата:| а что насчёт использования прокси? |
Насколько понимаю, там в первозданном состоянии - рандомный перебор без разбора. Ни окаких космических скоростях нет и речи (с публичными прокси в особенности). Вследствие этого при большом числе потоков ситуация когда к серверу одновременно масса запросов, что убивает идею мульипрокси на защищенных сайтах. Делал ранее предложения автору, но реакции не последовало.
Ситуация усугубляется тем сайты стали медленнее, а большой брат наставил софтов на весь трафик. Помню по времена, версий OE типа 3-5 программа с радостью захватывала весь канал, каким бы он толстым ни был, да так, что не успевала обрабатывать скачиваемые страницы (помню больше 10 потоков вообще было невозможно поставить - программа начинала виснуть от бешенного потока, того, что качала). А теперь, даже на сайтах не изменившихся с тех пор, если OE отхватит пару мегабайт от канала, то этот день готов обозначить красным днем календаря. Думаю, что дело не в OE - просто суммарно интернет стал медленнее в смысле новый URL-запрос-ответ, а не абстрактной толщины канала, которая, конечно, сказывается при скачивании больших файлов. Наверное есть какая-то зависимость от провайдера, но общая тенденция именно как описано и полагаю будет усугубляться.
Цитата:| при старом юзер агенте он может генерировать неизвестно что. |
Обычно генерируется самая простая и как следствие - быстрая, в том числе и для скачивания. Но это уже старые технологии.
Сейчас в моде технологии, когда скачиваемые страницы уже имеют средства подстройки под браузер, в котором открывается страница, тогда как на UA перестают обращать внимание вследствие поголовной любви к анонимизации вэбсерфинга. Оно и понятно - например, юзер использующий ТОР фактически отдает серверу совершенно левый, чужой и рандомный UA, тогда как получает волне конкретную страницу, которая вовсе не кривая или неизвестно с какой разметкой.
Цитата:| насчёт гуглевского юзерагента - думаю отдельно поставить поэкспериментировать, потому что большинство защит от скрапинга (копирования сайтов) могут лояльно относиться к псевдо-гуглю)) |
Не думаю, что кому-то из озабоченных тем что его сайт могут скачать, есть дело до UA. Они как правило и Google блочат (иначе чере его кэш сайт могут вытянуть). На пхп простейша защита от скачивания - несколько строк кода считающих число запросов с IP в единицу времени. Можно добавить учет интервалов и уже при этих условиях будут немалые проблемы, например, у OE, поскольку он не имеет "live" режима скачивания, и придется делать огромные интервалы (типа минута и более), качать в один поток и т.д. |
