Jonmey
Advanced Member | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Если программа скачивает одну ссылку, то она не может не скачать вторую (поскольку ОЕ точно такой же даунлауд менеджер как например flashget, с той разницей, что заточен прежде всего на скачивание текстовых файлов (hlml и проч.), связанных между собой (для чего ОЕ анализирует их содержимое) такую же, отличную лишь порядковым номером ключа в конкретном скрипте (за исключением случаев, например, принудительного ограничения доступа к контенту автором сайта, но от этого никакая программа не спасет, поскольку ограничения на стороне сервера, а не клиента (например, браузера или ОЕ); в этих случаях нужно качать медленно, в один поток и с задержками, но даже это не гарантирует успеха без применения мультипрокси, поскольку хитрые авторы сайтов могут легко ввести ограничения на общий объем (количество) открытых страниц на один !P в течение, например, месяца (например, 1000 страниц в месяц и чтобы скачать 100000 страниц за месяц нужно иметь как минимум (при правильных настройках ОЕ) 100 прокси).
Чаще всего проблемы возникают при скачивании части сайтов вследствие органичений проектов, которые юзер "ставит на глаз". Но это в корне неверный подход. Нередко настройка конкретного проекта требует больше времени. чем само его скачивание. Именно вследствие подбора условий при которых скачивается только нужное в полном объеме и ничего лишнего. Если ссылки на сайте не имеют четкой иерархии, то нередко бывает легче скачать весь сайт целиком, чем настраивать на скачивание только нужного. Например, если все страницы сайта имеют сквозную нумерацию (или вообще абстрактную для наблюдателя, типа хэшэй) независимо от раздела, да еще и вперемежку.
...?id=xxx (только пример). Тогда невозможно ограничить раздел, не затрагивая другие, поскольку ссылки в разделе могут быть как на сам раздел так и на другие разделы, а глубина ссылок может быть произвольной (часть страниц могут быть доступны только с других страниц, а не из оглавления раздела).
Глубиной ссылок (более 2) практически невозможно регулировать уровень скачивания современных сайтов. Прямая аналогия имеет место среди людей:
для цивилизованных людей практически правило, что все люди знают всех людей через 4 человека (то есть, например, вы знаете Путина, максимум, через 4 человека, которые последовательно знакомы. Для иллюстрации: например вы - слесарь за заводе, но у вас есть сын студент, который учится в университете и работает в лаборатории у профессора, который знаком с деканом факультета, который в свою очередь знаком с ректором университета, который периодически встречается с Путиным. Аналогично можно найти вашу связь, например, с Трампом. С глубиной ссылок примерно тоже самое: каждый уровень, как правило, повышает охват страниц гиперболически.
Настраивать ограничения нужно методом от обратного: сначала разрешить все и запустить скачивание наблюдая очередь файлов на скачивание. Остановить скачивание. Проанализировать очередь найти закономерности нужных и ненужных ссылок. Закономерности преобразовать в правила и ограничения скачивания. Перезапустить проект с НУЛЯ (удалив все файлы). Снова остановить, когда в очереди появятся ненужные ссылки. Снова проанализировать и найти закономерности. Исправить правила и ограничения проекта. Снова запустить с НУЛЯ... И так далее, пока в очереди не перестанут появляться ненужные ссылки на скачивание.
Поэтому нередки случаи, когда проще тупо составить список разрешенных страниц (в том числе и с применением переменных, как позволяет OE, чем подбирать запреты на скачивание.
Нужна практика. ОЕ - не панацея для легкой реализации хотелок, а инструмент автоматизации того, что можно сделать и вручную. Но не более того. Если вы не можете вручную (анализируя ссылки, а не просматривая каждую страницу) скачать нужное вручную, то и OE не поможет, кроме случая скачивания сайта целиком. |
