lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Столкнулась с тем, что безбожно скачивают сайт, а это здорово грузит сервер. Буквально моей крохе (серверу) хватает одного подключившегося с качалкой (при том, что у меня органичение на число соединений с одного IP), как swapinfo  показывает, что вместо обычных 10% своп израсходован на 50-60 %, при этом сервер сильно тормозит.   В числе прочих действий, я запретила скачивать качалками скрипты. Для этого не понадобилось даже устанавливать дополнительные модули, все решилось модулем mod_setenvif, который идет с Apache-ем по дефолту.   Для тех, у кого он отсутствует, строки в httpd.conf для него такие (пути должны быть ваши):   LoadModule setenvif_module    libexec/apache/mod_setenvif.so AddModule mod_setenvif.c     Далее определяем User-Agent посетителя и если он соотвествует юзер-агенту качалок, то запрещаем отдачу ресурса.   Мне нужно было закрыть от скачки скрипты, поэтому мой код выглядит так:       SetEnvIf User-Agent ^Teleport getout SetEnvIf User-Agent ^Offline  getout SetEnvIf User-Agent ^DISCo getout       Order deny,allow     Deny from all env=getout     Allow from all       Это можно прописать в .htaccess, или в httpd.conf, в последнем случае так:   SetEnvIf User-Agent ^Teleport getout SetEnvIf User-Agent ^Offline  getout SetEnvIf User-Agent ^DISCo getout <Directory ...>     Order deny,allow     Deny from all env=getout     Allow from all </Directory>     Документация по модулю mod_setenvif   http://httpd.apache.org/docs/mod/mod_setenvif.html#setenvif -- Apache 1.3.x http://httpd.apache.org/docs-2.0/mod/mod_setenvif.html#setenvif  -- Apache 2.x   Документация по директиве SetEnvIf   http://httpd.apache.org/docs/mod/mod_setenvif.html#setenvif -- Apache 1.3.x http://httpd.apache.org/docs-2.0/mod/mod_setenvif.html#setenvif  -- Apache 2.x     Список большого числа User-agent-ов: http://www.webmasterworld.com/forum11/1084.htm (будьте внимательны, не все советы того форума правильные)     Обзор менеджеров закачек Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 06:46 24-06-2003 | Исправлено: lynx, 06:48 24-06-2003

VoSi Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору а что мешает изменить юзер агента??? в том же телепорте такое возможно! реально можно какт-о испортить жизнь качкам л,ишь по методу запрета частых просмотров с одного айпи! хотя ,если просмотр через прокси ... из-под большой локали, но и тут можно определить внутрисетевой айпишник ... если прокся говорит его... блин ... я и сам уже запутался ... витзде подводные камни %) Всего записей: 212 | Зарегистр. 08-12-2002 | Отправлено: 21:28 09-07-2003

mymuss Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Действительно, не проблема подменить User-Agent. Раз уже стоит ограничение на кол-во одновременных коннектов с Ай-Пи, может, стоит это ограничение уменьшить?   Хорошая идея производить такой-себе статистический анализ кол-ва запросов / ед. времени, ну и ограничивать его соответственно. А для проксей можно использовать механизм сессий, т.е. генерировать в куки уникальный идентификатор и ограничивать исходя из него а не из IP.   Вот только если посчитать время убитое на реализацию подобной системы... Апгрейд обойдется дешевле ---------- (a + b^n) / n = x, donc Dieu existe; répondez ! Euler Всего записей: 709 | Зарегистр. 13-04-2003 | Отправлено: 00:12 10-07-2003

VoSi Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору если куки отключены ... пол общаги в КПИ (покрайнемере ФИВТовской) поотключали в броузерах все что можно ... (это я к примеру) ... и как ты будешь ограничивать тогда против качков в этом случае,??? хотя по статистике больше юзеров юзают вкл куки... ноооо Всего записей: 212 | Зарегистр. 08-12-2002 | Отправлено: 01:46 10-07-2003

VoSi Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору давайте в этом топике кидать рассуждения на сабж ... авось придумаем чегото такое ... что уже будет нелегко продвинутым юзерам обойти?!!!! вместе всегда легче!   Всего записей: 212 | Зарегистр. 08-12-2002 | Отправлено: 17:34 10-07-2003

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору VoSi   Цитата: а что мешает изменить юзер агента???   Ничего не мешает, но опыт показывает, что часто этого не делают. Это не панацея, а еще один барьер. У меня работает - уменьшает число скачивающих (не все могут догадаться поменять юзер агент раз, либо сморя ошибку, понимают, что им не надо скачивать скрипты, и отваливают, два)   Все у меня работает, но вот есть менеждер   Цитата:   80.*.*.18 - - [21/Jul/2003:13:45:23 +0700] "GET /cgi-bin/ib/printpage.cgi?forum=6&topic=48 HTTP/1.0 " 200 9064 "**/cgi-bin/ib/topic.cgi?forum=6&topic=48" "Teleport Pro/1.29"   Его не победить, хоть и в логах есть юзер-агент, вот настройки:   <Directory "/usr/home/site/wwwsite1/cgi-bin/">   Options Includes ExecCGI   SetEnvIf User-Agent ^Teleport getout SetEnvIf User-Agent ^Offline  getout SetEnvIf User-Agent ^DISCo getout       Order deny,allow     Deny from all env=getout     Allow from all </Directory>     Дажене знаю, что делать. Оффлайн Экспрорером тестила - все ОК. Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 12:47 21-07-2003 | Исправлено: lynx, 12:48 21-07-2003

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору djelektronik   Мне не надо другой способ решения того, что должно работать, надо понять причину, почему это не работает. Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 13:12 21-07-2003

liks Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору lynx   Цитата: Для тех, у кого он отсутствует, строки в httpd.conf для него такие (пути должны быть ваши):   LoadModule setenvif_module libexec/apache/mod_setenvif.so   AddModule mod_setenvif.c   У меня нет такого мудуля в Апаче (Win), где его можно взять?   Цитата:   Далее определяем User-Agent посетителя   и если он соотвествует юзер-агенту качалок, то запрещаем отдачу ресурса.   Мне нужно было закрыть от скачки скрипты, поэтому мой код выглядит так:     SetEnvIf User-Agent ^Teleport getout   SetEnvIf User-Agent ^Offline getout   SetEnvIf User-Agent ^DISCo getout     Order deny,allow   Deny from all env=getout   Allow from all     В каом месте httpd.conf это надо прописывать?   Цитата:   Это можно прописать в .htaccess, или в httpd.conf       А как это сделать в .htaccess и если надо запретить скачивать качалками не только скрипты скрипты, но и архив или html?   Всего записей: 55 | Зарегистр. 09-04-2002 | Отправлено: 01:41 15-09-2003

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору liks   Цитата: У меня нет такого мудуля в Апаче (Win), где его можно взять?     Вообще-то странно - он идет по дефолту.   Какая версия Апача то?   Для 2.х: http://httpd.apache.org/docs-2.1/en/mod/mod_setenvif.html   Для 1.3.х: http://httpd.apache.org/docs/mod/mod_setenvif.html     А почему ты решил, что его у тебя нету?     Для 1.3.х: В папочке Апача в директории /modules в поддиректории   standard/ найди файл: mod_setenvif.c   Для 2.х: modules/mod_setenvif.so     Эту строчку:   Цитата: LoadModule setenvif_module libexec/apache/mod_setenvif.so     Для 1.3.х не надо писать. Только эту: AddModule mod_setenvif.c   Затем лучше написать так:   Код:   <IfModule mod_setenvif.c>   и дальше, что надо   </IfModule>           Цитата: В каом месте httpd.conf это надо прописывать?   В той директории, которую ты хочешь запретить выкачивать качалками. Например в DocumentRoot - это для всего сайта тогда будет.   то есть: Код:   DocumentRoot "дира" <Directory "дира"> #Пошли установки: <IfModule mod_setenvif.c>   и дальше, что надо   </IfModule> .... </Directory>         Цитата: А как это сделать в .htaccess и если надо запретить скачивать качалками не только скрипты скрипты, но и архив или html?     Положить .htaccess в корень сайта.   В .htaccess не пиши <Directory ...> Пишет сразу установки:   Код: SetEnvIf User-Agent ^Teleport getout   SetEnvIf User-Agent ^Offline getout   SetEnvIf User-Agent ^DISCo getout     Order deny,allow   Deny from all env=getout   Allow from all       Добавлено Цитата: Эту строчку:       Цитата: LoadModule setenvif_module libexec/apache/mod_setenvif.so         Для 1.3.х не надо писать.     В смысле если для Винды - то не надо. Весь пример выше в первом посте - на Никсах ессно.   Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 03:40 15-09-2003

Aleksanders Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Как вариант, могу предложить автоматическую замену по маске во всех файлах сайта ссылок http://итд на ссылки javascript:... А, кроме того, если сайт небольшой, выложить его в архивчике (zip, rar, rar-sfx, tgz... или любом другом, по вкусу). Ну и пусть радуются. ---------- LINUX = Linux Is Not a UniX Всего записей: 1428 | Зарегистр. 07-07-2002 | Отправлено: 06:13 15-09-2003

liks Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Aleksanders Цитата: Как вариант, могу предложить автоматическую замену по маске во всех файлах сайта ссылок http://итд  на ссылки javascript:...   Хотелось бы попробовать. Цитата: А, кроме того, если сайт небольшой... В том то и дело, что сайт большой, несколько тысяч файлов (html), вот и хочется или запретить качать качалками или ограничить коннект с одного ip.   Добавлено lynx Цитата: А почему ты решил, что его у тебя нету?   Для 1.3.х:   В папочке Апача в директории /modules в поддиректории   standard/ найди файл: mod_setenvif.c   Искал, поэтому и говорю, у меня в Апаче только /modules и все, standard нету. Всего записей: 55 | Зарегистр. 09-04-2002 | Отправлено: 21:57 15-09-2003

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору liks   Цитата: А почему ты решил, что его у тебя нету?     Для 1.3.х:   В папочке Апача в директории /modules в поддиректории   standard/ найди файл: mod_setenvif.c     Искал, поэтому и говорю, у меня в Апаче только /modules и все, standard нету.   Поставь версию посвежей. Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 02:25 16-09-2003

liks Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору djelektronik Цитата: если сайт большой то имеет смысл писать на диск и продавать Продавать не получится, это по работе надо, но народ, что бы лишний раз не заходить на сайт, желает иметь все у себя на рабочем месте и так повторяется после каждого обновления информации на сайте. Всего записей: 55 | Зарегистр. 09-04-2002 | Отправлено: 06:35 16-09-2003

Страницы: 1 2

Компьютерный форум Ru.Board » Компьютеры » В помощь системному администратору » Apache: запрещаем скачивать сайт менеджерами закачек

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование