DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет!   Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??   В общем совсем запутался, прошу помощи!!! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004

8AleX8 Advanced Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору DVDMaster Класть robots.txt нужно в корень веб сайта. В тжоем случае в  /htdocs . Пути в  robots.txt прописывать относительно тогоже корня. Чтоб закрыть папку /htdocs/temp/ пиши Disallow: /temp/ Дополнительная информация в гугле robots.txt Всего записей: 1813 | Зарегистр. 11-12-2001 | Отправлено: 10:42 30-01-2004

DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору 8AleX8 Спасибо! Я так и думал просто хотел удостовериться.   Спасибо всем! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 17:22 30-01-2004

TheBat Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Господа, недавно тоже возникло несколько вопросов по работе с этим файлом. Воспользуюсь случаем и спрошу.   С точки зрения промоутера, как должен выглядить этот файл? Может кто-нибудь кинет листинг? ---------- Скачать iTunes iTunes - да, он лучший :) Скорая помощь и перевозка больных! Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 18:35 01-02-2004

Artemyev_Maksim WANTED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Закрыть от ботов то, что не надо индексировать (например папку с img'ами) и если есть форум. ---------- Всего записей: 529 | Зарегистр. 15-06-2002 | Отправлено: 22:47 01-02-2004

TheBat Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: если есть форум Почему форум? Ко мне до 100 чел заходят по запросам с форума. ---------- Скачать iTunes iTunes - да, он лучший :) Скорая помощь и перевозка больных! Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 00:16 02-02-2004

3xp0 Moderator Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Имхо пусть лучше везде на форум напарываются Представьте если на руборде так сделать - тут же всевозможные ключевые слова есть... только так лезть будут Всего записей: 6398 | Зарегистр. 22-09-2002 | Отправлено: 05:13 04-02-2004

TheBat Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Имхо пусть лучше везде на форум напарываются А почему бы и нет? ---------- Скачать iTunes iTunes - да, он лучший :) Скорая помощь и перевозка больных! Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 11:56 05-03-2004

Artemyev_Maksim WANTED Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Чем меньше на сайте страниц - тем он быстрее индексируется. С точки зрения оптимизатора это намного важнее, чем случайные пользователи. ---------- Всего записей: 529 | Зарегистр. 15-06-2002 | Отправлено: 10:26 06-03-2004

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Artemyev_Maksim Цитата: Чем меньше на сайте страниц - тем он быстрее индексируется.     И тем по меньшему количеству слов в поисковиках ищется Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:58 07-03-2004

TheBat Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Чем меньше на сайте страниц - тем он быстрее индексируется Artemyev_Maksim Как ты думаешь, какое количество страниц оптимально? Цитата: И тем по меньшему количеству слов в поисковиках ищется   Но ведь это и не важно, если набор ключевых фраз определён и поисковики по этим запросам выводят твой сайт в первой тройке. Иногда бывает достаточно нескольких запросов, чтобы извлечь из поискового трафика прибыль. ---------- Скачать iTunes iTunes - да, он лучший :) Скорая помощь и перевозка больных! Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 01:14 09-03-2004

GOODmen Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору недавно меня взволновал один вопрос - можно ли закрыть ентот файл от просмотра снаружи?, то есть чтобы никто кроме роботов его не прочитал. Пример - есть секретные директории, в файле я запретил их индексировать, роботы не заходят, но любой желающий может прочесть роботс.тхт и узнать что такие диры есть и может быть возымеет желание взломать их, вдруг там чего есть интересного?. Вот такой вот вопрос. Всего записей: 366 | Зарегистр. 15-01-2004 | Отправлено: 10:26 28-10-2004

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору lex377 Цитата: User-Agent: *   Disallow: index.php?k=mypage     Да   Цитата: Здравый смысл подсказывает, что ничего не получится...     Получится.     Если ты запрещаешь   Disallow: index.php   то запретится все, что начинается с index.php то есть и  index.php?k=mypage и  index.php?k=mypage&fignya=fignia_i_est тоже.   Цитата:  пауки лазят только по ссылкам.   Верно.   Цитата: Тогда зачем запрещать индексацию, например, папки /pic/ с img-ами ?     Просто, чтобы снизить нагрузку на сервер, чтобы они не лазали туда и чтобы потом картинки с сайта в Гугле в поиске картинок не появлялись -- опять нагрузка на сайт, когда юзеры по ссылкам пойдут на картинки.   Цитата:  Или, например, папку /admin/ ?   Снизить нагрузку на сервер. Ну, и на робота, если в папке admin/ 1000 файлов (при условии, что на них есть где-то ссылки) и на все нужен авториз, то робот будет делать 1000 запросов и получать 1000 страниц вида: "Нужна авторизация, регись иди". И самое интересное, что эти страницы он проиндексит И потом выдавать будет Правда. Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:45 12-01-2005

GOODmen Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Имхо, если нужно, из папки admin лучше сделать самодостаточный поддомен без внешних ссылок, что обсуждалось ранее Всего записей: 366 | Зарегистр. 15-01-2004 | Отправлено: 10:23 13-01-2005

lynx Advanced lynx Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору lex377 Цитата: Дык к этой папке нигде внешних ссылок не стоит!   А внутренних? Лучше один раз поставить запрет на индексацию, чем потом с ужасом думать, не оставил ли ты где ссылку на одну из страниц в этой папке.   Впрочем, хозяин - барин.   Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 19:52 13-01-2005

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование