Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5

Открыть новую тему     Написать ответ в эту тему

DVDMaster



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Привет!
 
Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??
 
В общем совсем запутался, прошу помощи!!!

Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004
8AleX8



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DVDMaster
Класть robots.txt нужно в корень веб сайта. В тжоем случае в  /htdocs .
Пути в  robots.txt прописывать относительно тогоже корня.
Чтоб закрыть папку /htdocs/temp/ пиши Disallow: /temp/
Дополнительная информация в гугле robots.txt

Всего записей: 1813 | Зарегистр. 11-12-2001 | Отправлено: 10:42 30-01-2004
Svarga

Moderator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DVDMaster

Цитата:
Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет,  

http://www.yandex.ru/info/webmaster2.html#robots


----------
away.

Всего записей: 4161 | Зарегистр. 25-06-2002 | Отправлено: 14:07 30-01-2004
DVDMaster



Newbie
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
8AleX8
Спасибо! Я так и думал просто хотел удостовериться.
 
Спасибо всем!

Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 17:22 30-01-2004
TheBat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Господа, недавно тоже возникло несколько вопросов по работе с этим файлом. Воспользуюсь случаем и спрошу.
 
С точки зрения промоутера, как должен выглядить этот файл? Может кто-нибудь кинет листинг?

----------
Скачать iTunes iTunes - да, он лучший :)
Скорая помощь и перевозка больных!

Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 18:35 01-02-2004
Artemyev_Maksim



WANTED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Закрыть от ботов то, что не надо индексировать (например папку с img'ами) и если есть форум.

----------

Всего записей: 529 | Зарегистр. 15-06-2002 | Отправлено: 22:47 01-02-2004
TheBat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
если есть форум

Почему форум? Ко мне до 100 чел заходят по запросам с форума.

----------
Скачать iTunes iTunes - да, он лучший :)
Скорая помощь и перевозка больных!

Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 00:16 02-02-2004
3xp0



Moderator
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Имхо пусть лучше везде на форум напарываются
Представьте если на руборде так сделать - тут же всевозможные ключевые слова есть... только так лезть будут

Всего записей: 6380 | Зарегистр. 22-09-2002 | Отправлено: 05:13 04-02-2004
TheBat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Имхо пусть лучше везде на форум напарываются

А почему бы и нет?

----------
Скачать iTunes iTunes - да, он лучший :)
Скорая помощь и перевозка больных!

Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 11:56 05-03-2004
Artemyev_Maksim



WANTED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Чем меньше на сайте страниц - тем он быстрее индексируется. С точки зрения оптимизатора это намного важнее, чем случайные пользователи.

----------

Всего записей: 529 | Зарегистр. 15-06-2002 | Отправлено: 10:26 06-03-2004
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Artemyev_Maksim

Цитата:
Чем меньше на сайте страниц - тем он быстрее индексируется.  

 
И тем по меньшему количеству слов в поисковиках ищется

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:58 07-03-2004
TheBat



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
Чем меньше на сайте страниц - тем он быстрее индексируется

Artemyev_Maksim
Как ты думаешь, какое количество страниц оптимально?
Цитата:
И тем по меньшему количеству слов в поисковиках ищется  


Но ведь это и не важно, если набор ключевых фраз определён и поисковики по этим запросам выводят твой сайт в первой тройке. Иногда бывает достаточно нескольких запросов, чтобы извлечь из поискового трафика прибыль.

----------
Скачать iTunes iTunes - да, он лучший :)
Скорая помощь и перевозка больных!

Всего записей: 802 | Зарегистр. 17-12-2002 | Отправлено: 01:14 09-03-2004
GOODmen



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
недавно меня взволновал один вопрос - можно ли закрыть ентот файл от просмотра снаружи?, то есть чтобы никто кроме роботов его не прочитал. Пример - есть секретные директории, в файле я запретил их индексировать, роботы не заходят, но любой желающий может прочесть роботс.тхт и узнать что такие диры есть и может быть возымеет желание взломать их, вдруг там чего есть интересного?. Вот такой вот вопрос.

Всего записей: 366 | Зарегистр. 15-01-2004 | Отправлено: 10:26 28-10-2004
medick

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GOODmen
Есть два способа. Первый - определять по User Agent, но его можно без труда подделать. Другой способ - составь диапазон ip-адресов наиболее популярных поисковиков, и при обращении к robots.txt проверяй, принадлежит ли ip клиента к списку разрешенных.
 
Ну а самый простой выход конкретно из твоей ситуации - убери из файла строки с запрещенными директориями. Сам подумай, если на них нигде нет ссылок, то и пауки не узнают об их существовании.

Всего записей: 44 | Зарегистр. 26-07-2004 | Отправлено: 00:05 29-10-2004 | Исправлено: medick, 00:07 29-10-2004
lex377

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вопрос по сабжу.
 
Сайт на php. Урлы к страницам типа index.php?k=mypage
Как запретить в robots.txt индексацию этих страниц?
Типа так чтоли?:
User-Agent: *
Disallow: index.php?k=mypage
Здравый смысл подсказывает, что ничего не получится...
 
Еще один вопросик. Как я понимаю, пауки лазят только по ссылкам. Тогда зачем запрещать индексацию, например, папки /pic/ с img-ами ? Или, например, папку /admin/ ?

Всего записей: 80 | Зарегистр. 19-10-2004 | Отправлено: 17:19 12-01-2005
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lex377

Цитата:
User-Agent: *  
Disallow: index.php?k=mypage  

 
Да
 

Цитата:
Здравый смысл подсказывает, что ничего не получится...  

 
Получится.
 
 
Если ты запрещаешь
 
Disallow: index.php
 
то запретится все, что начинается с index.php то есть и  index.php?k=mypage и  index.php?k=mypage&fignya=fignia_i_est тоже.
 

Цитата:
 пауки лазят только по ссылкам.

 
Верно.
 

Цитата:
Тогда зачем запрещать индексацию, например, папки /pic/ с img-ами ?  

 
Просто, чтобы снизить нагрузку на сервер, чтобы они не лазали туда и чтобы потом картинки с сайта в Гугле в поиске картинок не появлялись -- опять нагрузка на сайт, когда юзеры по ссылкам пойдут на картинки.
 

Цитата:
 Или, например, папку /admin/ ?

 
Снизить нагрузку на сервер. Ну, и на робота, если в папке admin/ 1000 файлов (при условии, что на них есть где-то ссылки) и на все нужен авториз, то робот будет делать 1000 запросов и получать 1000 страниц вида: "Нужна авторизация, регись иди". И самое интересное, что эти страницы он проиндексит И потом выдавать будет Правда.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:45 12-01-2005
GOODmen



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Имхо, если нужно, из папки admin лучше сделать самодостаточный поддомен без внешних ссылок, что обсуждалось ранее

Всего записей: 366 | Зарегистр. 15-01-2004 | Отправлено: 10:23 13-01-2005
lex377

BANNED
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Снизить нагрузку на сервер. Ну, и на робота, если в папке admin/ 1000 файлов (при условии, что на них есть где-то ссылки) и на все нужен авториз, то робот будет делать 1000 запросов и получать 1000 страниц вида: "Нужна авторизация, регись иди". И самое

Дык к этой папке нигде внешних ссылок не стоит! Робот ведь вообще не должен ее обраружить, если он по ссылкам лазит.

Всего записей: 80 | Зарегистр. 19-10-2004 | Отправлено: 12:11 13-01-2005
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lex377

Цитата:
Дык к этой папке нигде внешних ссылок не стоит!

 
А внутренних? Лучше один раз поставить запрет на индексацию, чем потом с ужасом думать, не оставил ли ты где ссылку на одну из страниц в этой папке.  
Впрочем, хозяин - барин.
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 19:52 13-01-2005
Nedovolnyi

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Если я запрещу в robots.txt индексирование сайта по старому адресу  
User-Agent: *  
Disallow: /  
то поисковики выкинут старый адрес из своих индексов или кроме как подать заявку поисковику на отмену индексации обязательно удалять и файлы?

Всего записей: 35 | Зарегистр. 01-10-2004 | Отправлено: 20:08 28-02-2005
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.Board
© Ru.Board 2000-2020

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru