DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет!   Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??   В общем совсем запутался, прошу помощи!!! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004

ra1n Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Всем привет, подскажите кто знает   Сайт проиндексирован в Яндексе без www Надо чтоб с www   Что делать?   Мне поможет добавление строки в роботса: Host: site.ru Если нет, то что делать?   И еще вопрос.   Цитата: Сервер должен возвращать в HTTP-заголовке для robots.txt «Content-Type: text/plain» а, например, не «Content-Type: text/html». Неправильный заголовок может привести к тому, что некоторые роботы не обработают файл. это очень важный момент, стоит менять заголовки на сайте? Всего записей: 328 | Зарегистр. 22-12-2006 | Отправлено: 12:55 23-10-2008

pop2ROOT Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору ra1n Цитата: это очень важный момент, стоит менять заголовки на сайте? здесь все очень просто - robots.txt должен быть текстовым файлом, вот и все, менять ничего нигде не надо. ---------- Купить биткоин, Ethereum и другие альткоины Всего записей: 8945 | Зарегистр. 13-09-2004 | Отправлено: 15:12 23-10-2008

ra1n Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору pop2ROOT я про заголовки html страниц...   А что по поводу www??? Не можешь подсказать? Всего записей: 328 | Зарегистр. 22-12-2006 | Отправлено: 08:22 24-10-2008

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору ra1n Это делается не в robots.txt.   Чтобы сайт был с www, нужно сделать 301 редирект. Как это сделать? Например, используя .htaccess. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15962 | Зарегистр. 04-05-2003 | Отправлено: 08:45 24-10-2008

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору mouser Цитата: подскажите что и как правильно сделать чтоб подобного не случалось Нужно оптимизировать скрипты. Скорее всего в каком-то месте происходит зависание. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15962 | Зарегистр. 04-05-2003 | Отправлено: 12:13 05-02-2009

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору mouser Смотреть по логам страницы, к которым обращается робот. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15962 | Зарегистр. 04-05-2003 | Отправлено: 12:59 05-02-2009

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору mouser Забанить робота Яндекса по IP, но это не только не решит проблему со скриптом, но и приведёт к тому, что сайт выпадет из индекса. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15962 | Зарегистр. 04-05-2003 | Отправлено: 17:15 05-02-2009

djimirji Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору У меня такой вопрос : Можно ли закрыть от индексации исходящие ссылки? Тоесть есть ссылка которая активна и видна пользователю, но робот ее игнорирует.   Возможно ли такое методом robots.txt или возможно какими то програмными методами? ---------- Рекламные акции, конкурсы и викторины Всего записей: 280 | Зарегистр. 26-08-2008 | Отправлено: 13:53 22-05-2009

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору djimirji Через robots.txt не получится.   Есть следующие решения:   1) Исходящие ссылки можно поместить между тегами <noindex></noindex>, например: Код:   <noindex><a href="http://forum.ru-board.com/">Форум Ru.Board</a></noindex>     2) В теге <a> указать rel="nofollow", например: Код:   <a href="http://forum.ru-board.com/" rel="nofollow">Форум Ru.Board</a>   ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15962 | Зарегистр. 04-05-2003 | Отправлено: 14:16 22-05-2009 | Исправлено: PEDKA, 14:17 22-05-2009

djimirji Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору PEDKA, подойдет, спасибо Всего записей: 280 | Зарегистр. 26-08-2008 | Отправлено: 14:22 22-05-2009

Rendel Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Спасиб, интересная инфа, пошел пробовать Всего записей: 102 | Зарегистр. 26-03-2006 | Отправлено: 05:36 29-05-2009

Cmaster2K Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Подскажите а в какой кодировке должен быть этот файл... На других сайтах об этом упоминается но ни чего конкретного нет. Всего записей: 157 | Зарегистр. 28-11-2008 | Отправлено: 22:49 23-02-2010 | Исправлено: Cmaster2K, 22:50 23-02-2010

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Cmaster2K Цитата: Подскажите а в какой кодировке должен быть этот файл... В интернете об этом упоминается но ни чего конкретного нет. вы же не собираетесь использовать там что то помимо ASCII символов? ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 22:50 23-02-2010

Cmaster2K Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Я на одном сайте читал что нужно в кодировке Unix, на втором что в Unicode, иначе работать не будет. Всего записей: 157 | Зарегистр. 28-11-2008 | Отправлено: 22:53 23-02-2010 | Исправлено: Cmaster2K, 11:24 24-02-2010

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Cmaster2K Цитата: Я на одном сайте читал что нужно в кодировке Unix что такое "кодировка Unix"????? вы, по моему, не совсем понимаете то, что читаете пишите в обычной ISO кодировке используя только ASCII символы ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 23:11 23-02-2010

Cmaster2K Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: "кодировка Unix"????? * текстовый формат Всего записей: 157 | Зарегистр. 28-11-2008 | Отправлено: 23:28 23-02-2010 | Исправлено: Cmaster2K, 09:52 27-02-2010

Cmaster2K Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Короче - писать нужно в обычной ASCII, а символ перевода строки должен быть в формате Unix. Всего записей: 157 | Зарегистр. 28-11-2008 | Отправлено: 11:19 24-02-2010

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование