DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет!   Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??   В общем совсем запутался, прошу помощи!!! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору nazarkat ссылку дайте то ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 21:47 13-01-2012

nikolayzoom Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору стоит ли для роботса ставить специально агента яндекс или все же по умолчанию User-Agent: *  лучший вариант? Всего записей: 23 | Зарегистр. 19-12-2011 | Отправлено: 19:21 18-01-2012

djimirji Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Цитата: Подскажите, опытные вебмастера, а зачем закрывать от индексации картинки с помощью robots.txt? Впринцыпе не зачем. Но если ты хочешь скрыть от поисковика данные , в том числе и картинки, то стоит закрывать. ---------- Рекламные акции, конкурсы и викторины Всего записей: 280 | Зарегистр. 26-08-2008 | Отправлено: 16:33 25-01-2012

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору nikolayzoom все равно.   azia1 Цитата: а зачем закрывать от индексации картинки с помощью robots.txt? ну, к примеру, если у вас ограничен трафик или не хотите, чтобы они были тоже проиндексированы в сервисах поиска картинок. ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 18:24 25-01-2012

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет! У меня на сайте ссылки типа Цитата: index.php?option=com_jshopping&controller=product&task=view&category_id=81&product_id=452 Так вот мне надо запретить индексировать сайт, где category_id = 81, короче надо указать список этих категорий, которые не нужно индексировать... Подскажите, как сделать такое???   Цитата: Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=81&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=82&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=83&product_id=* Так правильно будет??? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 20:07 06-05-2012 | Исправлено: SphinxSerg, 11:26 07-05-2012

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Цитата: Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=81&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=82&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=83&product_id=*   Ну подскажите, вышеописанным образом можно закрыть индексацию для страниц с разными product_id??? Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 13:41 10-05-2012

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Подниму опять тему... вопрос остался Цитата: Цитата: Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=81&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=82&product_id=* Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=83&product_id=*   Ну подскажите, вышеописанным образом можно закрыть индексацию для страниц с разными product_id??? Яндекс индексирует сейчас непойми что... Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 09:45 15-05-2012 | Исправлено: SphinxSerg, 09:45 15-05-2012

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору SphinxSerg не надоело еще? подъем тем вообще то запрещен. проверьте тут http://webmaster.yandex.ru/robots.xml#results пишет, что Цитата: запрещен правилом ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 09:52 15-05-2012

SphinxSerg Full Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Cheery Цитата: не надоело еще? подъем тем вообще то запрещен. Извиняюсь! Цитата: пишет, что Цитата: запрещен правилом   Так в том то и проблема, что у меня запрещено вроде бы... а оно индексируется(((   Строка: Цитата: Disallow: /index.php?option=com_jshopping&controller=product&task=view&category_id=22&product_id=* А вот проиндексированная страница Цитата: /index.php?option=com_jshopping&controller=product&task=view&category_id=22&product_id=519&Itemid=142 Написано последняя индексация 13,05,2012, а к тому времени уже как неделю лежал robots.txt. Почему он все равно индексирует?   ЗЫ Мне надо, чтобы ссылки где category_id=22 не индексировались... Всего записей: 441 | Зарегистр. 07-07-2004 | Отправлено: 10:53 15-05-2012 | Исправлено: SphinxSerg, 10:56 15-05-2012

NskRonin Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Все здрасти, у меня возник вопрос который я не знаю как решить.   У меня есть страницы   domen.ru/dir/page domen.ru/dir/page/   Это дубли страниц, как исключить из индекса страницы вида "domen.ru/dir/page"?   Уровень вложений меняется и страница может иметь вид domen.ru/dir1/dir2/page, domen.ru/dir1/dir2/dir3/page и т.д. ---------- Выбери себе работу по душе, и тебе не придется работать ни одного дня в своей жизни. /Конфуций/ Всего записей: 1608 | Зарегистр. 10-05-2007 | Отправлено: 13:16 16-02-2013

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору 19_wm57 вопросы по Joomla задают тут Портал Joomla (часть 2) ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 23:21 21-03-2014

SkyAn Junior Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Я правильно понимаю, если на сайте есть ссылки такого типа /catalog/25486 и /catolog/info_25486 и мне нужна разрешить индексировать только первый ссылки, то текст должен выглядеть таким образом.   User-agent: Googlebot Allow: /catalog/ Disallow: /catalog/info* Всего записей: 132 | Зарегистр. 07-03-2007 | Отправлено: 13:11 08-07-2014

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование