DVDMaster Newbie Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору Привет!   Никак не пойму, где должен лежать файл robots.txt, то ли в самом корне, то ли в папке /htdocs/? Если кладу в корень то проверка файла robots.txt на Яндексе говорит что его нет, значит должен лежать в /htdocs/, тогда вопрос откуда задавать путь из корня или из /htdocs/? Т.е. если мне нужно закрыть папку /htdocs/temp/, какой путь в robots.txt нужно указать /htdocs/temp/ или просто /temp/, т.к. файл robots.txt лежит в /htdocs/??   В общем совсем запутался, прошу помощи!!! Всего записей: 20 | Зарегистр. 16-08-2003 | Отправлено: 03:46 30-01-2004 | Исправлено: lynx, 17:52 25-02-2004

pop2ROOT Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору народ, как из двух хостов 1) с www, 2) без www указать основной? Host: www.maxthon.org.ru - это будет считаться основным или наоборот, не будет? я че-то попутался.. ---------- Купить биткоин, Ethereum и другие альткоины с банковской карты (лучшая белая биржа) Всего записей: 8945 | Зарегистр. 13-09-2004 | Отправлено: 15:22 19-10-2007

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору pop2ROOT Нужно делать не в robots.txt, а указывать в .htaccess 301 редирект (Moved Permanently) ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15958 | Зарегистр. 04-05-2003 | Отправлено: 02:23 20-10-2007

6epcepk Silver Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору grika Да. ---------- comming soon.. Всего записей: 2603 | Зарегистр. 02-05-2003 | Отправлено: 18:09 09-04-2008

Poman33 Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Такой вот вопрос. На хостинге сидят 3 домена (2 osCommerce магазина + WordPress). В корневой папке хостинга я создал три папки, т.е. директория для каждого доменного имени. 2 магазина я еще не доделал и хочу чтобы роботы не индексировали их, а вот Блог наоборот, хочу разрешить для индексации. Что мне сделать, в каждую папку залить свой robots.txt, или положить его в корневую папку хостинга, но как его настроить под мои требования?   Хостинг > osCommerce (1) > Файлы движка             > osCommerce (2) > Файлы движка             > WordPress         > Файлы движка Всего записей: 15 | Зарегистр. 14-04-2006 | Отправлено: 14:10 26-04-2008 | Исправлено: Poman33, 14:11 26-04-2008

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Poman33 Файл robots.txt должен лежать по адресу http://www.example.com/robots.txt. Таким образом, если у тебя три домена, то файлов robots.txt должно быть три, каждый из которых должен лежать в корневой папке домена. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15958 | Зарегистр. 04-05-2003 | Отправлено: 14:15 26-04-2008

BETA237 Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Да, сложно все это. Особенно для новичка.   А может кто-нибудь выложит пример готового файла Robot.txt?   Буду очень благодарна. Плиз... Всего записей: 14 | Зарегистр. 18-07-2007 | Отправлено: 12:38 02-05-2008

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору BETA237 Цитата: А может кто-нибудь выложит пример готового файла Robot.txt?   http://www.почти_любой_сайт/robots.txt ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 18:55 02-05-2008 | Исправлено: Cheery, 18:55 02-05-2008

BETA237 Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору А я уже обрадовалась ссылке на готовый robot.txt/ А ссылка то не работает. Увы...   Добавлено: Вот я нашла для готовый, выкладываю для примера.   Может кто-нибудь  знающий прокомментировать, что здесь значит каждая строка?   User-agent: * Disallow: /wp- Disallow: /search Disallow: /feed Disallow: /comments/feed Disallow: /feed/$ Disallow: /*/feed/$ Disallow: /*/feed/rss/$ Disallow: /*/trackback/$ Disallow: /*/*/feed/$ Disallow: /*/*/feed/rss/$ Disallow: /*/*/trackback/$ Disallow: /*/*/*/feed/$ Disallow: /*/*/*/feed/rss/$ Disallow: /*/*/*/trackback/$ Disallow: /?s= Disallow: /dogs Disallow: /archives Disallow: /page Disallow: /author Disallow: /2007 Disallow: /category Disallow: /2008 Disallow: /2009 Disallow: /?livehit=   И вот еще один:   User-agent: * Disallow: /cgi-bin Disallow: /wp-admin Disallow: /wp-includes Disallow: /wp-content/plugins Disallow: /wp-content/cache Disallow: /wp-content/themes Disallow: /trackback Disallow: /comments Disallow: /category/*/* Disallow: */trackback Disallow: */comments Disallow: /*?* Disallow: /*? Allow: /wp-content/uploads   # Google Image User-agent: Googlebot-Image Disallow: Allow: /*   # Google AdSense User-agent: Mediapartners-Google* Disallow: Allow: /*   # Internet Archiver Wayback Machine User-agent: ia_archiver Disallow: /   # digg mirror User-agent: duggmirror Disallow: /   # Does anyone care I love Google Apache htaccess   Sitemap: http://www.......com/sitemap.xml   z.AskApache.com/robots.txt User-agent: * Disallow: Allow: /*   User-agent: ia_archiver Disallow: /   User-agent: duggmirror Disallow: /    User-agent: *   Disallow: /cgi-bin   Disallow: /wp-*   Заранее вссем отозвавшимся большое спасибо! Всего записей: 14 | Зарегистр. 18-07-2007 | Отправлено: 20:34 02-05-2008

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору BETA237 Цитата: А ссылка то не работает. Увы.. а читать умеем? заменить "почти_любой_сайт" на адрес почти_любого_сайта в сети. у большинства есть robots.txt ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 20:59 02-05-2008

BETA237 Newbie Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Спасибо, не сообразила. Но все-таки может кто прокомментирует то, что я тут выложила. Сама никак не разберусь, что значит, например Цитата: Disallow: /wp-*   или Цитата: Allow: /*   . Да и все остальное тоже как-то туманно. Всего записей: 14 | Зарегистр. 18-07-2007 | Отправлено: 03:46 03-05-2008

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору BETA237 Цитата: Но все-таки может кто прокомментирует то, что я тут выложила. Сама никак не разберусь, что значит, например почитайте тему с самого начала.. не раз уже говорили что и как. Robots.txt или воспользуйтесь словарем, если не знаете как переводятся английские слова   + http://robotstxt.org.ru/ ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 03:50 03-05-2008

Reborn23 Junior Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Помощь требуется: вылетели страницы из яндекса - причина "дублированный контент".   проблема такая:   есть урл: moisait.ru/friends/   который содержит уникальный контент, но при этом есть еще страницы Всего записей: 60 | Зарегистр. 05-01-2005 | Отправлено: 16:56 01-07-2008

suomifinland Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Ребята, помогите мне , допустим есть сайт www.pupkin.bn.by как написать robot.txt к нему, не смейтесь я совсем чайник... что для этого нужно... Помогите..! ---------- Мы на горе всем буржуям, мировой пожар раздуем... А.Блок. Всего записей: 5258 | Зарегистр. 16-04-2006 | Отправлено: 05:29 09-09-2008 | Исправлено: suomifinland, 05:34 09-09-2008

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору suomifinland Прочитай, что это такое и как его создать: тут, тут или тут. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15958 | Зарегистр. 04-05-2003 | Отправлено: 06:17 09-09-2008

suomifinland Gold Member Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Спасибо большое, я это читала..., но я же просила  поиочь написать..., или просто подсказать, нужен ли он вообще, если я ни чего на сайте запрещать не буду... ---------- Мы на горе всем буржуям, мировой пожар раздуем... А.Блок. Всего записей: 5258 | Зарегистр. 16-04-2006 | Отправлено: 06:47 09-09-2008

PEDKA Улыбающийся КС Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору suomifinland Невнимательно читала. Во втором абзаце по моей первой ссылке написано следующее: Цитата: Сессия начинается с закачки robots.txt сайта, если его нет, он не текстовый или на запрос робота возвращается HTTP-код отличный от '200', считается, что доступ роботу не ограничен. ---------- вот такая вот батва ©... "Тестирование" это давно уже не помойка. "Тестирование" это филиал "Помощи" © Всего записей: 15958 | Зарегистр. 04-05-2003 | Отправлено: 08:32 09-09-2008

Audciz Advanced Member Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору suomifinland А что есть на сайте? Указав в файле определенные папки, ты не запрещаешь доступ посетителям сайта, а только поисковым и прочим роботам. Это актуально, если есть какие-то служебные папки и папки с нетекстовым содержимым, для экономии времени поисковика и нагрузки на сервер.   Добавлено: Cheery Может в шапку добавить ссылки на подробные статьи по сабжу, чтобы людям было удобнее ориентироваться, например: hxxp://robotstxt.org.ru/RobotsExclusion/guide ? Всего записей: 649 | Зарегистр. 13-02-2003 | Отправлено: 18:41 13-09-2008 | Исправлено: Audciz, 18:43 13-09-2008

Cheery .:МордератоР:. Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору Audciz Цитата: Может в шапку добавить ссылки на подробные статьи по сабжу шапка поднята - добавляйте.. и подобные ссылки не надо портить, которые для образования. ---------- Away/DND Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 21:01 13-09-2008

Страницы: 1 2 3 4 5

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Robots.txt

Переход по форумам  Закладки   » Компьютеры Цифровое изображение Программы Microsoft Windows UNIX Другие OS Hardware В помощь сисадмину Прикладное программирование Игры Форумные игры   » Интернет Web-программирование В помощь вебмастеру Графика Хостинг Зацените-ка!   » Тематические Ikonboard v.2 Ikonboard v.3 Invision Board Другие форумы PHP-Nuke и другие порталы Мобила   » Общие Спорт Флейм Темы по региональным встречам Музыка и Кино Юмор Литература и Живопись   » Ru.Board Новости Помощь по форуму   » Андеграунд eBookz Варезник Раздачи и акции Мобильный варезник Андеграунд Игры и фильмы   » Специальные Тестирование