lynx
Advanced lynx | Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Хоть тема и старая, но хорошая, потому продолжим 
Итак, Гугл чудно индексирует форумы, Яндекс особо чудно индексирует форумы в зоне .ru и гораздо хуже в отстальных зонах, например *.com.
Но сейчас не об этом, а о том, как сделать так, чтобы посковый робот, пришедший индексировать ваш форум, проиндексировал там именно те страницы, которые содержат полезную информацию, а не страницы вида: "Сюда можно только зарегистрированным", "Гости не могут пользоваться личным ящиком", "У вас нет доступа в этот форум" и т.п.
Что нужно сделать, чтобы поисковый робот не шел по таким ссылкам?
Нужно запретить ему ходить по ним в файле robots.txt. Это служебный файл, который должен лежать в корне сайта, в нем храниться информация именно для роботов.
Подробнее о синтаксисе и других особенностях этого файла в теме:
Robots.txt
Итак, первая строка файла должна быть такой:
Код:
Это указывает, что нижеперечисленные директивы даются всем роботам, а не кому-то одному.
Далее с каждой новой строки (сначала строки) ставится одна (только одна, две и более нельзя) директива о том, что запретить к индексации.
В нашем случае имеет смысл запретить следующее:
Код:
Disallow: /cgi-bin/ikonboard/profile.cgi #профили пользователей - чтобы не индексировались e-mail адреса
Disallow: /cgi-bin/ikonboard/viewip.cgi #просмотр IP, все равно выдаст ошибку
Disallow: /cgi-bin/ikonboard/postings.cgi #редактирование
Disallow: /cgi-bin/ikonboard/ikonfriend.cgi #послать письмо другу
Disallow: /cgi-bin/ikonboard/memberlist.cgi #список участников (если есть и если хотите. Рекомендую).
Disallow: /cgi-bin/ikonboard/messenger.cgi #Личный ящик. Все равно бот не сможет им пользоваться
Disallow: /cgi-bin/ikonboard/misc.cgi #список смайликов - там нечего индексировать, пусть не создает нагрузку на сервер
Disallow: /cgi-bin/ikonboard/whosonline.cgi #просмотр, кто в он-лайн. Все равно постоянно меняется, смысла нет.
Disallow: /cgi-bin/ikonboard/register.cgi #Регистрация. Он точно укажет направильное мыло, лол
Disallow: /cgi-bin/ikonboard/post.cgi #Все равно бот ничего нам постить не будет
Disallow: /cgi-bin/ikonboard/loginout.cgi #Логиниться он тоже не станет
Disallow: /cgi-bin/ikonboard/newposts.cgi #Просматривать новые посты все равно можно только зарегистрированным
Disallow: /cgi-bin/ikonboard/forums.cgi?forum=3 #Тут номер вашего тестового форума, или приватного
Disallow: /cgi-bin/ikonboard/topic.cgi?forum=3 #Аналогично, топики этого форума тоже нечего индексировать
|
Будьте внимательны. Синтаксис файла robots.txt легкий, но строгий.
Можете проверить, правильно ли вы прописали директивы, воспользовавшись одной из служб он-лайновой проверки robots.txt, собранных в теме:
FAQ по раскрутке сайтов:
Цитата:
|
