Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Как поисковые боты индексят сайты.

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7

Открыть новую тему     Написать ответ в эту тему

xmaxus



Junior Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Спасибо большое.. Прояснили ситуайию, буду работать...

Всего записей: 133 | Зарегистр. 14-10-2002 | Отправлено: 16:37 19-01-2003
Gumanoid



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
AiK

Цитата:
Когда кажется креститься нужно  

конкретней можно ?

Цитата:
После чего сайт может быть выкинут из базы из-за большого количества дубликатов.  

с чего бы это ?  
что сайты у которых всего одна Индексная страница выкидывают ?

----------
Возмем план и в космос...
Сайт IRC-канала #muravlenko IRC.Muravlenko.ru:6667

Всего записей: 1664 | Зарегистр. 17-01-2002 | Отправлено: 17:37 19-01-2003
Vsevolod



Silver Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Заметил, что яндекс перестал переиндесировать!

----------
Мы ходим по краю бана, но не сдаёмся.
Главное не смотреть вниз!

Всего записей: 2366 | Зарегистр. 13-06-2001 | Отправлено: 20:59 19-01-2003
AiK



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
с чего бы это ?  
что сайты у которых всего одна Индексная страница выкидывают ?

Выкидывают за то, что все страницы одинаковы. Точнее не выкидывают, а вычищают дубли. А это очень болезненный процесс
 
 

Цитата:
конкретней можно ?  

Конкретней - набери в Яндексе robots.txt. Протокол управления поведением роботов. Для этих целей и создан. Уберёшь ограничения - начнёшь жизнь по новой. А вот удастся ли восстановить доверие к сайту после чистки -  вопрос открытый.


----------
Developing.ru

Всего записей: 484 | Зарегистр. 03-01-2002 | Отправлено: 02:18 20-01-2003
Ausw



Moderator
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Так все же не могу понять. Как Яндекс индексит сайты. Просветите несведущему.
 
пример 1.
неисправности принтеров
выводит что надо - каждый полторатый - непосредственное руководство по ремонту, и обслуживанию. пример такой страницы
 
пример 2.
неисправности принтеров струйных
выводит всякую чепуху, в основном предложения купить книжку или фирма "рога и копыта" проводит услуги на ремонт принтеров. все так и лезут со своим услугами каждый думает на чем бы денежку согреть.  


----------
Be High.

Всего записей: 7371 | Зарегистр. 12-07-2001 | Отправлено: 23:21 17-03-2003
Kempo



с Урала...
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Вопрос спецам.
Заранее извиняюсь, если глупость спросил.
 
Вот Вы про индексацию сайтов с фреймами хорошо всё расписали.
А я вот, про SSI "почему-то" сразу вспомнил .  
 
Мне интересно знать, как боты индексят сайты с <!--#include virtual=....
А особенно - со структурами, аналогичными фреймам, когда index.html состоит из одних includes?
 
Например (index.html моего сайта):
<!--#include virtual="_header.html" -->
<!--#if expr="$QUERY_STRING" -->
<!--#include virtual="$QUERY_STRING.html"-->
<!--#else --><!--#include virtual="home.html"-->
<!--#endif -->
И все внутренние ссылки сайта имеют вид index.html?ссылка.
 
Или сервер, при заходе бота, ему тоже всё "в сборе" отдаёт?
Тогда вопрос частично снимается. Но я пока об этом точно не знаю, могу только предполагать.
 
И как в этом случае индексируются остальные файлы контента, лежащие на сервере? У них же нет заголовков совсем, они все в ячейку одной и той же таблицы выводятся?
 
У меня, правда, сделаны проверки (тоже на SSI, на каждой странице), чтобы при попадании на любой файл, минуя сборщик, всё равно всё правильно собиралось. Но вопрос, я считаю, не праздный. Ведь даже в случае, когда бот получает страницу "в сборе", он всегда получает один и тот же <title> и метатеги. Как он на это реагирует?
 
Просветите чайника please
 

Всего записей: 227 | Зарегистр. 06-03-2003 | Отправлено: 14:46 18-03-2003
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Kempo
Вкратце (я уже наизусть эту фразу выучил) - SSI, PHP, Perl и прочие server-based вещи отрабатываются на сервере, ДО отдачи страницы клиенту. Поэтому робот видит то же, что и броузер.  
 
Более развернуто - если хочешь увидеть, что получит робот с твоего сайта - зайди на него lynx`ом. Не принимай куки.  
 
Самый простой способ (если нет доступа к шеллу, например) - идешь сюда - http://www.delorie.com/web/ses.cgi и вводишь адрес сайта.

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 00:21 19-03-2003
Kempo



с Урала...
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Gray
 
Благодарю за информацию.
Остался один вопрос:
Сколько страниц проиндексирует бот и как, если у всех страниц один и тот же <title>, метатеги и вообще половина кода?

Всего записей: 227 | Зарегистр. 06-03-2003 | Отправлено: 05:57 19-03-2003
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Как настроен.. Скорее всего все, так как страницы сравниваются по размерам, дате создания.

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 06:15 19-03-2003
dimokk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Kempo
Индекситься будет все, если у страниц содержимое разное. Подумаешь, что метатеги, заголовки схожи - они ж на одном и том же сайте и в этом следовательно нет ничего удивительного.
 
Cheery
Не верится что-то, что роботы сравнивают страницы по дате создания и размеру. Можно ведь одновременно создать несколько страниц сайта, причем по счастливой случайности у них окажется одиновый размер - что ж теперь, считать их идентичными? Сомневаюсь...

----------
Продвижение сайтов в поисковых системах

Всего записей: 281 | Зарегистр. 15-07-2002 | Отправлено: 09:57 19-03-2003
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Не верится что-то, что роботы сравнивают страницы по дате создания и размеру. Можно ведь одновременно создать несколько страниц сайта, причем по счастливой случайности у них окажется одиновый размер - что ж теперь, считать их идентичными? Сомневаюсь...

Я к тому, что при обновлении данных они сравнивают эти параметры с предыдущим индексом. Если совпадают, значит страница не обновилась.
А для первого индекса - можно сравнивать и по хэшу.

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 21:45 19-03-2003
Ausw



Moderator
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Cheery

Цитата:
так как страницы сравниваются по размерам, дате создания


Цитата:
Я к тому, что при обновлении данных они сравнивают эти параметры с предыдущим индексом. Если совпадают, значит страница не обновилась.  

 
и индексации не произойдет чтоль?
 
чудеса на виражах...
 
а что, если index (да и не только index) файл как парсер рабоает, который не изменяется, а контент меняется через админцентр и выводится посредством mySQL, то что, выносите типа ?    


----------
Be High.

Всего записей: 7371 | Зарегистр. 12-07-2001 | Отправлено: 09:57 20-03-2003
SAshock



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Подскажите новичку.
 
Мне сделали сайт и зарегестрировали его в основных поисковиках и каталогах.
Теперь я начитавшись хочу поменять keywords и description.
Как это сделать?
Просто поменять на сайте, или поменять и перегестрироватся в поисковиках и каталогах?

Всего записей: 240 | Зарегистр. 22-04-2002 | Отправлено: 18:15 26-03-2003
dimokk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
SAshock
меняешь на сайте и ждешь, пока поисковики переиндексируют сайт.

----------
Продвижение сайтов в поисковых системах

Всего записей: 281 | Зарегистр. 15-07-2002 | Отправлено: 18:24 26-03-2003
SAshock



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
dimokk
В каталогах перерегистрировать не надо?
 
И сколько ключевых слов надо -то 10 как пишет  lynx
или чем больше тем лучше?

Всего записей: 240 | Зарегистр. 22-04-2002 | Отправлено: 18:35 26-03-2003
dimokk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
SAshock
в каталогах не надо, имхо
 
ключевых слов? уточни вопрос.

----------
Продвижение сайтов в поисковых системах

Всего записей: 281 | Зарегистр. 15-07-2002 | Отправлено: 18:42 26-03-2003
SAshock



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Я слышал, от тех кто мне делал страницу ,что - "Чем больше ключевых слов тем лучше "
прочитав статью
 lynx
в ней говориться
Цитата:
В keywords`ах должно быть не более 10-ти слов, необходимо использовать варианты (не более трех) наиболее частых падежей и чисел: (например: программы, программ, программа), чередуя их с другими словами (например: программы, софт, программ, варез, программа).  

И у меня сайт, в котором меняеться номенклатура, например сегодня я предлагаю тетради, а завтра еще и блокноты.
т.е. мне надо заранее все прописывать в ключ.словах  
или по мере изменения сайта??

Всего записей: 240 | Зарегистр. 22-04-2002 | Отправлено: 18:53 26-03-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
SAshock
 

Цитата:
 меня сайт, в котором меняеться номенклатура, например сегодня я предлагаю тетради, а завтра еще и блокноты.  

 
Ты в ключевых словах можешь написать хоть авторучки, но если это слово больше в тексте не встречается, то оно не интексируется.
 
Как поступать, если страницы часто меняются? сложно однозначно ответить. Как часто?

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 20:12 26-03-2003
directx



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А как сделать чтобы поисковики (хотя бы Яндекс) не учитывали внешние ссылки (на другие сайты) ?
В robots.txt сказать чтобы не индексировалась директория links?
А если ссылки на разных страницах?
Что если сделать так: ссылки вида /links/go.php?http://forum.ru-board.com, а папку links запретить через robots.txt - будет ли такое работать?

Всего записей: 799 | Зарегистр. 03-11-2001 | Отправлено: 20:15 26-03-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
directx
 

Цитата:
А как сделать чтобы поисковики (хотя бы Яндекс) не учитывали внешние ссылки (на другие сайты) ?  

 
<meta name="robots" content="index,nofollow">
 
 
http://saiteka.ru/docs/robots/
 

Цитата:
В robots.txt сказать чтобы не индексировалась директория links?  

 
И так можно.
 

Цитата:
Что если сделать так: ссылки вида /links/go.php?http://forum.ru-board.com, а папку links запретить через robots.txt - будет ли такое работать?

 
не поняла?

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 20:24 26-03-2003 | Исправлено: lynx, 21:06 26-03-2003
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Как поисковые боты индексят сайты.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

LiteCoin: LgY72v35StJhV2xbt8CpxbQ9gFY6jwZ67r

Рейтинг.ru