Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Как поисковые боты индексят сайты.

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7

Открыть новую тему     Написать ответ в эту тему

DimoN



Tech administrator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
batva

Цитата:
ибо ничего же не делано еще, ни мета тегов нихрена.  
пора делать, а то скоро и яндекс с рамблядом доьерутся сюда, по наводке Гугля  

 
А это идея - разные мета таги для каждого форума
 
А может и для каждого топика. Типа из темы слова брать + повторяющиеся

----------
Мы Баним с улыбкой :) ™

Всего записей: 7528 | Зарегистр. 19-04-2001 | Отправлено: 05:05 20-09-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
В конце концов оказалось, что я двадцать минут общался с ботами!!!  

Ну, дожили! А ну признавайтесь, кто тут бот?
А вдруг наш админ тоже бот?

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 14:18 20-09-2001
roma



skydiver
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
DimoN

Цитата:
А может и для каждого топика.

нет, лучше для каждого поста...
lynx

Цитата:
Ну, дожили! А ну признавайтесь, кто тут бот?  
А вдруг наш админ тоже бот?  

все тут боты...
DimoN сразу видно - бот. только боту могла придти в голову сделать разные мета тэги для каждого бота - так ведь для бота удобней.
и админ бот...  иначе зачем ему это? он раскручивае своих соратников, ботов, кого до мембера, кого до адвансед мембера, скоро появятся мега-супер-тренд-аут-бот-мемберы, вот увидишь...
да чуть не забыл - я, тоже, бот...

----------
ну и на кой мне эта подпись?

Всего записей: 2908 | Зарегистр. 10-09-2001 | Отправлено: 14:48 20-09-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
roma
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 16:02 20-09-2001
boa



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Да
Тут такой вопрос есть: index.html содержит только разбиение страници на фреймы, бот воспринимает src="main.html" как ссылку или нет (заходит он на main.html или нет?)???

Всего записей: 163 | Зарегистр. 20-07-2001 | Отправлено: 13:42 22-09-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
boa

Цитата:
index.html содержит только разбиение страници на фреймы

Ой, как это не хорошо, ой, как это боты не любят, ой, дурной тон это...

Цитата:
бот воспринимает src="main.html" как ссылку или нет

Воспримимает, заходит, но без особого желания, с напрягом так. С очень большим.  
Т.е., он может часть страниц проиндексить, а часть нет. Попробуй, настрой качалку сайтов какую-нибудь, там Offline Explorer, например, и качни свой сайт, настрой качалку на глубину 3-4 ссылки. Если все закачалось, есть шанс что и бот пройдет, а коли не, дык не.
 
Бороться так:
1. Радикальный способ - отказаться от фреймов.
2. Если это, ну, никак, после последнего тега </frameset>
пишешь:
<a href="url1.html>Описание url'a1 ключевыми словами</a>
<a href="url2.html>Опиание url'a2 ключевыми словами</a>
<a href="url3.html>Опиание url'a3 ключевыми словами</a>
</html>
 
Но лучше - порви ты эти фреймы. Это уже не модно давно.
 
 
 
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:04 22-09-2001
boa



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Это уже не модно давно

Пусть не модно, но бывает полезно

Всего записей: 163 | Зарегистр. 20-07-2001 | Отправлено: 11:16 23-09-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
boa

Цитата:
бывает полезно  

Из-за навигации? Нужно по-другому ее устраивать. Вообщем, нужно добиваться того, что ты хочешь, другими путями, без фреймов.
 
Вот сейчас пойду и статейку напишу для Батвы "Что такое фреймы и как с ними бороться" А потом продолжение: "Как подружить фреймы с поисковиками", где в главе 1 будет :"Надо было отказаться от фреймов".

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 11:50 24-09-2001
boa



Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ОК с фреймами понятно, теперь другой вопрос: есть такая фраза OnClick="xxx()", а там эта самая ххх() (ххх() в другом файле: ххх.js) генерит и выдает полноценную страницу. Увидит ли это бот???

Всего записей: 163 | Зарегистр. 20-07-2001 | Отправлено: 12:51 24-09-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
boa
Нет. Он этого практически не понимает. Для него эту ссылку нужно дублировать обычной.
Можно, например, в незаметном местечке так:
<a href="url.html"><img src="адрес_однопиксельного_гифа" alt="Ключевые слова" border="0"></a>
 
Тогда он все скушает в лучшем виде.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 21:40 24-09-2001
Guest

BANNED
Редактировать | Цитировать | Сообщить модератору
lynx
 
Ну вот я сюда пришел, как и было сказано, и продолжаем тему про "тупые" статьи. Я не под маской гостя - я и есть гость, зашедший сюда впервые месяц назад по рекомендации коллеги по работе и пока не регистировался (зачем)?
Продолжим. Я не говорю, что ВСЕ статьи там плохие, совсем нет. Просто... не хватает профессионализма у автора упомянутой статьи про индексирование страниц. И я не про технические подробности, а про язык, которым эта статья написана. Люди, просто неприятно читать терминологию типа "разнюхивают" и ей подобное.
Дальше. СТатья про PHP Nuke - вообще непонятно что. Смысл ее можно свести к нескольким словам: "Ну че, пацаны, это круто, замутим"!!! без описания ВООБЩЕ, что этот нюк из себя представляет. Я бы, например, если бы и до этого не знал, не понял бы.
Я совсем не хочу обидеть авторов, нет, ни в коем случае. Они делают нужное и полезное дело, но все же лучше обойтись языком официальным, а не выражениями сопливых тинейджеров. Вы же специалисты и люди серьезные, так и пишите нормальным языком.
И еще одно. Уж очен ьмного орфографических и грамматических ошибок. Глаз цепляется.
Батва, престиж твоего сайта поднимется, если кто-нибудь будет эти ошибки исправлять. Попробуй отыщи их например на www.ixbt.com или на fcenter.ru. Найти при желании можно, но очень редко. Что очень хорошо.

Отправлено: 17:31 01-11-2001
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Guest

Цитата:
И я не про технические подробности, а про язык, которым эта статья написана.  

Так я и знала. Дело в  том, что статья писалась не для публикации. Я еще спрашивала, может, переделать ее.  
Ну, а про слово "Нюхать", это ты зря. Оно уже почти как термин. Просто  поведение робота, когда он принимает решение об индексации/неиндексации, очень похоже именно на принюхивание. По другому и сказать сложно/ненужно.  
Вот тебе ссылка с цитфорума:
http://www.citforum.ru/internet/search/art_1.shtml
Надеюсь, солидное издание?
Цитата оттуда:

Цитата:
 
Lycos обратился к моему серверу, на первый запрос получил, что файла /robots.txt нет, обнюхал первую страницу, и отвалил.  

 
Если народ в Инете начет писать, как раньше в газете "Правда".... будет создан альтернативный Инет, где можно отдохнуть и расслабиться.
 

Цитата:
. Уж очен ьмного орфографических и грамматических ошибок.


А вообще правильно. Уже работаем над исправлением.
Можешь указать на конкретные, если не лень.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 04:52 03-11-2001
batva



crazy administrator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Guest

Цитата:
Дальше. СТатья про PHP Nuke - вообще непонятно что. Смысл ее можно свести к нескольким словам: "Ну че, пацаны, это круто, замутим"!!! без описания ВООБЩЕ, что этот нюк из себя представляет.

 
просто это задумывалось как серия статей.
http://ru-board.com/new/categories.php?op=newindex&catid=2
первой была статья именно про то, что же такое этот php-nuke
 

Цитата:
И еще одно. Уж очен ьмного орфографических и грамматических ошибок. Глаз цепляется.  

спору нет, согласен.
Исправляем по мере возможностей.

Цитата:
Попробуй отыщи их например на www.ixbt.com  или на fcenter.ru. Найти при желании можно, но очень редко. Что очень хорошо.  

там целые конторы работают, со своим штатом.
приходит чья то статья, ее они рецензируют, редактируют, исправляют ошибки.
нам за ними не угнаться и даже не приблизиться.
некоммерческому проекту трудно пробивать дорогу.  
 
не раз мы поднимали темы помощи, но мало кто откликается.
http://forum.ru-board.com/topic.cgi?forum=5&topic=0258#1
мы еще молоды, нам ошибки можно простить.
Еще говорят на ошибках учаться, будем учиться и мы.
Спасибо за рецензию, совсем другой разговор, когда идет обсуждение в нормальном русле, и без слов "отстой и точка"
 
 
Добавлено
что касается стиля и жаргона написания статей, скажу правду, мы пока еще не определились ни с аудиторией ни с тематикой сайта. По большому счету сайт у нас мертвый, его гораздо труднее поддерживать нежели форум.
На форуме жизнь идет сама по себе, там же нужно иметь массу времени желания и сил. Со временем у нас проблема, вся наша команды это люди работающие над сайтом и форумом в свободное от работы/учебы время.
А на одном желании не получается далеко уехать.

Всего записей: 12593 | Зарегистр. 07-01-2001 | Отправлено: 19:38 03-11-2001
DimoN



Tech administrator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Guest

Цитата:
Я совсем не хочу обидеть авторов, нет, ни в коем случае. Они делают нужное и полезное дело, но все же лучше обойтись языком официальным, а не выражениями сопливых тинейджеров. Вы же специалисты и люди серьезные, так и пишите нормальным языком.

Спасибо за конструктивную критику. Будем стараться. Куда нам до Хобота или Ф-центра мы только втали на первую ступеньку. А они уже наверху лестницы.
 
Guest
А ты зарегистрируйся. Может еще когда чего подскажешь. Мы будем рады.

----------
Мы Баним с улыбкой :) ™

Всего записей: 7528 | Зарегистр. 19-04-2001 | Отправлено: 21:41 03-11-2001
Guest

BANNED
Редактировать | Цитировать | Сообщить модератору
Google - С него на мой сайт само много народу приходит, т.к. он по контенту ищет, а не только по meta tags (у меня они буквально на 3х страничках стоят...)

Отправлено: 19:53 13-03-2002
HEKTO



Местный дизайнер
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Guest
что-то ты запоздал немного с ответом...

----------
привет, народ!

Всего записей: 5152 | Зарегистр. 21-07-2001 | Отправлено: 22:37 13-03-2002
AiK



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
А вот и нет. Тестила я твой google. Не ищет он хорошо, что есть в Инете. Неважнецкий у него бот.  

При всём моём уважении к почтеннейшей lynx... ладно, будем считать, что на момент написания этого поста рысёнок ещё была маленькой киской
Дык вот, раз уж этот топик всплыл, довожу до вашего сведения, что бот к результатам выдачи никакого отношения не имеет.
Бот по определению туп - всё, что он делает, это зайдя на сайт он проверяет robots.txt и закачивает содержимое всех страниц, которые стоят в очереди и не запрещены к индексированию.  Уже потом в оффлайне происходит разбор (parsing) html кода и извлечение url для следующего посещения. Процесс построения индексов тоже происходит в оффлайне. И уже в онлайне происходит анализ этих индексов и строятся результаты по запросу пользователя.
У гугля же бот самый интеллектуальный - он обходит ссылки не в абы каком порядке, а в соответствии с убыванием PageRank. С учетом того, что бот гугля собрал больше всех страниц он по определению лучший
Что же касается результатов поиска, то Гугль не соперник Яндексу по рунету, т.к. при поиске не учитываются словоформы. Если же искать англоязычный контент, то Яндекс просто несеръёзен - только совсем недавно он стал индексировать первый слой страниц с импортных доменов. Качество же поиска  сравнить  не удастся, т.к. полнота индекса у Яндекса по сравнению с Гуглем просто никакая - может быть он и нашёл бы что-то, да не проиндексировал ещё.


----------
Developing.ru

Всего записей: 484 | Зарегистр. 03-01-2002 | Отправлено: 23:29 13-03-2002
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
AiK
 

Цитата:
довожу до вашего сведения, что бот к результатам выдачи никакого отношения не имеет.  

 
Ну-ну-ну. А кто имеет? Как он зовется?
 
Про Гугла спорить не буду - хороший бот. Лучший. Ему ничего не надо, все сам найдет, все проиндексит, и верно пейдж ренк для него важен.  
По поводу той цитаты, да наткнулась на такое. Кроче, сейчас да, я пересмотрела свое отношение к Гуглу
 
Так я сути претензий то не уловила...

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 02:28 14-03-2002
AiK



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Так я сути претензий то не уловила

бот, он же робот, он же паук(spider), он же полузнок (crawler), он же
самокат (scooter), он же  обжора (slurp) и т.д. - та маленькая программка, которая отличает поисковую систему от каталога. В Yahoo тоже поиск есть, да вот собственного бота этот каталог не имеет.
Как же называется та часть поисковой системы, которая выдаёт результаты и занимается построением индекса? Переводите самостоятельно с английского search engine. Я бы перевёл как  движок поиска.


----------
Developing.ru

Всего записей: 484 | Зарегистр. 03-01-2002 | Отправлено: 11:01 14-03-2002
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
AiK
 
Угу. Сенкс. Может, напишешь продолжение статьи? Я собиралась что-то про page rank писать, да все как-то...

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 12:53 14-03-2002
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Как поисковые боты индексят сайты.


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2025

LiteCoin: LgY72v35StJhV2xbt8CpxbQ9gFY6jwZ67r

Рейтинг.ru