Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Активные темы » Поисковые механизмы Google

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки
Страницы: 1 2 3 4 5 6 7 8 9

Открыть новую тему     Написать ответ в эту тему

articlebot



Administrator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

В данной статье будут рассмотрены механизмы, используемые Google при индексировании и выдаче результатов запроса. Познакомившись с этими механизмами, можно научиться управлять поведением поисковой машины.
 
Читать
 
 


Поисковая система Google
(Статьи по ней)

 
 
http://www.searchengines.ru/articles/003769.html
http://www.webmasterpro.com.ua/pro/12/1273_1.html
http://www.vanta.ru/lib/google_4.php
http://www.vanta.ru/lib/google_6.php
http://www.vanta.ru/lib/google_list.php
http://www.master-x.com/articles/article/155/page/0/
 
Хорошая подборка статей по Гуглу:
http://www.vanta.ru/lib/google_list.php
 
Google's Patent: Information Retrieval Based on Historical Data
http://www.seomoz.org/articles/google-historical-data-patent.php
 
Определители Google PR (Page Rank):
 

 
 
http://google.codeby.net/  
http://www.webmasterbrain.com/prog/  

Всего записей: 366 | Зарегистр. 25-05-2001 | Отправлено: 16:07 14-05-2003 | Исправлено: Cheery, 21:46 29-04-2006
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
vitovt
 

Цитата:
можно ли гугл заставит проиндексировать сайт еще раз (или яндекс) а то у меня двиок сайта сменился и адреса поменялись?  

 
Гугл сам все проиндексит, при чем очень быстро, наблюдай за ним у него юзер-агент Googlebot - неделя-две и он прибежит, первый. Сначала запросит robots.txt и уйдет. На след. день запросит индекс. и уйдет. На след. день запросит все страницы html каталогов первого уровня. И уйдет. Дальше наблюдай - смешной он
 
Google один из наименее управляемых ботов. То есть на него сложней всего воздействовать имхо.  
 
Если тебе надо выкинуть из базы старый адрес, то просто запрети его индексацию  robots.txt, хотя лучше прописать там:
<meta name="robots" content="noindex,follow">
и на страницах старого сайта поставить ссылки на новый сайт, не просто ссылки, а так:
 
<a href="новый сайт">сайт про кошек или про что он там у тебя</a>
 
То есть текст ссылки важен.
 
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 01:15 20-05-2003
dimokk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
То есть текст ссылки важен.  

lynx зрит в корень!

----------
Продвижение сайтов в поисковых системах

Всего записей: 281 | Зарегистр. 15-07-2002 | Отправлено: 10:02 20-05-2003
vitovt



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
lynx
 ,ага а статистика не покажет что бот заходил..это надо свойим скриптом определять через $HTTP_USER_AGENT $HTTP_REMOTE_ADDR и т.д?

----------
Автоспорт ТУТ

Всего записей: 1087 | Зарегистр. 02-05-2002 | Отправлено: 15:14 20-05-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
vitovt
 

Цитата:
ага а статистика не покажет что бот заходил..

 
В логах Апача его хорошо видно:
 
$grep 'googlebot' access.log
....
64.68.80.204 - - [20/May/2003:17:48:19 +0700] "GET /cgi-bin/ib/printpage.cgi?forum=2&topic=80 HTTP/1.0" 200 83180 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.149 - - [20/May/2003:17:54:16 +0700] "GET /rukvo/pristup.html HTTP/1.0" 200 14328 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.70 - - [20/May/2003:18:05:40 +0700] "GET /cgi-bin/ib/forums.cgi?forum=14 HTTP/1.0" 200 22088 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.159 - - [20/May/2003:18:31:28 +0700] "GET /cgi-bin/ib/printpage.cgi?forum=4&topic=30 HTTP/1.0" 200 4738 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.155 - - [20/May/2003:18:36:42 +0700] "GET /rukvo/ HTTP/1.0" 200 12448 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.61 - - [20/May/2003:18:54:04 +0700] "GET /cgi-bin/ib/printpage.cgi?forum=2&topic=81 HTTP/1.0" 200 19937 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.68 - - [20/May/2003:19:06:00 +0700] "GET /cgi-bin/ib/printpage.cgi?forum=6&topic=22 HTTP/1.0" 200 11101 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.144 - - [20/May/2003:19:38:04 +0700] "GET /cgi-bin/ib/topic.cgi?forum=6&topic=27 HTTP/1.0" 200 30137 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.68 - - [20/May/2003:19:46:00 +0700] "GET /cgi-bin/ib/topic.cgi?forum=3&topic=34 HTTP/1.0" 200 14356 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
64.68.80.70 - - [20/May/2003:20:18:39 +0700] "GET /cgi-bin/ib/topic.cgi?forum=2&topic=84 HTTP/1.0" 200 43653 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"
 
и т.д.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 20:33 20-05-2003 | Исправлено: lynx, 20:37 20-05-2003
vitovt



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
Ясно!Посморим!

----------
Автоспорт ТУТ

Всего записей: 1087 | Зарегистр. 02-05-2002 | Отправлено: 23:52 20-05-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
А вот, в принципе, форма:
http://www.google.com/bot.html
 
Убрать сайт из Гугла.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 02:59 21-05-2003
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Скажите пожалуйста, при вот таком запросе, почему какой то отстойный бобруйский форум... (сорри, но других слов для сайта при заходе на который вылетают три попупа, у меня нет)  
 
Так вот какой то отстойный бобруйский форум что чаще цитируется чем руборд?

 
Пожалуйста. Скажем, как и полагается, вопросом на вопрос. Причем - не одним.
 
1. Положим, ты и сам знаешь, сколько окон вставляет такой хостинг, как virtualave... На кой оскорблять людей?
2. Тебе сильно нужно от силы 50 посетителей в месяц, который придут с этого запроса?
3. А ты, со всей командой, что-то сделали, чтобы форум был чуть-чуть лучше в поисковиках?
 
lynx

Цитата:
64.68.80.70 - - [20/May/2003:20:18:39 +0700] "GET /cgi-bin/ib/topic.cgi?forum=2&topic=84 HTTP/1.0" 200 43653 "-" "Googlebot/2.1 (+http://www.googlebot.com/bot.html)"  

Это не тот робот, не путай людей.
Цитата:
Гугл сам все проиндексит, при чем очень быстро, наблюдай за ним у него юзер-агент Googlebot - неделя-две и он прибежит, первый. Сначала запросит robots.txt и уйдет. На след. день запросит индекс. и уйдет. На след. день запросит все страницы html каталогов первого уровня. И уйдет.  

Есть предложение - ты сначала сама изучаешь вопрос, а потом морочишь людям голову. То, что у тебя хорошая фантазия - заметно. Но к реальному поведению робота твои фантазии не имеют никакого отношения.

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 00:50 23-05-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray
 
"Критикуя - предлагай". А ты сказал так: "Все, что ты сказала - аЦтой". И ничего не сказал своего, где я не права, как правильно - инфы ноль.  
 
Вот инфа с гугла:
http://www.google.com/webmasters/faq.html#manycrawlers
The best way to identify accesses by Googlebot is to use the user-agent (Googlebot).
 
Хорошо, кто тогда это был в логах?
 

Цитата:
Гугл сам все проиндексит, при чем очень быстро, наблюдай за ним у него юзер-агент Googlebot - неделя-две и он прибежит, первый. Сначала запросит robots.txt и уйдет. На след. день запросит индекс. и уйдет. На след. день запросит все страницы html каталогов первого уровня. И уйдет.  
 
Есть предложение - ты сначала сама изучаешь вопрос, а потом морочишь людям голову.  

 
Вот как раз ^^ инфа (правда инфе больше года) со свежезарегенного домена, свежепоставленного Апача - все расписала, как было у меня. Народу было мало (посетителей), в логах за Гуглом было легко следить.  
 
Нет, чтобы Гугл пришел, надо хотя бы одну ссылку на сайт иметь откуда-то. Но речь то шла не об этом. Об этом уже говорили.
 
 

Цитата:
 ты и сам знаешь, сколько окон вставляет такой хостинг, как virtualave... На кой оскорблять людей?  

 
Батва извинился это раз, а потом как пользователя, меня проблемы хостинга сайтодержателя, сам понимаешь, как волнуют А выглядит оно - посмотри-увидишь.  
 
 
 
 
Добавлено
Наверное, ты имеешь в виду IP :
 
-bash-2.05b$ host google.com
google.com has address 216.239.33.100
google.com has address 216.239.51.100
 
Так?
 
Добавлено
Ой, линку еще хотела дать:
http://i2r.rusfund.ru/static/334/out_14699.shtml

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 01:36 23-05-2003
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
"Критикуя - предлагай". А ты сказал так: "Все, что ты сказала - аЦтой". И ничего не сказал своего, где я не права, как правильно - инфы ноль.

Неа... Я сказал - "Ты не разбираешься в вопросе, в котором пытаешься выглядеть экспертом". При этом ты и не пытаешься разобраться - хотя я об этом говорю уже полгода.  

Цитата:
Хорошо, кто тогда это был в логах?  

Everflux.

Цитата:
Вот как раз ^^ инфа (правда инфе больше года) со свежезарегенного домена, свежепоставленного Апача

Рассказывать, что бот всегда ведет себя так только потому, что так он сделал с одним доменом год назад, может, и является нормальным стилем для тебя...

Цитата:
Наверное, ты имеешь в виду IP

Нет.  
(подсказка - Googlebot разный бывает)
И все-таки, - разберись в вопросе, прежде чем строить из себя гуру.

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 14:15 24-05-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Во первых, я не строю гуру, а отвечаю на вопрос Если я ошиблась, скажи, ты не то сказала, надо это.
Чтобы ты был спокоен - Я НЕ ЭКСПЕРТ ПО РАСКРУТКЕ
Ну, это не суть. По этому поводу дискутировать не тут.
А тут про Гугла.
 
Ладно.
 
http://www.robotstxt.org/wc/active/html/googlebot.html
 
 

Цитата:
Хорошо, кто тогда это был в логах?  
 
Everflux.  

 
Правильно, потому что я привела из логов нынешних, но суть от этого не меняется - по grep 'Googlebot' из логов увидишь Гугла.
 
2всем  
Everflux - это что-то типа реиндекса - то есть повторный заход робота.
Читать:
http://win.subscribe.ru/archive/inet.webbuild.dimok/200303/06123142.html
http://www.kuro5hin.org/story/2003/3/12/31058/2975
 
Дальше:
http://www.robotstxt.org/wc/active/html/googlebot.html
 

Цитата:
HTTP User-Agent Googlebot/2.X (+http://www.googlebot.com/bot.html)

 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 01:39 25-05-2003
webdeveloper



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Извение за офф

Цитата:
Я сказал - "Ты не разбираешься в вопросе, в котором пытаешься выглядеть экспертом". При этом ты и не пытаешься разобраться - хотя я об этом говорю уже полгода.  

я не заметичал чтоб линкс старалась походить на профи(гуру)
 
ты ведь грей не родился со знаниями в этой области. Ведь верно?.....




lynx.

Всего записей: 1373 | Зарегистр. 30-05-2002 | Отправлено: 19:09 31-05-2003 | Исправлено: lynx, 20:51 31-05-2003
Dremcho

Newbie
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Недели 2 назад пустил в google сайт для индексирования и через 2-3 дня начались странные вещи, то прямой линк к сайту появится то изчезнет, линки страниц с которых есть ссылка остаются, а мой сайт то есть то нет, а сейчас и вообще изчез. сайт www.eurohunters.com , подскажите где моя ошибка?

Всего записей: 22 | Зарегистр. 10-02-2003 | Отправлено: 02:16 03-06-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Dremcho
 

Цитата:
 подскажите где моя ошибка?

 
Нигде. Дай роботу устаканиться. Проверяй позицию сайта через месяц. Сейчас Гугл работает.  
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 19:58 03-06-2003
mazut

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Гуру, не гуру.... Ну поторопился человек. С кем не бывает. Помочь хотел(а).
 
Вот, лучче, скажите на тему: как Google и иже индексят PHP, ASP, и др. генерённые странички.  Скока читаю, все рассуждают по-разному, хучь, блин, Брину письмо пиши.
 

Всего записей: 384 | Зарегистр. 02-09-2001 | Отправлено: 11:03 04-06-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mazut
 

Цитата:
 как Google и иже индексят PHP, ASP, и др. генерённые странички.  

 
Гугл индексит динамику лучше всех! Хотя сам он пишет, что чтобы не перегружать робота, индексирует динамику во вторую очередь.  
 
Яндекс тоже индексирует динамику.
 
Рамблер наконец-то тоже раскочегарился в этом плане, но он в этом плане (как и во многих други) хуже Яндекса, ну а Гугл лучше всех .
 
http://www.rambler.ru/doc/faq.shtml#16
 

Цитата:
Рамблер обрабатывает все "динамические" страницы с именами вида *.asp*, *.php*, *.pl*, */cgi-bin/* и т. п. для посещаемых сайтов (по данным top100), а также сайтов, содержащих уникальную информацию, полезную пользователям поисковой машины. Для остальных сайтов обрабатывается часть таких страниц.
 
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 12:52 04-06-2003
mazut

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lynx

Цитата:
Гугл индексит динамику лучше всех! Хотя сам он пишет, что чтобы не перегружать робота, индексирует динамику во вторую очередь.  

 
Опять спешишь, торопыга.
Посмотри, я ж спросил - "как?". Во-вторых, в своем вопросе я дал понять, что я уже многое читал об этом. В-третьих, из моего вопроса видно, что я часть ответа уже знаю. А ты мне радостно сообщаешь, что Гугл лучше всех.  
 
Мне очень важно знать, как это делают Гугл, MSN, Yahoo и Lycos, ну там еще по мелочи - но лишь те, которые не лимитируют себя одною страною.
Какое-то время Гугл обрубал индексацию динамических страниц на первой сотне. МСН, Yahoo, Lycos - не индексировали странички с аргументами - т.е. все, что заканчивалось с *?id=*  игнорировали.
Гуглы также подчеркивают, что для рейтинга странички важна уникальность содержания, и это может означать, что Гугл тоже будет индексировать лишь один или несколько элементов динамической страницы. Возможно при этом, что рейтинг исчисляется как-то иначе.
И еще такой момент, если поставить себе гугляной toolbar и посмотреть на количественное выражение рейтинга, видно, что порядковое место в списке результатов не всегда соответствует количественному рейтингу.
И последнее, скажем, динамическая страничка php с большим количеством линков типа PHP_SELF. Несмотря на количество аргументов после "*.php?*" она для Гугла ссылается сама на себя или нет? Этот момент крайне важен - ибо Гугл по разному награждает в рейтинг за ссылки внутри домена и извне.  
 
Для меня нет никаких сомнений в том, что Гуглы используют другую формулу для "динамики", а не ту, которая повсюду прописана.
 
Уф.  
 
PS:  Кто-нить посоветует хороший offline анализатор апачевых логов??
 
 

Всего записей: 384 | Зарегистр. 02-09-2001 | Отправлено: 19:40 04-06-2003 | Исправлено: mazut, 19:46 04-06-2003
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
mazut
 

Цитата:
Уф.  

 
Ага. И я пойду переварю...
 

Цитата:
 Кто-нить посоветует хороший offline анализатор апачевых логов??  

 
Кого-нибудь расстрелять за оффтоп?
 
http://forum.ru-board.com/topic.cgi?forum=8&topic=0948#1
 
и вообще:
 
http://forum.ru-board.com/topic.cgi?forum=8&topic=3291#1

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 20:27 04-06-2003
mazut

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lynx
А! Спасибо. То, что надо.

Всего записей: 384 | Зарегистр. 02-09-2001 | Отправлено: 02:46 08-06-2003
dimokk



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору

Цитата:
как Google и иже индексят PHP, ASP, и др. генерённые странички

По моим наблюдениям. У Гугла есть ограничение на переходы робота поссылкам с динамических страниц - т.е. он может не пойти дальше второго уровня. Отсюда проблемы с полнотой индексации сайт при неверной ссылочной структуре. Кроме того, может быть ограничение по общему количеству динамических страниц, которые индексируются с одного домена. Думаю, что и PR понижается для динамики - случайно или нарочно это делается знает только Гугл.

----------
Продвижение сайтов в поисковых системах

Всего записей: 281 | Зарегистр. 15-07-2002 | Отправлено: 19:46 09-06-2003
batva



crazy administrator
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray

Цитата:
 
Цитата:
 
Скажите пожалуйста, при вот таком запросе, почему какой то отстойный бобруйский форум... (сорри, но других слов для сайта при заходе на который вылетают три попупа, у меня нет)  
 
Так вот какой то отстойный бобруйский форум что чаще цитируется чем руборд?
 

 

Цитата:
 
Пожалуйста. Скажем, как и полагается, вопросом на вопрос. Причем - не одним.
 
1. Положим, ты и сам знаешь, сколько окон вставляет такой хостинг, как virtualave... На кой оскорблять людей?
 

 
Конечно знаю. Руборд ведь зарождался именно там,  на виртуалаве, если кто-то это помнит.
Но у меня там не было попупов, просто один баннер и все. Потому как я не вступал там у них во всякие партнерские программы, чтобы заработать цент на одном клике итд итп...
 
Если вебмастер делает из сайта такую гирлянду из попупов и баннеров, то флаг ему в руки, но сайт его именно отстойный, потому как там никто долго не задержится, других слов нет, а людей я не оскорблял, причем тут люди то?
Речь про сайты...
 

Цитата:
 
2. Тебе сильно нужно от силы 50 посетителей в месяц, который придут с этого запроса?
 

 

Цитата:
 
3. А ты, со всей командой, что-то сделали, чтобы форум был чуть-чуть лучше в поисковиках?
 

 
Опять мимо!
Мне эти люди не нужны, и этот запрос я привел только в качестве примера, и команда наша ничего не делает в этом направлении, одна только lynx трудяга,  и при чем тут я, Руборд, и команда?
 
Я задал конкретный вопрос и хотел получить конкретный ответ, а не воду, которую ты начал лить, про Руборд, команду, про то что мы ничего не делаем, итд итп, так прежде чем делать, нужно знать что делать, верно?  
 
А вопрос звучал так:
 
Почему при запросе, например, "комп. форум" тот форум выше чем Руборд?
У того форума больше внешних ссылок?
Или у того форума ключевые слова, татлы, что-то еще сделано под этот запрос, или что?
Или фраза "комп форум" там чаще встречается?
 
 
Если ты знаешь ответ, так скажи, или у тебя уже наваждение какое то, чуть что, сразу "катить бочку"?
Вообще манера разговаривать у тебя исключительная, но учитывая твой профессионализм в данных вопросах, хочется получить конкретную помощь, а не выслушивать от тебя постоянные упреки.
Если хочешь помочь, скажи что нужно cделать, чтобы твердо стоять на ногах, в поисковиках.
Конкретно, вот это, это, это, и вот это.

Всего записей: 12593 | Зарегистр. 07-01-2001 | Отправлено: 16:24 11-06-2003
Открыть новую тему     Написать ответ в эту тему

Страницы: 1 2 3 4 5 6 7 8 9

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Активные темы » Поисковые механизмы Google


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru