Перейти из форума на сайт.

НовостиФайловые архивы
ПоискАктивные темыТоп лист
ПравилаКто в on-line?
Вход Забыли пароль? Первый раз на этом сайте? Регистрация
Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Индексация динамических страниц

Модерирует : Cheery

 Версия для печати • ПодписатьсяДобавить в закладки

Открыть новую тему     Написать ответ в эту тему

nota_bene

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
_____________Цитата_________________________________________________
Основной причиной невозможности индексации динамически генерирующихся страниц является наличие знаков "?", "&", "=" в адресах этих страниц. Спайдеры поисковых систем просто не понимают этих символов, а именно с их помощью передаются параметры вызова скриптов на сервере, которыми и генерируется страница.  
 
К счастью, есть несколько способов обойти данную проблему. Рассмотрим два из них.
 
Первый способ состоит в коренной переделке серверных скриптов, на которых работает ваш сайт. Просто переделайте их так, чтобы избежать использования знаков "?", "&", "=" в адресах. К примеру, старый адрес типа http://www.yourdomain.com/index.php?article=45 будет выглядеть как http://www.yourdomain.com/articles/45. Это довольно сложно, если в составе разработчиков сайта нет программистов, но вполне оправданно, если проект разрабатывается на собственной программной платформе.
 
Второй способ решения такой проблемы заключается в динамическом преобразовании URL средствами вебсервера Apache. В основном, используется библиотека mod_rewrite, которая, на основе прописанной вами в файле .htaccess маски, переопределяет вызов определенной страницы как вызов основного скрипта с нужными параметрами. Способы реализации этого, конечно же, различны для разных скриптов, хотя для большинства популярных скриптов их можно найти на форумах поддержки.
_____________Конец цитаты___________________________________________
 
Мужики, кто-нибудь владеет информацией по реализации одного из этих способов? Может кто сталкивался? Особенно интересует второй (динамическое преобразование URL средствами вебсервера Apache).
Tnx.

Всего записей: 872 | Зарегистр. 30-05-2002 | Отправлено: 02:49 24-06-2002
ivank



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
nota_bene
Ищи инфу по ModRewrite (mod_rewrite) А вообсче-то всё прекрасно индексится. У гугла с яндексом, во всяком случае...

----------
ivank
http://ivank.oszone.net

Всего записей: 553 | Зарегистр. 24-01-2002 | Отправлено: 08:05 24-06-2002
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Основной причиной невозможности индексации динамически генерирующихся страниц является наличие знаков "?", "&", "=" в адресах этих страниц. Спайдеры поисковых систем просто не понимают этих символов, а именно с их помощью передаются параметры вызова скриптов на сервере, которыми и генерируется страница.  

Бред. Откуда это взято? Роботы прекрасно понимают ЛЮБОЙ урл. Проблема в другом - разработчики прекрасно понимают еще одну вещь - индексация динамики способна зациклить любого робота, повесив попутно индексируемый сайт. Не раз уже обсуждалась ситуация, при которой робот начинает индексировать несуществующие еще страницы, которые генерятся из шаблонов и не содержат никакой информации, кроме стандартных шаблонов.
Оба способа суть одно и тоже. Еще один бред. Реально обойти запрет на индексацию динамики можно либо средствами mod_rewrite - читайте доки Апача - либо переписыванием скрипта так, чтобы по шаблонам генерились СТАТИЧЕСКИЕ страницы. Берите для этого Webscript Sanitarium - он как раз так и делает.

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 11:22 24-06-2002
nota_bene

Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ivank, Gray спасибо.
 

Цитата:
Бред. Откуда это взято?

Отсюда: http://www.searchengines.ru/stories.php?story=01/12/08/2248896
Я конечно могу ошибаться, но вроде бы копирайты твои...
 
 

Всего записей: 872 | Зарегистр. 30-05-2002 | Отправлено: 15:14 24-06-2002
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Хех, смешно. Уели меня
Думать надо было, что переводить В действительности, там несколько некорректно переведено. Хотя ситуации это не меняет - все равно такие страницы не индексируются.

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 18:28 24-06-2002
GQ



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray
Хорошо пошло.
Но если серьезно, то из твоих слов следует, что такие страницы вообще не индексятся, ан нет, у многих тут стоит нюка, и все с ней в порядке. Вот ко мне с яндекса постоянно заходят.

----------
But temporary gearbox gremlins on lap eight were.

Всего записей: 1875 | Зарегистр. 10-12-2001 | Отправлено: 03:12 25-06-2002
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
GQ
Статью все же прочитай. А потом проверь - остались возражения или нет?

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 13:53 25-06-2002
GQ



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray
Прочитал.
Теперь понятно. Просто ты очень категорично писал, что не индексятся страницы. В статье же сказано:
Цитата:
Приятным исключением, правда, выступает Яндекс, который индексирует все такие страницы, не спотыкаясь на служебных символах.
и
Цитата:
Помимо Яндекса, результаты работы скриптов индексируются еще несколькими крупными поисковиками. Google индексирует один уровень ссылок. Altavista при прямом сабмите.


----------
But temporary gearbox gremlins on lap eight were.

Всего записей: 1875 | Зарегистр. 10-12-2001 | Отправлено: 14:55 25-06-2002
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Google теперь нормально ходит по всем ссылкам - полгода все же прошло.

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 17:57 25-06-2002
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray
 

Цитата:
Google индексирует один уровень ссылок

 
А вот и нет... Могу привести пример. Или что имеется в виду под одним уровнем?
Соб-но он мои индексит форумные страницы те (независимо от уровня), на которые есть линки с других, например, с главной или с других сайта. Рубордовы топики в лет индексит, а на урлы посмотри. Или я не поняла чего? И Гугл, например по руборду, проиндексил в 5 раз больше страниц, чем Яндекс.

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:00 25-06-2002
Gray



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
lynx

Цитата:
Google теперь нормально ходит по всем ссылкам - полгода все же прошло.

Достаточно? Или каждый месяц все статьи на сайте переписывать?

----------
Блоgнот

Всего записей: 599 | Зарегистр. 16-10-2001 | Отправлено: 18:04 25-06-2002
lynx



Advanced lynx
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Gray
 

Цитата:
Google теперь нормально ходит по всем ссылкам - полгода все же прошло.

 
Ну, сори, мы почти одновременно запостили
 

Всего записей: 11712 | Зарегистр. 08-05-2001 | Отправлено: 18:08 25-06-2002
GQ



Advanced Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Ура! Мир, Труд, Май, Июнь, Июль, Август....
Все помирились.

----------
But temporary gearbox gremlins on lap eight were.

Всего записей: 1875 | Зарегистр. 10-12-2001 | Отправлено: 23:36 25-06-2002
Davi

Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Hello
 
Можно вопрос?
 
есть сайт на asp. меню в нём на сделан инклюдом [<!-- #include file=***.inc"-->].  
 
так вот, гугл проиндексировал только майн page а дальше не прошёл
вопрос :
не прошёл, потому что должен был пройти через include file ? или потому, что как сказанно здесь http://www.searchengines.ru/stories.php?story=01/12/08/2248896 "Google индексирует один уровень ссылок бесплатно".
 
как сделать, чтобы были проиндексированны и другие страницы данного сайта.
может быть стоит в качестве дорвея сделать один сайт статикой ... или как ?
 
thanks

----------
Health Encyclopedia
Medical and health consumer information resource containing comprehensive & unbiased information in patient-friendly language

Всего записей: 296 | Зарегистр. 31-05-2003 | Отправлено: 23:13 04-11-2003
ZibSoft

Junior Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Вот несколько статеек по mod_rewrite:
http://www.nbsp.ru/articles/3/
http://sitemaker.ru/technologies/webserver/mod_rewrite/
http://www.egoroff.spb.ru/portfolio/apache/

Всего записей: 80 | Зарегистр. 21-12-2004 | Отправлено: 03:04 30-12-2004
Cheery



.:МордератоР:.
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
ZibSoft

Цитата:
Вот несколько статеек по mod_rewrite:  

не по месту.. он обсуждается тут
http://forum.ru-board.com/forum.cgi?action=filter&forum=8&filterby=topictitle&word=rewrite
там же большинство из этих линков уже есть.

----------
Away/DND

Всего записей: 52737 | Зарегистр. 04-04-2002 | Отправлено: 04:36 30-12-2004
MAGISTRATE



Advanced Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
С наступающим

Цитата:
 RewriteRule p/(.*)   index.php?c=$1  


----------
ага

Всего записей: 888 | Зарегистр. 23-07-2003 | Отправлено: 23:27 31-12-2004
Sindel



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору

Цитата:
Роботы прекрасно понимают ЛЮБОЙ урл

http://forum.ru-board.com/topic.cgi?forum=28&topic=2412#9

Цитата:
Это есть "современному поисковику пофиг на параметры в урле".

Это только современному, к ним относятся Google и Яндекс (понимают любые УРЛы), может есть ещё парочку. Остальные все что после знака вопроса не разбирают.
http://forum.ru-board.com/topic.cgi?forum=28&topic=2412
http://forum.ru-board.com/topic.cgi?forum=28&topic=1506
Это для них одно и тоже, т.е. http://forum.ru-board.com/topic.cgi

Цитата:
А еще остались бронтозавры, которые пользуются чем-то другим?

(Google и Яндекс)

Всего записей: 559 | Зарегистр. 22-08-2002 | Отправлено: 15:50 01-01-2005
yurazzz



Full Member
Редактировать | Профиль | Сообщение | Цитировать | Сообщить модератору
Отрыл эту тему в глубинах поиска, у меня такой вопрос: а поисковики различают порядок следования параметров для скрипта.
Т.е. есть адреса:
forum.ru/forum.php?topic=19&forum=55
forum.ru/forum.php?forum=55&topic=19
 
Для пользователя это одно и тоже, да и для программиста тоже, т.к. он может переставлять местами параметры по запарке, например , суть не меняется. А поисковый робот способен понять, что это одна и таже ссылка или нет?

----------
Компьютерная библиотека
Компьютерный форум

Всего записей: 466 | Зарегистр. 16-03-2002 | Отправлено: 04:18 25-05-2005
MasMaX



Member
Редактировать | Профиль | Сообщение | ICQ | Цитировать | Сообщить модератору
У меня это работает так:
в файл .htaccess пишется строчки:
 

Код:
 
<FilesMatch "^(photo)$">
ForceType application/x-httpd-php
</FilesMatch>
 

 
Затем создал скрипт photo (именно так без расширения!!! не может совпадать с именем папки!!) и поместил его в корень сайта. После этого при обращении site.ru/photo/asdf/qwerty запускается указаный скрипт. Вся строка запроса записывается в переменную $REQUEST_URI, которая в дальнейшем разбивается по слешам и т.д.

Всего записей: 279 | Зарегистр. 11-05-2005 | Отправлено: 01:50 18-01-2006
Открыть новую тему     Написать ответ в эту тему

Компьютерный форум Ru.Board » Интернет » В помощь вебмастеру » Индексация динамических страниц


Реклама на форуме Ru.Board.

Powered by Ikonboard "v2.1.7b" © 2000 Ikonboard.com
Modified by Ru.B0ard
© Ru.B0ard 2000-2024

BitCoin: 1NGG1chHtUvrtEqjeerQCKDMUi6S6CG4iC

Рейтинг.ru