Разберем принцип работы поисковой системы на примере лежачих полицейских.

Представте себе дорогу где ездит много машин, дорога ровная и все машины не убавляют скорость и когда машина набирает большую скорость то ей на дороге встречается лежачий полицейский.
Итак приступим.

Лежачий полицейский (от англ. sleeping policeman) — искусственная неровность (возвышение) на проезжей части, используемая для ограничения скорости движения транспортных средств (представим себе что это у нас поисковик). Официальный термин — искусственная (дорожная) неровность. Определенные типы навигации могут препятствовать просмотру содержания веб сайта поисковой системой или, вообще, предотвращать его. Во время просмотра пауками поисковой системы сети, они используют структуру гиперссылок, чтобы находить новые документы и заходить вновь на те страницы, которые изменили содержание. По аналогии с лежачими полицейскими, сложные ссылки и разветвленная структура сайта могут служить в качестве “лежачих полицейских.

Возможные “лежачие полицейские” для пауков ПС:

Рассмотрим по подробнее что мешает нашему поисковику останавливаться по среди дороги и тормозить.
URL с 2 + динамическими параметрами:
1. http://www.url.com/page.php?id=4&CK=34rr&User=%Tom%
(пауки неохотно просматривают такие сложные URL как этот, поскольку они часто заканчиваются ошибкой)

2. Страницы с более чем 100 ссылок на другие страницы на сайте (пауки не могут следовать каждой)

3. Страницы, расположенные в 3 кликах /ссылках от главной страницы вебсайта
(если только не существует несколько других внешних ссылок, указывающих на эту страницу)
4. Страницы, требующие “Session ID” или Cookie для обеспечения перемещений
(пауки могут не сохранить эти элементы, как это может пользователь браузера)

5. Страницы, которые разбиты на “блоки данных” могут препятствовать просмотру, а также могут стать причиной неразберихи, какую из страниц заносить в результаты.

 

Вот что надо брать во внимание составляя очередной сайт, думать что бы поисковая система не сбрасывала скорость.
Если что то пропустил то вы можете добавить в комментариях.