Читаю я много форумов и в каждой теме кто – нибудь да и задаст вопрос:
«Подскажите, пожалуйста, как подпихнуть странички поисковику, что бы он скушал все, а то у меня на сайте 50 тыс. страниц, а сьел он только 1тыс»
3. Документы заблокированные намеренно
4. Страницы, требующие регистрации
5. Страницы, которые переадресовывают, прежде чем показать свое содержание (поисковые системы называют это маскировкой или рекламой с исчезающей приманкой и могут вообще запретить сайты, использующую такую тактику)
Ключ к уверенности, что содержимое сайта полностью подлежит просмотру – предоставить прямые HTML ссылки на каждую страницу, чтобы поисковая система проиндексировала ее. Помните, если страница не доступна с главной страницы (там, где начинают свой просмотр пауки), вероятно, она не будет проиндексирована поисковой системой. В этих целях очень пригодится карта сайта (см. пункт 2).