Модуль Индексация сайта

Прежде чем сайт появится в результатах поиска, он должен быть проиндексирован поисковой системой. Индексация означает, что поисковый робот посетил ваш сайт, проанализировал его и занес информацию в базу данных поисковой системы.

Если некоторая страница занесена в индекс поисковика, то она может быть показана в результатах поиска. Если страница в индексе отстутсвует, то поисковая система ничего не знает о ней, и, следовательно, никак не может использовать информацию с этой страницы.

Раскрутка сайта в поисковых системах - процесс длительный, заключающийся в оптимизации текста, увеличении числа внешних ссылок и т.д. Однако, самый первый шаг, который должен предпринять веб-мастер вновь созданного ресурса - это проверить его индексацию поисковыми системами. Именно с этого шага начинается процесс оптимизации сайта.

Попасть в индекс поисковой системы, как правило, не сложно. Во многих случаях для этого вообще ничего не нужно предпринимать. Например, поисковая система Google очень быстро (в течение нескольких дней) проиндексирует ваш сайт, если на него есть ссылки с других известных Google ресурсов.

С российскими поисковыми системами дело обстоит несколько сложнее. Для успешной индексации сайта в Яндексе или Рамблере, лучше все же вручную указать поисковой системе на новый ресурс. Все страницы сайта прописывать не требуется, достаточно указать главную (корень сайта), остальные будут найдены поисковым роботом по ссылкам.

Большинство поисковых систем позволяют просмотреть список проиндексированных страниц с использованием специальных языковых операторов. Semonitor позволяет проверять индексацию в Яндексе, Рамблере, Google и других поисковых системах.

Для каждой страницы проверяется также значение Google PageRank, что является очень важной возможностью при анализе больших сайтов со сложной структурой.

Обновление баз данных поисковых систем - процесс постоянный, записи в базе могут подвергаться изменениям, исчезать и появляться снова. Поэтому проверять проиндексированые страницы своего сайта также следует регулярно. Это можно делать нечастно, но 1-2 раза в месяц стоит провести проверку.

Одной из наиболее частых причина отказа в индексации является недоступность сервера, если робот при посщении вашего сайта не смог получить доступ к нему..

Чем больше внешних ссылок существует на ваш проект, тем чаще поисковые роботы будут посещать ваш сайт. Прописка в каталоге поисковой системы Яндекс также заставляет робот Яндекса чаще индексировать ваш сайт. Управлять поведением поисковых роботов можно с помощью файла robots.txt.