Что такое «Индекс поисковой системы»?
База данных, в которой поисковая система хранит свой "словарный запас", то есть набор встречающихся на интернет-страницах слов и словосочетаний. Этот массив текстовых составляющих соотнесен с адресами тех веб-страниц, на которых они встречаются, и постоянно пополняется новой информацией, собираемой роботом-"пауком" поисковой системы. Индекс используется системой для поиска страниц с вхождениями заданных запросом ключевых слов.
Для того, чтобы сайт появлялся в списке выдачи поисковой системы по определенным запросам, он (или хотя бы определенная часть его страниц) должен быть занесен в индекс данной поисковой системы. Робот поисковика узнает о новом сайте двумя путями – обращением со стороны владельца сайта или наличием ссылок с проиндексированных сайтов на данный сайт. Ручное добавление сайта в индекс производится заполнением специальной формы и последующей ее обработкой модераторами системы, которые лишь добавляют адрес сайта в очередь на индексацию. Иногда этот процесс занимает куда большее время, чем автоматическое посещение роботом страниц сайта. Поэтому предпочтительнее обеспечить для сайта несколько внешних ссылок и дождаться визита робота.
Время, необходимое для добавления сайта в индекс поисковой системы при наличии внешних ссылок, обычно составляет от 2 до 15 дней, в зависимости от конкретного поисковика. Быстрее всех добавляет сайты в свой индекс Google.
Для попадания в индекс максимального объема текста ресурса необходимо придерживаться определенных правил: не создавать сайт сложной иерархической структуры, не использовать или дублировать навигацию через скрипты, не размещать на странице чересчур длинный текст и т. п.
С помощью файла robots.txt можно управлять поведением поисковых роботов, разрешив или запретив определенные страницы сайта для индексации. Специальный HTML-тег позволяет исключить из индексации отдельные части страницы, однако его использование поддерживают только отечественные поисковики.