Индексация сайта

Прежде чем ресурс окажется в результатах поисковой выдачи, поисковики обязаны его проиндексировать. Индексация говорит о том, что поисковая машина посетила ваш ресурс, проанализировала его, и занесла информацию о нем в свою базу данных.
Если какая-либо страница внесена в базу данных поисковика, то она может быть отображена в результатах поиска. Если страницы в базе данных нет, то поисковики ничего о ней не знают.
Следовательно, никак не смогут применить информацию с этого документа.
Большинство ресурсов, содержащих несколько десятков страниц не испытывают обычно никаких проблем с индексацией поисковыми машинами. Однако есть ряд моментов, которые надо принимать во внимание при работе над ресурсом.

Поисковая машина может узнать о новом проекте в двух случаях:

Добавлением адреса ресурса в форму поиска поисковика вручную. В данном случае вы сами заявляете поисковой машине, о новом ресурсе и его адрес заносится в очередь на индексацию. Добавлять надо только главную страницу проекта, остальные документы будут найдены поисковиком по ссылкам.
Предоставить поисковику, самостоятельно найти ваш проект. Если на ваш новый проект указывает хотя бы одна ссылка с других проектов, которые уже проиндексированы поисковой машиной, то поисковик в короткое время сам навестит и проиндексирует ваш ресурс.
Лучше использовать именно такой способ развития событий, то есть заполучить несколько чужих ссылок на ресурс и дождаться, когда робот посетит проект. Ручное добавление ресурса может даже удлинить время прибытия поисковика.
Время ожидания индексации ресурса составляет, обычно до двух недель, в зависимости от того, какая поисковая система обрабатывает ваш ресурс. Очень быстро индексирует ресурсы поисковая система Google.
Стремитесь сделать интерфейс для поисковых роботов дружественным.

Для этого учтите следующие явления:

Стремитесь, чтобы любые страницы проекта имели уровень вложенности не более трех кликов. Если структура ресурса этого не позволяет, то создайте карту проекта, которая позволит выполнить это правило.
Избегайте распространенных ошибок. Не облегчают индексацию идентификаторы сессий. Если у вас навигация настроена через скрипты, то обязательно продублируйте ссылки обычным образом.
Не забывайте, что поисковики индексируют не более 200 кб текста на документе. Для страниц большего размера будет проиндексировано только первые 200 кб текста. Из этого вытекает правило – не используйте документы объемом более 100 кб, если у вас есть желание проиндексировать их полностью.
Управлять работой робота можно файлом robots.txt, где имеется возможность запретить или разрешить для индексации те или иные страницы. Специальный тег «NOINDEX», может позволить закрыть для индексации отдельные фрагменты страницы, однако этот тег работает только с российскими поисковыми машинами.
Базы данных поисковых роботов регулярно обновляются. В базе данных поисковика записи могут изменяться, исчезать и показываться снова, поэтому количество проиндексированных документов вашего ресурса может иногда меняться.
Частая причина пропадания документа из индекса, это недоступность сервера, то есть поисковик при попытке индексации ресурса не смог в него попасть. После того, как сервер заработает, проект появится в индексе опять через некоторое время.
Чем больше чужих ссылок имеет ваш ресурс, тем переиндексация его происходит быстрее.
Проконтролировать процесс индексации проекта можно проанализировать с помощью лог - файлов сервера, в которые заносятся все визиты поисковых машин.

Успеха Вам!