Что такое индексация сайта

Индексация — процесс, в котором робот поисковика находит страницу, скачивает её и добавляет в свою базу — индекс. В выдачу попадают только страницы из индекса: если страницы там нет, её не найдут ни по одному запросу.

Как это происходит

1. Робот узнаёт об адресе — по ссылкам с других страниц, из sitemap.xml или после отправки на переобход в Вебмастере.
2. Скачивает страницу и проверяет, можно ли её индексировать: код ответа, robots.txt, noindex, canonical.
3. Решает, добавлять ли её в поиск. Дубли и малополезные страницы Яндекс может исключить, даже если они открыты.

Почему страница не в индексе

• закрыта в robots.txt или тегом noindex;
• отвечает ошибкой или редиректом;
• Яндекс счёл её дублем или малоценной;
• робот до неё ещё не дошёл: страница новая, ссылок на неё мало.

Подробный разбор — в статье почему сайт не индексируется Яндексом.

Как проверить

Список страниц в поиске есть в Яндекс Вебмастере. Проверить конкретные адреса можно бесплатно и без регистрации — до 10 за раз.

Частые вопросы

Сколько времени занимает индексация новой страницы?

Обычно от нескольких дней до пары недель. Ускорить помогают sitemap.xml, внутренние ссылки и отправка на переобход в Вебмастере.

Почему страница выпала из индекса?

Частые причины: ошибка сервера или редирект, noindex, запрет в robots.txt, или Яндекс счёл страницу дублем или малоценной.