Почему сайт не индексируется Яндексом: 10 причин

Сайт не индексируется Яндексом — значит, его страниц нет в поиске. Пока это не исправлено, для поиска бесполезны и новые тексты, и работа над ссылками. Хорошая новость: почти всегда причина техническая. Её можно найти за час и исправить за день.

Ниже — 10 причин, из-за которых Яндекс не берёт в индекс сайт или отдельные страницы. Для каждой — как проверить и что делать. Причины идут примерно в том порядке, в котором их стоит проверять: от частых и простых к редким.

Сначала убедитесь, что проблема есть

Прежде чем искать причину, ответьте на три вопроса:

• Страница новая? Новые страницы попадают в поиск не сразу — обычно за срок от нескольких дней до пары недель. Если страницу опубликовали вчера, бить тревогу рано.
• Проблема у одной страницы или у всего сайта? Если у одной — ищите причину в ней. Если у всего сайта — сначала смотрите robots.txt, доступность сервера и санкции.
• Что говорит Вебмастер? «Индексирование» → «Страницы в поиске», список исключённых. У каждой исключённой страницы указана причина — это экономит половину времени.

Проверить, есть ли страницы в поиске прямо сейчас, можно бесплатно до 10 адресов за раз — без регистрации и без доступа к Вебмастеру. Обо всех способах проверки — в статье как проверить индексацию сайта в Яндексе.

1. Страница закрыта в robots.txt

robots.txt — файл в корне сайта, в котором написано, какие разделы роботам обходить нельзя. Одна строка Disallow: / закрывает весь сайт.

Классический случай: сайт делали на тестовом адресе и закрыли его от индексации целиком. При переносе на рабочий домен файл забыли поправить. Другой вариант — слишком широкое правило. Хотели закрыть старый раздел /uslugi-old/, написали Disallow: /uslugi — и закрыли всё, что начинается с /uslugi, включая все действующие услуги.

Как проверить. Откройте адрес ваш-сайт.ru/robots.txt и прочитайте правила для всех роботов и для Яндекса. В Вебмастере есть инструмент «Анализ robots.txt»: вставьте адреса страниц, и он покажет, разрешены они или запрещены и каким именно правилом.

Что делать. Удалите или сузьте правило. Закрывать стоит служебное: корзину, личный кабинет, поиск по сайту, страницы с параметрами сортировки. Страницы услуг, категорий и статей должны быть открыты.

2. Метатег noindex или заголовок X-Robots-Tag

Даже если robots.txt открыт, страницу можно запретить к индексации прямо в коде: метатегом robots со значением noindex или HTTP-заголовком X-Robots-Tag. Робот скачивает страницу, видит запрет и не добавляет её в поиск.

Часто noindex появляется незаметно. После обновления темы или CMS, из-за галочки «скрыть сайт от поисковиков» в настройках, из-за SEO-плагина, где шаблон для одного типа страниц применился ко всем.

Как проверить. Откройте исходный код страницы (Ctrl+U) и найдите noindex. Заголовок X-Robots-Tag виден в инструменте «Проверка ответа сервера» в Вебмастере или в инструментах разработчика браузера. В списке исключённых такие страницы отмечены запретом метатегом.

Что делать. Уберите noindex со страниц, которые должны быть в поиске. Проверьте настройки CMS, SEO-плагина и шаблонов, чтобы запрет не вернулся при следующем обновлении. Затем отправьте важные страницы на переобход.

3. canonical указывает на другую страницу

canonical — подсказка поисковику, какая из похожих страниц главная. Если на странице «Ремонт АКПП» стоит canonical на главную, Яндекс может решить, что эта страница — копия главной, и оставить в поиске только главную. Яндекс считает canonical рекомендацией, а не приказом, но чаще всего ей следует.

Ошибка обычно массовая. canonical генерирует шаблон, и в нём прописан один и тот же адрес для всех страниц. Или canonical ведёт на версию с http вместо https, на адрес без слеша, на старый домен после переезда.

Как проверить. В коде страницы найдите link rel=canonical и посмотрите адрес. В Вебмастере такие страницы получают статус «Неканоническая». Аудит сайта проверяет canonical на всех страницах сразу и показывает, где он ведёт не на саму страницу.

Что делать. У страниц, которые должны быть в поиске, canonical указывает на них самих: полный адрес с правильным протоколом и доменом. На другую страницу canonical ставят только у настоящих дублей — версий для печати, страниц с параметрами.

4. Страница отвечает ошибкой

Робот индексирует страницы, которые отвечают кодом 200. Код 404 или 410 значит «страницы нет», 5xx — «ошибка сервера». При ошибке сервера робот попробует зайти позже, но если ошибка повторяется, страница выпадет из поиска.

Неочевидные случаи:

• страница открывается в браузере, но роботу сервер отдаёт ошибку — например, из-за защиты от ботов;
• страница доступна только авторизованным пользователям;
• сайт периодически падает под нагрузкой, и робот попадает как раз на эти моменты.

Как проверить. Инструмент «Проверка ответа сервера» в Вебмастере покажет код, который получает робот Яндекса. Отчёт «Статистика обхода» в разделе «Индексирование» покажет, какие коды робот получал при обходе сайта. Аудит найдёт битые страницы и ссылки на них по всему сайту.

Что делать. Почините страницы с ошибками 5xx. Удалённые страницы с полезными адресами перенаправьте 301-м редиректом на ближайшую по смыслу. Уберите внутренние ссылки на несуществующие адреса.

5. Редиректы и их цепочки

Адрес с редиректом сам в поиск не попадает — вместо него индексируется страница, на которую он ведёт. Для старых адресов это нормально. Проблемы начинаются, когда:

• редирект ведёт не туда — например, все старые страницы после переезда перенаправлены на главную;
• редиректов несколько подряд: http → https → www → адрес со слешем;
• редирект зацикливается, и страница не открывается вообще;
• внутренние ссылки и sitemap.xml ведут на адреса с редиректом, а не на конечные.

Как проверить. Статус «Редирект» в списке исключённых. Аудит находит цепочки и циклы редиректов, а также внутренние ссылки на адреса с перенаправлением.

Что делать. Ставьте ссылки сразу на конечный адрес. Схлопните цепочки в один редирект. При переезде перенаправляйте каждую старую страницу на её новую версию, а не всё подряд на главную.

6. Дубли страниц

Один и тот же контент доступен по нескольким адресам: с www и без, со слешем и без, с параметрами utm_source или sort, в разном регистре. Яндекс выбирает один адрес, остальные исключает как дубли. Беда в том, что он может выбрать не тот адрес, который вы продвигаете.

Есть и смысловые дубли — почти одинаковые страницы. Например, «Замена масла в АКПП Киа» и «Замена масла в АКПП Хендай» с одним текстом, где поменяли только марку.

Как проверить. Статус «Дубль» в Вебмастере — там же указано, какая страница оставлена в поиске вместо этой. Аудит находит повторяющиеся title, description и H1 — частый признак дублей.

Что делать.

• Технические дубли склейте 301-м редиректом на основной адрес.
• Для адресов с параметрами используйте директиву Clean-param в robots.txt — Яндекс её поддерживает — или canonical на основную страницу.
• Выберите главное зеркало — с www или без — и закрепите его редиректом.
• Похожие страницы сделайте разными по содержанию: цены, сроки, особенности марки, отзывы. Или объедините их в одну.

7. Мало контента или страница малоценная

Яндекс не обязан индексировать всё, что нашёл. Если страница не даёт ничего нового по сравнению с другими страницами — вашего сайта или интернета в целом, — её могут исключить как малоценную или маловостребованную.

Типичные кандидаты:

• карточки услуг и товаров из двух строк или с текстом, скопированным у производителя;
• страницы тегов и фильтров без собственного наполнения;
• пустые разделы «в разработке»;
• страницы на темы, которые почти никто не ищет.

Как проверить. В Вебмастере у таких страниц соответствующий статус. Сравните страницу с конкурентами из топа: анализ текста покажет, хватает ли объёма и раскрыты ли темы, о которых пишут другие.

Что делать. Дайте странице то, чего нет у других: цены, сроки, порядок работ, фото своих работ, ответы на частые вопросы. Мелкие страницы с похожим смыслом объедините в одну сильную. Пустые технические страницы закройте noindex.

8. На страницу нет ссылок

Робот находит страницы в основном по ссылкам. Если на страницу не ведёт ни одна ссылка с сайта, её называют сиротой. Робот может узнать о ней из sitemap.xml, но отсутствие внутренних ссылок — сигнал, что для самого сайта страница не важна.

Так бывает с посадочными страницами, которые сделали под рекламу. Со статьями, которые не попали ни в один раздел. С услугами, которые забыли добавить в меню после редизайна.

Как проверить. Проверка карты сайта в SerpWatch сверяет sitemap.xml с обходом сайта и показывает страницы-сироты, на которые нет ссылок. Обратный случай — страницы, которых нет в карте, — тоже виден.

Что делать. Поставьте ссылку на страницу из меню, раздела или с близких по теме страниц. Например, со страницы «Ремонт АКПП» — на «Замену масла в АКПП» и «Диагностику коробки». Добавьте страницу в sitemap.xml и отправьте на переобход.

9. Сервер отвечает медленно или блокирует робота

Робот не будет бесконечно ждать ответа вашего сервера. Если сайт отвечает медленно или часто не отвечает вовсе, Яндекс обходит меньше страниц, и новые попадают в поиск дольше.

Отдельная частая причина — защита от ботов. Хостинг, CDN или плагин безопасности может принять робота Яндекса за атаку и отдавать ему капчу или ошибку. Посетители при этом ничего не замечают, а владелец не понимает, почему страницы выпадают.

Как проверить. «Проверка ответа сервера» в Вебмастере покажет код и время ответа для робота. «Статистика обхода» — сколько страниц робот загружает и какие ошибки получает. Если там много ошибок соединения, проблема в сервере или защите.

Что делать. Включите кеширование, проверьте тариф хостинга, облегчите тяжёлые страницы. В настройках защиты добавьте роботов Яндекса в исключения. Подлинность робота проверяйте по обратному DNS-запросу, а не только по заголовку User-Agent: его легко подделать.

10. Санкции и нарушения

Если сайт нарушает правила Яндекса, его страницы могут понизить в выдаче или исключить из поиска. Поводы — спам и переоптимизация в текстах, покупные SEO-ссылки, накрутка поведенческих факторов, вредоносный код, клоакинг (разный контент для робота и для людей), дорвеи.

Вредоносный код часто появляется без ведома владельца — через взломанную CMS или заражённый плагин.

Как проверить. В Вебмастере — раздел «Диагностика» → «Безопасность и нарушения». Если Яндекс применил меры, там будет сказано, за что. Резкое падение числа страниц в поиске по всему сайту без технических причин — тоже повод туда заглянуть.

Что делать. Устраните нарушение: удалите вредоносный код и обновите CMS, перепишите переоптимизированные тексты, снимите покупные ссылки. После этого запросите перепроверку в том же разделе Вебмастера. Перепроверка занимает время, поэтому исправляйте всё сразу, а не по частям.

Где искать каждую причину

Почему сайт не индексируется Яндексом: как найти причину за один раз

Проверять десять причин по очереди вручную долго. Большую часть из них — robots.txt, noindex, canonical, коды ответа, редиректы, дубли, страницы без ссылок — находит технический аудит.

Аудит сайта в SerpWatch обходит сайт как поисковый робот и проверяет около 45 пунктов. Проблемы разложены по разделам, у каждой — объяснение простым языком и совет, как исправить. Результат выгружается в Excel: его удобно передать программисту как список задач.

Остаётся то, что со стороны не видно: статусы в Вебмастере, санкции и качество контента. Для постоянного контроля подключите мониторинг индексации: число страниц в поиске и исключённых сохраняется каждый день, и резкое падение заметно сразу, а не через месяц по просевшему трафику.

Частые вопросы

Сколько ждать индексации нового сайта?

Обычно от нескольких дней до нескольких недель. Ускорить помогают Вебмастер, sitemap.xml, переобход и внешние ссылки.

Почему страницы выпадают из индекса?

Частые причины: ошибки сервера, noindex, запрет в robots.txt, дубли и малополезный контент. Причину каждой страницы показывает Вебмастер.

Как проверить, видит ли робот текст страницы?

Откройте исходный код страницы: если текста нет в HTML и он появляется только после скриптов, робот может его не увидеть.

Коротко

• Сначала исключите очевидное: новые страницы попадают в поиск не сразу, а у исключённых страниц Вебмастер указывает причину.
• Самые частые причины — технические: запрет в robots.txt, noindex, canonical на другую страницу, ошибки сервера и редиректы.
• Дубли и малоценные страницы Яндекс исключает сам — помогают склейка, уникальное содержание и объединение похожих страниц.
• Страницы без внутренних ссылок и медленный сервер тормозят индексацию; проверьте, не блокирует ли защита робота Яндекса.
• Технические причины быстрее всего находит аудит, санкции — раздел «Безопасность и нарушения» в Вебмастере.