SerpWatch
Меню

Проверка robots.txt онлайн

Правила robots.txt по группам, ссылки на sitemap, ошибки синтаксиса и доступ к адресу для Яндекса, Google и нейросетей.

  • Без регистрации и карты
  • До 5 проверок в сутки
  • Результат по ссылке 24 часа
Как выглядит результат
Без регистрации · до 5 проверок в сутки

Зачем проверять

Одна лишняя строка Disallow — и раздел каталога закрыт от робота, а узнаёте вы об этом по просевшему трафику.

Что проверим

Впишите домен или адрес страницы — загрузим robots.txt сайта так, как это делает робот, и разложим его по группам: для какого робота какие правила Allow и Disallow действуют. Отдельно покажем директивы Sitemap и строки, которые поисковики не поймут: опечатки в названии директивы, правила до первой строки User-agent, пути без косой черты, устаревший Host.

Главное — проверка доступа. Укажите адрес страницы, и для робота Яндекса, Googlebot и роботов нейросетей покажем, можно ли её обходить и какое правило это решило. Сопоставление идёт так же, как у поисковиков: побеждает самое длинное подходящее правило, при равной длине — Allow, звёздочка заменяет любые символы, а знак доллара означает конец адреса.

Роботы нейросетей — те, что собирают ответы для Яндекс Нейро, ChatGPT, Perplexity и других. Если они закрыты, сайт реже попадает в ответы и ссылки нейросетей. Проверка разовая; чтобы узнать, когда robots.txt изменится или закроет важные страницы, подключите аудит и мониторинг сайта — они есть на бесплатном тарифе.

Подробнее — в статье «Проверка robots.txt: как найти ошибки и проверить доступ для роботов».

Хотите каждый день и с историей? Аудит сайта в SerpWatch — на бесплатном тарифе.

Термины по теме: robots.txt, Noindex, Clean-param, Поисковый робот, ИИ-краулеры.

Как выглядит результат

Настоящий отчёт проверки на демо-сайте — такой же вы получите для своего. Нажмите на снимок, чтобы открыть его целиком.

Проверка robots.txt: пример результата бесплатной проверки на демо-сайте
Проверка robots.txt. Правила robots.txt по группам, ссылки на sitemap, ошибки синтаксиса и доступ к адресу для Яндекса, Google и нейросетей.

Проверить свой сайт

Частые вопросы

Подробно и со скриншотами — в статье «Проверка robots.txt: как найти ошибки и проверить доступ для роботов».

Закрывает ли Disallow страницу от индексации?

Не всегда. Disallow запрещает обход, но страница может попасть в поиск по внешним ссылкам без описания. Чтобы убрать страницу из поиска, используйте метатег noindex и не закрывайте её в robots.txt.

Что будет, если robots.txt нет?

Поисковики сочтут, что обходить можно всё. Файл всё же стоит завести — хотя бы со ссылкой на sitemap.xml и закрытыми служебными разделами.

Почему результат для Яндекса и Google разный?

У сайта могут быть отдельные группы правил для разных роботов. Если есть группа с именем робота, он следует только ей и не смотрит на общую группу «*».

Аудит сайта в SerpWatch — каждый день и с историей

Аудит сайта проверяет robots.txt при каждом обходе, а мониторинг сообщит, если файл внезапно закроет сайт от поиска. Бесплатный тариф навсегда.

Тариф «Старт» — 0 ₽ навсегда, без карты.

Соседние проверки — Техническое SEO

Проверка ответа сервераКод ответа (200, 301, 404…) и вся цепочка редиректов для 10 адресов — бесплатно и без регистрации. Проверка скорости сайтаСкорость загрузки страницы на смартфоне и компьютере: оценка PageSpeed, LCP, INP, CLS, TTFB и что ускорять в первую очередь. Проверка редиректовЦепочка редиректов, склейка зеркал http/https и www, слэш в конце и canonical — с готовыми правилами для nginx и .htaccess. Проверка доменаРегистратор и возраст домена, до какого числа он оплачен, SSL-сертификат, DNS-записи и склейка зеркал — на одной странице. Проверка битых ссылокВсе ссылки, картинки, стили и скрипты страницы: какие отдают 404 и 500, какие идут через редирект, где стоят и что исправить. Проверка sitemap.xmlНайдём карту сайта, разберём файлы и индекс, покажем ошибки XML, чужие адреса, дубли и неверный lastmod и проверим выборку страниц из карты. Проверка canonicalRel=canonical для 10 адресов: куда ведёт, нет ли дублей тега, редиректа, 404 и noindex у основной страницы — с примером тега. Проверка hreflangКоды языков, x-default, ссылка на себя и ответные ссылки с каждой языковой версии — с готовым блоком тегов для страницы.

Другие бесплатные проверки: Проверка позиций в ЯндексеSEO-анализ текстаУникальность текстаПроверка индексации страницПоисковые подсказкиSEO-анализ страницыОпределение типа запросовПроверка микроразметкиПроверка орфографииПроверка сниппетаПревью ссылкиГенератор UTM-метокГотовность к ИИ-поискуЧастотность запросов Все проверки