Проверка robots.txt онлайн
Правила robots.txt по группам, ссылки на sitemap, ошибки синтаксиса и доступ к адресу для Яндекса, Google и нейросетей.
- Без регистрации и карты
- До 5 проверок в сутки
- Результат по ссылке 24 часа
Зачем проверять
Одна лишняя строка Disallow — и раздел каталога закрыт от робота, а узнаёте вы об этом по просевшему трафику.
Что проверим
Впишите домен или адрес страницы — загрузим robots.txt сайта так, как это делает робот, и разложим его по группам: для какого робота какие правила Allow и Disallow действуют. Отдельно покажем директивы Sitemap и строки, которые поисковики не поймут: опечатки в названии директивы, правила до первой строки User-agent, пути без косой черты, устаревший Host.
Главное — проверка доступа. Укажите адрес страницы, и для робота Яндекса, Googlebot и роботов нейросетей покажем, можно ли её обходить и какое правило это решило. Сопоставление идёт так же, как у поисковиков: побеждает самое длинное подходящее правило, при равной длине — Allow, звёздочка заменяет любые символы, а знак доллара означает конец адреса.
Роботы нейросетей — те, что собирают ответы для Яндекс Нейро, ChatGPT, Perplexity и других. Если они закрыты, сайт реже попадает в ответы и ссылки нейросетей. Проверка разовая; чтобы узнать, когда robots.txt изменится или закроет важные страницы, подключите аудит и мониторинг сайта — они есть на бесплатном тарифе.
Подробнее — в статье «Проверка robots.txt: как найти ошибки и проверить доступ для роботов».
Хотите каждый день и с историей? Аудит сайта в SerpWatch — на бесплатном тарифе.
Термины по теме: robots.txt, Noindex, Clean-param, Поисковый робот, ИИ-краулеры.
Как выглядит результат
Настоящий отчёт проверки на демо-сайте — такой же вы получите для своего. Нажмите на снимок, чтобы открыть его целиком.

Частые вопросы
Подробно и со скриншотами — в статье «Проверка robots.txt: как найти ошибки и проверить доступ для роботов».
Закрывает ли Disallow страницу от индексации?
Не всегда. Disallow запрещает обход, но страница может попасть в поиск по внешним ссылкам без описания. Чтобы убрать страницу из поиска, используйте метатег noindex и не закрывайте её в robots.txt.
Что будет, если robots.txt нет?
Поисковики сочтут, что обходить можно всё. Файл всё же стоит завести — хотя бы со ссылкой на sitemap.xml и закрытыми служебными разделами.
Почему результат для Яндекса и Google разный?
У сайта могут быть отдельные группы правил для разных роботов. Если есть группа с именем робота, он следует только ей и не смотрит на общую группу «*».
Аудит сайта в SerpWatch — каждый день и с историей
Аудит сайта проверяет robots.txt при каждом обходе, а мониторинг сообщит, если файл внезапно закроет сайт от поиска. Бесплатный тариф навсегда.
Тариф «Старт» — 0 ₽ навсегда, без карты.
Соседние проверки — Техническое SEO
Другие бесплатные проверки: Проверка позиций в ЯндексеSEO-анализ текстаУникальность текстаПроверка индексации страницПоисковые подсказкиSEO-анализ страницыОпределение типа запросовПроверка микроразметкиПроверка орфографииПроверка сниппетаПревью ссылкиГенератор UTM-метокГотовность к ИИ-поискуЧастотность запросов Все проверки
