Что такое поисковый робот

Поисковый робот (краулер, паук) — программа поисковой системы, которая скачивает страницы сайтов, находит на них ссылки и переходит по ним дальше. Скачанные страницы попадают в базу, из которой строится выдача.

Роботы Яндекса и Google

Основной робот Яндекса представляется как YandexBot, Google — Googlebot. Есть и отдельные роботы для картинок, видео, мобильной версии, рекламы.

Как робот находит страницы

• по ссылкам на сайте и с других сайтов;
• из sitemap.xml;
• из уведомлений IndexNow и переобхода в Вебмастере.

Что ему мешает

• запреты в robots.txt;
• ошибки сервера и медленные ответы;
• контент, который появляется только после работы скриптов — см. JavaScript и индексация;
• защита от ботов, которая блокирует и поисковиков.

Как проверить

В Яндекс Вебмастере есть статистика обхода: сколько страниц робот посещает и какие коды получает. Аудит SerpWatch обходит сайт похожим образом и показывает, куда робот не может добраться.

Частые вопросы

Как понять, что на сайт заходил настоящий робот Яндекса?

Проверьте IP-адрес обратным DNS-запросом: настоящий робот приходит с адресов, которые принадлежат Яндексу. Название в User-Agent легко подделать.

Можно ли запретить обход роботам нейросетей?

Можно в robots.txt по их именам. Но тогда нейросети не смогут цитировать ваш сайт.