Что такое краулинговый бюджет

Краулинговый бюджет — сколько страниц сайта поисковый робот готов обойти за определённое время. Он зависит от размера и полезности сайта и от того, насколько быстро и стабильно отвечает сервер.

Когда это важно

Для сайта на 50 страниц — почти никогда: робот и так обойдёт всё. Бюджет становится проблемой у интернет-магазинов, агрегаторов и порталов с тысячами страниц, где новые товары неделями не попадают в поиск, потому что робот занят другим.

На что бюджет тратится впустую

• дубли из-за параметров: сортировки, фильтры, UTM-метки;
• цепочки редиректов и внутренние ссылки на них;
• битые ссылки и страницы с ошибками;
• бесконечные календари, бесконечная пагинация, страницы поиска по сайту.

Как беречь

• закрыть мусорные адреса в robots.txt, для параметров — Clean-param;
• держать актуальной sitemap.xml — только страницы, которые должны быть в поиске;
• ускорить ответ сервера и убрать ошибки 5xx;
• ставить ссылки сразу на конечные адреса.

Как проверить

В Яндекс Вебмастере видно, сколько страниц робот обходит в день и какие коды ответа получает. Аудит SerpWatch найдёт дубли, редиректы, битые ссылки и страницы, которых нет в sitemap.xml.

Частые вопросы

Нужно ли небольшому сайту думать о краулинговом бюджете?

Обычно нет: сайт на десятки или сотни страниц робот обходит целиком. Бюджет важен для сайтов с тысячами страниц.

Как узнать, сколько страниц обходит робот?

В Яндекс Вебмастере, в разделе статистики обхода: там видно число страниц в день и коды ответа.