Что такое директива Clean-param

Clean-param — директива robots.txt, которую понимает Яндекс. Она сообщает, какие параметры в адресе не меняют содержимое страницы, чтобы робот не считал такие адреса разными страницами.

Синтаксис

Clean-param: utm_source&utm_medium&utm_campaign /
Clean-param: sort&order /catalog/

Сначала параметры через &, затем необязательный префикс пути, к которому правило применяется.

Когда нужна

• UTM-метки и метки рекламы: yclid, gclid, from;
• сортировка и порядок вывода товаров;
• идентификаторы сессий и служебные параметры.

Почему лучше, чем Disallow

Disallow просто запрещает обход. Clean-param склеивает адреса: робот понимает, что /akpp?utm_source=vk — это /akpp, и передаёт сигналы основной странице. Плюс экономится краулинговый бюджет.

Как проверить

В Вебмастере есть анализатор robots.txt. В разделе страниц в поиске видно, остались ли адреса с параметрами.

Частые вопросы

Понимает ли Clean-param Google?

Нет, это директива Яндекса. Для Google используйте canonical на адрес без параметров.

Можно ли закрыть параметры фильтров через Clean-param?

Только если фильтр не меняет содержимое. Если меняет — это отдельные страницы, и решать надо через canonical или noindex.