Что такое X-Robots-Tag

X-Robots-Tag — HTTP-заголовок, который сервер отдаёт вместе с ответом и в котором указаны правила для поисковых роботов: индексировать ли документ и переходить ли по ссылкам. По смыслу он повторяет метатег robots, но живёт не в коде страницы, а в заголовках ответа.

Чем удобен

Метатег <meta name="robots" content="noindex"> можно поставить только в HTML. А PDF, картинки, документы Word или выгрузки в XML своего <head> не имеют. Для них X-Robots-Tag — единственный способ сказать роботу «не индексируй». Ещё один плюс — правило можно задать сразу для целой папки или типа файлов одной строкой в настройках сервера.

Как выглядит

X-Robots-Tag: noindex — не добавлять документ в поиск. X-Robots-Tag: noindex, nofollow — не индексировать и не переходить по ссылкам.

Значения те же, что у метатега: noindex, nofollow, none и другие. Заголовок добавляют в настройках nginx или Apache либо в коде сайта.

X-Robots-Tag и robots.txt

Это разные инструменты. Robots.txt запрещает роботу скачивать адрес, а X-Robots-Tag запрещает показывать документ в поиске. Если закрыть файл в robots.txt, робот не скачает его и не увидит заголовок с noindex. Поэтому для удаления из индекса доступ в robots.txt должен быть открыт.

Частые ошибки

• заголовок noindex остался на всём сайте после переноса с тестового сервера;
• правило для «служебных» файлов по ошибке задело и обычные страницы;
• одновременно стоят противоречивые указания в заголовке и в метатеге.

Пример

Компания выложила прайс-листы в PDF, и в выдаче они стали конкурировать со страницами услуг. В настройках сервера добавили X-Robots-Tag: noindex для всех PDF — файлы ушли из поиска, а посетители на страницах по-прежнему могут их скачать.

Частые вопросы

Как увидеть X-Robots-Tag, если его нет в коде страницы?

Посмотреть HTTP-заголовки ответа: в инструментах разработчика браузера на вкладке «Сеть» или в проверке заголовков.

Понимает ли X-Robots-Tag Яндекс?

Да, Яндекс поддерживает этот заголовок наравне с метатегом robots.