Как сделать sitemap.xml и добавить его в Яндекс Вебмастер

Сделать sitemap.xml несложно: это обычный файл со списком адресов страниц, которые вы хотите видеть в поиске. Сложнее сделать его правильно — так, чтобы в карте были все нужные страницы и не было мусора, а Яндекс ей доверял.

Разберём, как устроен файл, что в него класть, как быть с большими сайтами и датами изменения, как добавить карту в Вебмастер и какие ошибки встречаются чаще всего.

Что такое sitemap.xml и зачем он нужен

Sitemap.xml — карта сайта для поисковых роботов. Робот Яндекса находит страницы двумя путями: переходит по ссылкам и читает карту. Карта помогает в случаях, когда ссылок мало или до страницы далеко:

• новые страницы — товары, статьи, услуги, на которые ещё мало ссылок;
• большие каталоги — страницы глубоко в структуре, до которых робот по ссылкам доходит медленно;
• изменённые страницы — если дата изменения указана честно, робот может узнать, что страницу стоит перечитать.

Чего карта не делает: она не гарантирует, что страница попадёт в поиск и тем более в топ. Это подсказка роботу, где искать, а не приказ.

Формат файла

Карта — это XML-файл в кодировке UTF-8. Внутри — общий контейнер urlset, а в нём по блоку url на каждую страницу.

Что важно в адресах:

• только полные адреса с https и доменом, без относительных путей;
• ровно в том виде, как в поиске — с тем же протоколом, www или без, со слешем или без;
• только свой домен — адреса с другого сайта в карте не учитываются;
• спецсимволы экранированы: знак & в адресе записывается как &, иначе файл не прочитается.

На changefreq и priority полагаться не стоит. Это необязательные подсказки, и поисковики вправе их не учитывать. Если CMS проставляет у всех страниц priority 1.0 и changefreq «daily», ничего страшного, но и пользы от этого нет.

Какие страницы включать, а какие нет

Правило простое: в карте только те страницы, которые вы хотите видеть в выдаче и которые нормально открываются.

Включать:

• главную, разделы и категории;
• страницы услуг и карточки товаров;
• статьи, новости, справочные страницы;
• страницы контактов, доставки, оплаты, если они полезны людям.

Не включать:

• страницы с ошибкой 404 или 5xx;
• адреса, которые делают редирект на другие;
• страницы, закрытые noindex или запрещённые в robots.txt;
• страницы с canonical на другой адрес — фильтры, сортировки, дубли;
• корзину, личный кабинет, поиск по сайту, служебные адреса;
• адреса с UTM-метками и другими параметрами.

Большие сайты: индексный файл

По стандарту в одном файле карты — не больше 50 000 адресов, а сам файл без сжатия не должен весить больше 50 МБ. Если страниц больше, карту делят на несколько файлов и создают индексный файл — оглавление, которое ссылается на все части.

Как это обычно устроено:

• sitemap.xml — индексный файл со списком частей в контейнере sitemapindex;
• sitemap-catalog.xml, sitemap-articles.xml, sitemap-pages.xml — отдельные части по разделам.

Делить по разделам удобно и при небольшом сайте: в Вебмастере сразу видно, с какой частью проблемы. Файлы можно отдавать сжатыми в gzip — это экономит трафик на больших каталогах.

lastmod: только честная дата

Lastmod — самый полезный необязательный тег, если он честный. И самый бесполезный, если нет.

Частая ошибка: CMS ставит всем страницам сегодняшнюю дату при каждой генерации карты. В итоге робот видит, что «изменилось всё», хотя на деле поменялась одна страница. Такой сигнал ничего не сообщает, и полагаться на него поисковику незачем.

Как правильно:

• меняйте lastmod, когда меняется содержимое: текст, цена, наличие, характеристики;
• не меняйте его из-за правки в шапке, футере или счётчика просмотров;
• если честной даты нет, лучше вообще не указывать lastmod, чем ставить сегодняшнюю у всех.

Как сделать sitemap.xml: три способа

1. Средствами CMS

Большинство популярных CMS умеют делать карту сами — встроенно или через модуль. Это лучший вариант для живого сайта: новые страницы попадают в карту автоматически. После настройки обязательно откройте файл и проверьте, что в нём нет фильтров, служебных страниц и дат «всё сегодня».

2. Генератор по обходу сайта

Если CMS карту не делает или делает плохо, карту можно собрать по результатам обхода сайта. В SerpWatch генератор карты строит sitemap.xml по последнему аудиту и берёт только нормальные страницы: с кодом ответа 200, без noindex и без canonical на другой адрес.

3. Скрипт на сервере

Для самописных сайтов и больших каталогов карту обычно генерирует сам сайт по базе данных — по расписанию или при каждом изменении. Это задача программиста, и здесь важно сразу заложить правила: какие страницы исключать и откуда брать честный lastmod.

Пропишите карту в robots.txt

Добавьте в robots.txt отдельную строку с полным адресом карты, например: Sitemap: https://site.ru/sitemap.xml. Строка может стоять в любом месте файла. Если карт несколько и нет индексного файла, укажите каждую отдельной строкой.

Так карту найдёт любой робот, даже если вы забыли добавить её в кабинет поисковика.

Как добавить sitemap в Яндекс Вебмастер

1. Добавьте сайт в Вебмастер и подтвердите права, если ещё не сделали этого.
2. Откройте раздел «Индексирование» и в нём «Файлы Sitemap».
3. Вставьте полный адрес карты и нажмите «Добавить».
4. Подождите обработки: файл появится в списке, со временем у него будет статус, число адресов и ошибки, если они есть.

Обработка происходит не мгновенно. Не нужно добавлять карту заново каждый день — Яндекс сам периодически перечитывает добавленные файлы.

В SerpWatch карту можно отправить в Вебмастер прямо из раздела карты сайта, если проект подключён к Вебмастеру. Там же видно, какие карты знает Яндекс, сколько в них адресов и ошибок.

Типичные ошибки

• В карте мусор: редиректы, 404, страницы с noindex и canonical на другой адрес.
• В карте нет новых страниц — карту сделали один раз и забыли.
• Сегодняшний lastmod у всех страниц.
• Не та версия адресов: http вместо https, с www при главном зеркале без www.
• Карта на другом домене или поддомене, чем сам сайт.
• Карта закрыта в robots.txt или отдаёт ошибку вместо XML.
• Битый XML: неэкранированный амперсанд или обрыв файла ломают его целиком.

Проверить свою карту можно сверкой с сайтом: сервис скачает карту по адресам из robots.txt, сравнит с обходом и покажет, каких нормальных страниц в ней нет, а какие лишние — с причиной у каждого адреса. О том, сколько страниц уже в поиске, подскажет бесплатная проверка индексации.

Частые вопросы

Какие страницы включать в sitemap.xml?

Только страницы, которые должны быть в поиске: с кодом 200, без noindex и с canonical на саму себя.

Нужно ли указывать priority и changefreq?

Нет необходимости: поисковики почти не учитывают эти поля. Полезнее честный lastmod — дата реального изменения страницы.

Где проверить sitemap.xml?

В Яндекс Вебмастере, в разделе «Индексирование» → «Файлы Sitemap», и в Google Search Console. В SerpWatch есть проверка карты сайта на ошибки.

Коротко

• Sitemap.xml подсказывает роботу, какие страницы есть на сайте, но не гарантирует их попадание в поиск.
• В карте только рабочие страницы, которые нужны в выдаче: без редиректов, ошибок, noindex и дублей.
• Больше 50 000 адресов — делите карту на части и создавайте индексный файл.
• Lastmod ставьте только по реальному изменению содержимого или не ставьте вовсе.
• Пропишите карту в robots.txt, добавьте её в Вебмастер в разделе «Индексирование» и регулярно сверяйте с сайтом.