SerpWatch
Меню

Как проверить индексацию сайта в Google и отправить sitemap

Почему страницы не попадают в индекс Google, как отправить sitemap в Search Console и проверять важные страницы каждый день без ручной рутины.

Вы опубликовали новую страницу услуги, в Яндексе она уже в поиске, а в Google её нет ни через неделю, ни через месяц. Или наоборот: страница годами приносила заявки из Google и вдруг пропала — а заметили это только по просевшей посещаемости.

Индексация — первое, с чего начинается трафик. Страница, которой нет в индексе, не может занять никакую позицию, сколько бы сил ни ушло на текст и ссылки. Разберём, как Google находит и индексирует страницы, зачем ему sitemap, как проверить индексацию конкретного адреса и как поставить всё это на автомат.

Как Google индексирует страницы

У Google три шага, и на каждом страница может застрять:

  1. Обнаружение. Googlebot узнаёт об адресе — по ссылке с другой страницы или из карты сайта. Если ссылок нет и в sitemap адреса тоже нет, Google о странице может просто не знать.
  2. Сканирование. Робот скачивает страницу. Здесь мешают запрет в robots.txt, ошибки сервера, редиректы по кругу, ответ 404 или страница, которую Google считает пустой («soft 404»).
  3. Индексирование. Google решает, стоит ли добавлять страницу в индекс. Он не добавит её, если стоит noindex, если это дубль другой страницы или если содержимое показалось ему недостаточно полезным.

Поэтому в Search Console у страниц такие разные состояния: «Google знает о странице, но ещё не сканировал», «Просканирована, но пока не в индексе», «Дубль: Google выбрал другой canonical». У каждого — своя причина и свой способ исправления.

Зачем отправлять sitemap в Google

Карта сайта — список адресов, которые вы считаете важными. Она не гарантирует индексацию, но ускоряет обнаружение: новые и редко связанные ссылками страницы Google найдёт быстрее. А в Search Console видно, сколько адресов из карты он прочитал и были ли в ней ошибки.

Чтобы карта работала:

  • в ней должны быть только нормальные страницы: ответ 200, без noindex, с canonical на себя;
  • карта лежит на том же сайте и указана в robots.txt строкой Sitemap:;
  • после крупных изменений — новый раздел, переезд, чистка дублей — карту стоит отправить заново.

Как собрать правильную карту, мы подробно разобрали в статье «Как сделать sitemap.xml», а про строку Sitemap и запреты — в разборе robots.txt.

Как проверить индексацию страницы в Google

Самый точный способ — инструмент «Проверка URL» в Search Console. Он показывает:

  • в индексе ли страница и если нет, то почему;
  • дату последнего обхода — давно ли Googlebot заходил на страницу;
  • каким роботом сканировали — мобильным или для компьютеров;
  • canonical, указанный на странице, и canonical, который выбрал Google. Если они не совпадают, в поиске может показываться другая страница, а ваша — считаться дублем.

Оператор site: в поиске для этого не подходит: он показывает примерное число страниц и не объясняет, почему конкретного адреса нет.

Проблема ручной проверки — масштаб. Проверить пять страниц несложно. Проверять каждую неделю сотню посадочных страниц, целевые страницы запросов и всё, что есть в карте сайта, вручную никто не будет. Поэтому выпавшую из индекса страницу обычно замечают по потере трафика — то есть слишком поздно.

Как это делается в SerpWatch

SerpWatch подключается к Search Console вашего сайта и берёт на себя обе задачи — отправку карты и проверку индексации.

Индексация важных страниц

В разделе «Индексация» → «Google» сервис сам проверяет важные страницы проекта: целевые страницы запросов, страницы из последнего аудита и адреса из карты сайта. Каждую ночь — до 200 страниц на проект: сначала те, что ещё ни разу не проверяли, потом давно не проверенные.

Раздел «Индексация → Google»: в индексе 13 из 17 страниц, проблемные страницы с причинами и canonical, выбранный Google
Раздел «Индексация → Google»: в индексе 13 из 17 страниц, проблемные страницы с причинами и canonical, выбранный Google

Что видно на экране:

  • «В индексе N из M» — общая картина по проверенным страницам;
  • проблемные страницы с причиной по-русски: закрыта noindex, закрыта в robots.txt, Google знает о странице, но не сканировал, просканирована, но не в индексе;
  • дата последнего обхода — видно страницы, к которым Google давно не возвращался;
  • страницы, выпавшие из индекса с прошлой проверки, помечены отдельно;
  • страницы, где Google выбрал другой canonical, — повод проверить дубли.

Любой адрес можно проверить вручную, весь список — выгрузить в CSV. Страницы не в индексе сами попадают в «План работ» задачей, а когда Google вернёт их в индекс, задача закроется.

Отправка sitemap в Google

В разделе «Карта сайта» рядом с картами из Вебмастера появился блок «Sitemap в Google»: какие карты знает Search Console, сколько в них адресов, есть ли ошибки, когда Google отправку получил и когда скачал карту.

Блок «Sitemap в Google»: список карт из Search Console, кнопка отправки и автоотправка раз в неделю
Блок «Sitemap в Google»: список карт из Search Console, кнопка отправки и автоотправка раз в неделю

Отправить карту — одна кнопка. По умолчанию подставлен адрес /sitemap.xml вашего сайта, можно указать свой. Галочка «Отправлять карту автоматически раз в неделю» избавит от необходимости помнить об этом после каждого обновления сайта.

Если карты ещё нет, её можно собрать здесь же: генератор строит sitemap.xml по обходу сайта, только из нормальных страниц.

С чего начать

  1. Зарегистрируйтесь и создайте проект — это бесплатно.
  2. В разделе «Интеграции» подключите Google и разрешите доступ к Search Console, затем выберите сайт в настройках проекта.
  3. Откройте «Индексация» → «Google» и нажмите «Проверить страницы». Дальше проверка пойдёт сама, каждую ночь.

Яндекс подключается так же — и индексация обоих поисковиков будет в одном разделе.

Попробовать SerpWatch бесплатно

Частые вопросы

Почему страница есть в sitemap, но не в индексе Google?

Карта только сообщает Google об адресе — решение об индексации он принимает сам. Частые причины: noindex, запрет в robots.txt, дубль другой страницы или недостаточно полезное содержимое. В SerpWatch причина видна рядом с каждой страницей.

Нужно ли давать SerpWatch право на изменение в Search Console?

Для проверки индексации достаточно права на чтение. Право на изменение нужно только для отправки sitemap: без него список карт виден, а кнопка предложит переподключить Google с нужным правом.

Сколько страниц можно проверить?

Google ограничивает проверку адресов квотой на сайт — около 2000 в день. SerpWatch проверяет до 200 важных страниц проекта за ночь, поэтому квоты хватает и на ручные проверки.

Индексация и ИКС в SerpWatch

Страницы в поиске Яндекса и Google, ИКС, причины исключения

Индексация и ИКС в SerpWatch — экран сервиса
Проверка индексации страниц — бесплатноБез регистрации: введите адрес и получите результат