Позиции редко падают из-за алгоритмов в один день. Чаще причина приземлённая: сайт лежал ночью, истёк сертификат, после релиза в robots.txt остался запрет с тестового сервера или на главную попал noindex. Поисковик заходит в этот момент, видит ошибку и через несколько дней убирает страницы из выдачи. Владелец узнаёт об этом по просевшим заявкам.
Мониторинг сайта нужен, чтобы узнать о такой поломке в тот же день, а не через две недели по графику позиций.
Что может сломаться и как это бьёт по позициям
Сайт не отвечает или отдаёт 5xx. Робот, который несколько раз подряд получил ошибку сервера, реже приходит и может временно исключить страницы. Короткий сбой на пару минут не страшен. Опасны многочасовые простои и «плавающие» 503 под нагрузкой.
Истёк SSL-сертификат. Браузер показывает посетителю полноэкранное предупреждение, и почти все уходят. Поисковые роботы тоже не обходят сайт с недействительным сертификатом. Чаще всего ломается автопродление: сменили хостинг, перенесли DNS или забыли продлить платный сертификат.
Закончилась оплата домена. После окончания срока домен снимают с делегирования: сайт перестаёт открываться целиком. Если не продлить вовремя, домен освободится и его могут зарегистрировать другие люди, вместе со всей ссылочной массой и историей.
Изменился robots.txt. Одна строка Disallow: / закрывает сайт от всех роботов. Типичная история: разработчики готовили новую версию на тестовом домене, закрыли его от индексации и выкатили на боевой сайт вместе с robots.txt.
На главной появился noindex. Тот же сценарий, только запрет приходит в мета-теге или в заголовке X-Robots-Tag. Снаружи сайт работает как обычно, и заметить проблему глазами почти невозможно.
Сломалась склейка зеркал. Версии с www и без, http и https должны вести на одно главное зеркало постоянным 301-редиректом. Если редирект стал временным (302) или пропал совсем, поисковик видит дубли и может сменить главное зеркало сам.
Реальные сценарии сбоев
- Интернет-магазин переехал на новый хостинг в пятницу вечером. Автопродление сертификата на новом сервере не настроили, и через месяц, в выходные, сайт перестал открываться в браузерах. Заметили только в понедельник по пустой ленте заказов.
- После обновления CMS в robots.txt вернулся файл «по умолчанию» с запретом на весь каталог. Через неделю из поиска выпала половина товаров.
- Карта банка, привязанная к оплате домена, истекла. Регистратор присылал письма на ящик уволенного сотрудника. Сайт пропал из интернета на три дня, пока искали доступы к аккаунту регистратора.
- Программист включил
noindexна время редизайна и забыл убрать. Главная выпала из выдачи по брендовым запросам.
Во всех случаях ошибку исправляли за 10 минут. Позиции восстанавливались неделями.
Что проверять каждый день
- Ответ главной и важных страниц: код ответа, время ответа, цепочку редиректов и конечный адрес. Важные страницы — разделы услуг, каталог, прайс, контакты.
- Зеркала: все варианты адреса ведут на главное зеркало одним редиректом 301.
- SSL-сертификат: действителен ли, кто выдал, сколько дней осталось.
- Срок регистрации домена. Для .ru и .рф его отдаёт WHOIS координатора, для международных зон — RDAP.
- robots.txt: код ответа и содержимое. Важно не только знать, что файл изменился, но и видеть, какие строки убрали и какие добавили.
- noindex на главной — и в мета-теге, и в HTTP-заголовке.
Проверять вручную каждый день никто не будет, поэтому проверка должна быть автоматической, а оповещение — приходить туда, где его увидят: в Telegram.
Как это устроено в SerpWatch
В проекте откройте «Сайт» → «Мониторинг». Сервис раз в сутки проверяет главную и до 10 важных страниц, зеркала, сертификат, срок домена и robots.txt. Кнопка «Проверить сейчас» запускает внеплановую проверку, например сразу после релиза.

Наверху — плитки: доступность, SSL («истекает через N дней»), домен («оплачен до»), robots.txt и зеркала. Под ними — полоса за 30 дней: зелёный день — всё в порядке, жёлтый — есть замечания, красный — главная не отвечала. Ниже — время ответа главной, журнал событий и сравнение версий robots.txt построчно.
Если к проекту подключён Telegram, сообщение приходит, когда главная не отвечает, на ней появился noindex, robots.txt закрыл сайт от Яндекса или Google, до конца сертификата осталось 14 дней или до конца оплаты домена — 30. О событии одного типа пишем не чаще раза в день, чтобы оповещения не превращались в шум. Изменения отдельных страниц — title, H1, текст — отслеживает Радар, а полную проверку сайта делает технический аудит.
Что делать, когда пришло оповещение
- «Главная отдала 503» или «не открывается». Откройте сайт сами и с мобильного интернета. Если не открывается — пишите в поддержку хостинга и разработчику, приложив время сбоя. Если сбои повторяются, проверьте нагрузку и тариф хостинга.
- «Сертификат истекает через 14 дней». Проверьте автопродление: для бесплатных сертификатов — что задача продления работает на текущем сервере, для платных — что оплата прошла. Не откладывайте до последнего дня.
- «Домен оплачен до…, осталось 30 дней». Войдите в кабинет регистратора, продлите домен на год-два и включите автопродление. Проверьте, что контактная почта — рабочая.
- «robots.txt закрывает сайт». Откройте сравнение версий в разделе «Мониторинг», верните прежний файл и выясните, какой релиз его заменил. После исправления отправьте главные страницы на переобход в Вебмастере.
- «На главной noindex». Уберите мета-тег или заголовок, проверьте шаблоны остальных страниц и индексацию через несколько дней.
- Замечания по зеркалам. Замените 302 на 301 и сократите цепочку: каждый вариант адреса должен вести на главное зеркало одним шагом.
Частые вопросы
Как часто нужно проверять сайт?
Для SEO достаточно раза в сутки плюс внеплановой проверки после каждого релиза. Поисковик реагирует на долгие и повторяющиеся сбои, а не на минутный простой. Если сайт приносит заказы круглосуточно, дополнительно поставьте поминутный мониторинг доступности у хостинга.
Почему для домена в зоне .ru иногда нет данных?
Срок оплаты .ru и .рф берётся из WHOIS координатора доменов. Если сервер WHOIS не ответил или регистратор скрыл дату, плитка покажет «нет данных». Срок всегда можно посмотреть в кабинете регистратора.
Любое изменение robots.txt — это плохо?
Нет. Добавить Clean-param или закрыть сортировки — нормальная работа. Опасны правки, которые закрывают весь сайт от всех роботов, от Яндекса или от Google. Такие изменения мы отмечаем красным и присылаем в Telegram, остальные просто показываем в журнале.
Мониторинг сайта в SerpWatch
Доступность, SSL, срок домена, robots.txt и зеркала каждый день с оповещением в Telegram


