Формулировка «сайт не индексируется» скрывает три разных состояния: в поиске почти нет URL; находится только главная; раньше страницы были и пропали. Лечить «SEO в целом» без различения этих случаев — тратить бюджет мимо причины.
Индексация — включение URL в базу поиска с возможностью показа. Обход (crawl) — факт захода робота. Можно закрыть обход и при этом ещё какое-то время видеть старые сниппеты; можно открыть обход и слабо индексироваться из‑за качества и связности страниц.
Сначала факты, не ощущения
В день обращения зафиксируйте три проверки:
- Доступность для человека с мобильной сети вне офиса. Таймаут, заглушка хостинга, basic-auth — индексация вторична.
- Конкретный URL в поиске — полный адрес страницы, не только бренд.
- Запреты на входе —
/robots.txt(в т.ч.Disallow: /) и флаги «не индексировать» / noindex в CMS на шаблоне.
Пока эти пункты красные, семантика и ссылки рано обсуждать как основной рычаг.
Стоп-краны доступа
Типичные схемы:
- тестовый robots / «сайт в разработке» на проде;
- пароль на весь сайт;
- переключатель «запретить индексацию» в WordPress, Bitrix, Tilda и аналогичных платформах;
- путаница зеркал: www / без www, http / https, цепочки 301;
- массовые 5xx, петли редиректов, защита, режущая роботов вместе с ботами.
Частая ошибка: реклама и счётчики уже на боевом домене, а Disallow корня остался после переноса со стенда.
Когда зайти можно, а индекса слабая
Даже открытый сайт индексируют неохотно, если:
- страницы пустые или копируют друг друга;
- смысл закрыт в картинках / скриптах без адекватного HTML;
- важные разделы доступны только после цепочки кликов, которых робот не совершает;
- ценность только в PDF и внешних таблицах без посадочных HTML;
- домен новый, внешних и внутренних сигналов «сайт живой» мало.
Индексация не бывает «навсегда»: слабые URL выпадают при обновлении выбора.
Лестница действий
- SSL и стабильные ответы на боевом домене.
- Robots и noindex в CMS — снять лишнее.
- Sitemap: состав и открываемость URL.
- Одно каноническое зеркало.
- Срез 15–20 важных страниц: текст, уникальный title, ссылка из меню/хабов.
- Кабинет вебмастера — статусы по URL, не только график «страниц в поиске».
| Ситуация | Приоритет |
|---|---|
| Закрыто robots/noindex | Снять запрет, затем ждать обхода |
| Новый сайт без запретов | Усиливать страницы и связность, мониторить |
| Было в индексе, пропало | Искать 404/5xx, новый noindex, смену структуры |
| Индексируется мусор, не услуги | Чистить параметры, дубли, карту |
> Внешняя быстрая сверка без погружения в кабинеты: Проверить сайт в поиске бесплатно
Граница ответственности
Внешняя проверка показывает публичные сигналы: доступность, robots, sitemap, title, ответы страниц. Она не заменяет Search Console / Вебмастер для точных статусов URL и не гарантирует позиции. Если после снятия стоп-кранов коммерческие URL по-прежнему вне индекса — смотрите качество контента, внутреннюю перелинковку и конкурентную насыщенность, а не миф «фильтр за новый домен».
Задача подрядчику формулируйте списком проверок, а не «сделайте SEO»: что открыто в robots, есть ли noindex на шаблоне услуг, какие URL из sitemap отдают 200.
Как не смешивать диагнозы
«Сайт не в поиске» и «сайт в поиске, но не на первом месте» — разные задачи. Первая закрывается доступностью, запретами, картой и базовым качеством URL. Вторая уходит в конкуренцию, спрос, ссылочный контур и контент. Смешивать их в одном спринте дорого: команда пишет тексты, пока robots всё ещё закрыт.
Ещё один частый разрыв: бренд находится по названию компании, а коммерческие посадочные — нет. Для бизнеса это выглядит как «нас нет в поиске», хотя технически бренд-URL в индексе есть. Диагностируйте по списку целевых запросов и URL, а не по ощущению «гуглим себя».
Чек-лист передачи в агентство:
- список URL, которые обязаны быть в индексе;
- скрин robots и флага индексации CMS;
- ссылка на sitemap;
- примеры URL «было / стало» при переезде;
- доступы к вебмастеру или согласие digнуть статусы сами.
Не оплачивайте «ускорение индексации» до снятия Disallow корня и noindex на шаблоне услуг. Сначала откройте дверь, потом ускоряйте обход.
Итог
«Не индексируется» почти никогда не решается одной кнопкой. Снимите запреты доступа и индекса, дайте роботу согласованную карту и живые различимые страницы, мониторьте конкретные URL. Покупка ссылок и «ускорение» до снятия стоп-кранов работают вхолостую.
Снаружи: Проверить сайт в поиске бесплатно.