Сообщение «сайт закрыт в robots.txt» в кабинете вебмастера обычно буквальное: роботу на входе запрещён обход. Самая жёсткая форма — запрет корня. Пока он действует на боевом домене, остальные SEO-работы дают урезанный эффект.
Как выглядит полное закрытие
Откройте https://ваш-домен/robots.txt. Классический карантин:
`` User-agent: * Disallow: / ``
Смысл: любой робот из блока не обходит ничего от корня. На тестовом стенде — нормальная практика. На проде коммерческого сайта — стоп-кран.
Встречаются и частичные, но болезненные варианты:
- закрыт весь
/catalog/или/blog/, хотя раздел должен приносить спрос из поиска; - разные правила для Google и Яндекса, одно из них жёстче ожидаемого;
- Allow только для узкой папки при широком Disallow.
Почему так оказывается на проде
Типовые схемы, не «злой SEO»:
- Выкат со стенда вместе с закрытым robots.
- Галочка конструктора «скрыть сайт из поиска».
- Временный запрет «пока не готов прайс», который забыли снять.
- Правка файла на неосновном зеркале.
Отделяйте намеренный препродакшн-карантин от забытого запрета после запуска рекламы.
Что происходит, пока закрыто
- Новые страницы с трудом попадают в индекс.
- Обновления уже известных URL робот может долго не видеть.
- Ранее проиндексированные адреса могут ещё мелькать, но актуальность вы не контролируете.
Закрытие в robots не замена точечному noindex для служебных страниц. Полный Disallow ради скрытия корзины — избыточная мера: вы гасите обход там, где нужен трафик.
Порядок действий
- Откройте robots с канонического HTTPS.
- Найдите
Disallow: /или широкие маски на коммерческие пути. - Зафиксируйте политику: что должно быть в поиске (услуги, категории, материалы) и что нет (админка, корзина, ЛК, внутренний поиск).
- Отредактируйте файл или снимите галочку в CMS; сохраните.
- Перепроверьте в инкогнито — на проде именно новая версия.
- Проверьте 3–5 ключевых URL: без пароля и без «техработ» для всех.
Если ручная правка перетирается галочкой «в разработке» — сначала снимите переключатель.
Частичное закрытие: не паниковать раньше времени
Нормальные запреты:
- админ-панель;
- корзина и оформление заказа;
- внутренний поиск с бесконечными параметрами;
- служебные превью внутри того же домена.
Плохо, когда под запрет попали URL из меню, рекламы и коммерческих посадочных. Быстрый тест: возьмите адрес из объявления и спросите у разработчика, цепляет ли его маска Disallow.
| Нашли | Действие |
|---|---|
Disallow: / на проде | Убрать; оставить точечные пути |
| Закрыт коммерческий раздел | Сузить маску или открыть раздел |
| Расхождение зеркал | Выровнять robots на каноне |
| Галочка CMS | Снять; проверить файл |
> Внешняя проверка, выглядит ли сайт открытым для обхода: Проверить сайт в поиске бесплатно
После открытия
Снятие запрета — старт, не финал:
- актуальный sitemap;
- стабильные ответы страниц;
- различимые title и содержание;
- при необходимости — запрос переобхода в вебмастере.
Если сайт был закрыт месяцами, не ждите мгновенного восстановления выдачи. Но без открытия robots остальные усилия системно простаивают.
Коммуникация с разработчиком и SEO
Разделите роли. Разработчик/админ публикует корректный файл и снимает галочку CMS. SEO фиксирует, какие разделы должны остаться закрытыми, и после открытия запускает мониторинг URL. Маркетинг не включает масштабный performance-бюджет, пока не подтверждён открытый robots на каноне.
Текст для тикета:
«На проде https://домен/robots.txt сейчас содержит Disallow: /. Нужно: убрать полный запрет; оставить Disallow только для /admin, /cart, /personal; убедиться, что услуговые пути открыты; прислать итоговый файл и скрин из инкогнито».
После правки не считайте задачу закрытой по слову «готово». Откройте файл сами. Затем выборочно проверьте коммерческие URL на отсутствие HTTP-авторизации и служебных заглушек.
Если вебмастер ещё показывает «закрыто robots», уточните дату переобхода файла: расхождение между фактом на проде и статусом в кабинете бывает временным. Сначала факт файла, потом интерпретация кабинета.
Зафиксируйте дату снятия запрета в общем чате команды: от неё считаете ожидание переобхода, а не от ощущения «мы давно открыли».
Итог
«Сайт закрыт в robots.txt» почти всегда про ваш файл с запретом обхода, чаще всего Disallow: /. Откройте коммерческие разделы, оставьте закрытыми служебные зоны, подтвердите текст на боевом URL. Пока дверь заперта, разговоры про продвижение преждевременны.
Снаружи: Проверить сайт в поиске бесплатно.