Масштаб проблемы
В более чем 40% внешних аудитов e-commerce Lumen.studio находит meta robots noindex,nofollow на главной странице или каталоге. Сайт выглядит нормально в браузере, но для Google, Яндекса и AI-ботов его не существует.
Владелец видит трафик с рекламы и соцсетей и не замечает, что органика и AI-канал обнулены. Проблема может длиться месяцами после «режима разработки» или миграции.
Снятие noindex — буквально первый шаг любого GEO-проекта. Без этого бессмысленны schema, llms.txt и контент.
Откуда берётся noindex
Tilda: галочка «Запретить индексацию» в настройках страницы или всего сайта при публикации тестовой версии. Часто забывают снять при go-live.
WordPress: «Видимость для поисковых систем — не индексировать» в Настройки → Чтение. Плагины SEO иногда дублируют noindex на архивах.
Bitrix, самописные CMS: HTTP-заголовок X-Robots-Tag: noindex от staging-конфига, скопированный на прод. Конструкторы лендингов с password protection.
- meta name="robots" content="noindex"
- X-Robots-Tag в ответе сервера
- Disallow всего сайта в robots.txt — отдельная ошибка
Как проверить за 2 минуты
Откройте главную → ПКМ → «Просмотр кода страницы» (View Source) → Ctrl+F → noindex. Если нашли — это блокер №1.
Повторите для /catalog, /shop, /products — где живёт каталог. Проверьте HTTP-заголовки через curl -I или devtools Network.
Google Search Console → «Проверка URL» → «Доступно Google?». Яндекс.Вебмастер — аналог. Статус «Исключено: noindex» — прямое подтверждение.
Почему AI страдает сильнее SEO
SEO-специалист хотя бы раз в квартал заглядывает в Search Console. AI-видимость никто не мониторит — пока клиент не спросит ChatGPT про бренд и не увидит тишину.
Browsing-агенты не «угадывают» закрытые страницы из кэша соцсетей. Нет индекса — нет retrieval — нет цитирования.
После снятия noindex переобход занимает от нескольких дней до 4 недель. Торопитесь до того, как конкурент займёт место в ответах AI.
Кейс: магазин одежды
Обезличенный проект: D2C-бренд мужской одежды, 6 месяцев noindex на главной после редизайна Tilda. Реклама вела на лендинги с отдельными URL — они индексировались, главная и каталог — нет.
ChatGPT при запросе о бренде находил только карточки на маркетплейсе. После Старта 30k (снятие noindex + Product schema) AI visibility score вырос с 28 до 74 за 8 недель.
Органический трафик +40% — бонус к AI, не замена.
Исправление и профилактика
Снимите noindex в CMS, очистите кэш CDN, запросите переобход в Search Console. Добавьте в чек-лист деплоя: «robots meta = index,follow на проде».
Staging-домен должен иметь noindex — это правильно. Прод — никогда. Используйте разные .env или robots на поддомене dev.
В пакете Старт Lumen.studio фиксируем индексацию на всех шаблонах и отдаём скриншоты проверки до/после.
Связанные ошибки
noindex только на мобильной версии — реже, но встречается при кривых адаптивных шаблонах. canonical на чужой домен — страница индексируется не у вас.
password protection на весь каталог для «оптовиков» — убийца GEO. Выделите B2B на поддомен с отдельной политикой, а витрину держите открытой.
Полный чек-лист — статья «15 пунктов AI-аудита» в этом блоге.