Услуги RED-GROUP

Каталог услуг

Не знаете, с чего начать?Расскажите о задаче — подберём направление.

Обсудить проект
+998 94 878-49-99Ташкент · Узбекистан
Обсудить проект
Блог
SEO / GEO / AI

Доступ сайта для поисковых и AI-краулеров

Как проверить robots.txt, noindex, JavaScript и защиту CDN, чтобы Google и AI-поиск видели нужные страницы, а закрытые данные оставались закрытыми.
06.10.2026
Чтобы открыть сайт для поисковых и AI-краулеров, нужно проверить пять вещей: ответ сервера, robots.txt, случайный noindex, доступность основного текста без JavaScript-ошибок и правила CDN или защиты от ботов. Разным роботам дают разные права: Googlebot и OAI-SearchBot отвечают за поиск, а GPTBot и Google-Extended за обучение моделей. Доступ не гарантирует цитирование, но без него его не будет.

Какие страницы должны быть открыты для краулеров?

Открытыми должны быть страницы, которые компания хочет показывать в поиске: услуги, статьи, кейсы, контакты, карточки товаров. Кабинеты, внутренние документы, тестовые стенды и персональные данные закрывают авторизацией. Robots.txt это публичная инструкция для роботов, а не замок: файл может прочитать кто угодно, и он не защищает документ.

Чем robots.txt отличается от noindex?

Robots.txt управляет обходом: может ли робот запрашивать адрес. Noindex управляет индексацией: можно ли показывать страницу в поиске. Если закрыть страницу в robots.txt, робот не прочитает её noindex, и адрес может остаться в индексе без описания. Поэтому для страниц, которые нужно убрать из поиска, используют noindex и оставляют их доступными для обхода.
Правила robots.txt действуют для конкретного хоста, протокола и порта, это описано в спецификации Google. После смены домена или перехода на HTTPS проверьте, что файл лежит на новом адресе и описывает нужные разделы. Как работать с noindex, разобрано в справке Google.

Какие AI-краулеры бывают и чем они отличаются?

Поисковые и обучающие роботы управляются отдельно, поэтому можно разрешить показ в AI-поиске и запретить использование контента для обучения.
Токен в robots.txt
Назначение
Что важно знать
Googlebot
Поиск Google, включая AI Overviews и AI Mode
Закрыть его значит выпасть из поиска
Google-Extended
Обучение моделей Gemini и grounding в Gemini Apps и Vertex AI
Не влияет на попадание в Google Поиск и ранжирование
OAI-SearchBot
Показ сайтов в поиске ChatGPT
Нужен, чтобы ChatGPT мог ссылаться на сайт
GPTBot
Сбор данных для обучения моделей OpenAI
Можно запретить, не трогая OAI-SearchBot
ChatGPT-User
Визиты по запросу пользователя в ChatGPT
Не автоматический обход, robots.txt может не применяться
Роли Google-Extended описаны в списке краулеров Google: у него нет отдельного User-Agent, это токен управления, а обход идёт обычными роботами Google. Там же сказано, что Google планирует поддержать общий сигнал предпочтений для обучения AI в начале 2027 года. Роли роботов OpenAI и их IP-диапазоны опубликованы в документации OpenAI.
Пример правил, которые разрешают поиск и запрещают обучение:
User-agent: OAI-SearchBot
Allow: /

User-agent: GPTBot
Disallow: /

User-agent: Google-Extended
Disallow: /
Это пример настройки, а не рекомендация для всех: решение о запрете обучения принимает владелец сайта.

Как проверить доступ сайта: пошагово

  1. Ответ сервера. Важная страница отдаёт код 200 и содержимое, без цикла редиректов, ошибки 5xx или технической заглушки. Проверьте HTTPS и варианты домена с www и без.
  2. robots.txt. Найдите группу правил, которая подходит каждому роботу, и убедитесь, что нужные разделы не закрыты.
  3. noindex. Проверьте meta robots и HTTP-заголовок X-Robots-Tag: случайный noindex часто остаётся после разработки.
  4. Основной текст. Посмотрите опубликованную страницу, а не редактор, и проверьте отрисованный HTML в инструменте проверки URL в Search Console.
  5. CDN и защита от ботов. Проверьте журналы блокировок, ограничения частоты и географические правила.
  6. Журналы сервера. Убедитесь, что нужные роботы действительно получают страницы, и сравните период до и после правок.

Как JavaScript влияет на доступ краулеров?

Сам JavaScript не проблема: Google умеет отрисовывать страницы, это описано в основах JavaScript SEO. Проблемы создают ошибки отрисовки, недоступные скрипты и текст, который появляется только после клика или прокрутки. Не все AI-краулеры выполняют JavaScript так же, как Googlebot, поэтому надёжнее, когда основной текст и ссылки есть в исходном HTML. Для сайтов на Tilda и WordPress это обычно так, для одностраничных приложений на React или Vue это нужно проверять.
Не подменяйте страницу для роботов другим текстом: цель в том, чтобы робот видел то же полезное содержание, что и человек. Google в руководстве по генеративному поиску рассматривает техническую доступность вместе с качеством страницы.

Что проверить в CDN и защите от ботов?

Частая ситуация: пользователь видит страницу, а робот получает страницу проверки или ошибку 403. Причина находится до сайта, в CDN или защите. Подмена User-Agent в одном запросе показывает лишь часть картины: защита может учитывать IP, частоту и поведение. Не открывайте весь трафик ради одного робота, делайте узкое правило для подтверждённого сервиса.
Проверка
Вопрос
Доказательство
HTTP
Как отвечает публичная страница?
Код ответа и полученный HTML
robots.txt
Какая группа правил подходит роботу?
Файл и проверенный путь
noindex
Есть ли случайный запрет?
Meta robots или X-Robots-Tag
Отрисовка
Доступен ли основной текст?
Проверка URL в Search Console
CDN
Не заблокирован ли нужный робот?
Журнал защиты
Динамика
Изменился ли обход после правки?
Логи за сопоставимый период

Как отличить настоящего робота от поддельного?

Любой клиент может назваться Googlebot в User-Agent. Если от этого зависит доступ или исключение из защиты, проверяйте робота официальным способом: для Google это обратный и прямой DNS-запрос или сверка с опубликованными IP-диапазонами, как описано в инструкции Google. OpenAI публикует свои диапазоны IP в той же документации о краулерах. Не закрепляйте навсегда случайный IP из одного запроса.

Учебный сценарий диагностики

Страницы услуг открываются у пользователя, а проверочный запрос получает страницу защиты CDN. Команда смотрит журнал CDN, воспроизводит отказ, вносит узкое исключение для подтверждённых IP нужного сервиса и повторяет проверку. Она не объявляет, что «GEO выросло»: доступность это необходимое условие, а не измерение будущих цитат. Измерять цитаты нужно отдельно, см. GEO-аудит бренда за 90 минут.

Как документировать изменения?

Ведите реестр: путь, ожидаемая доступность, найденное правило, дата изменения, результат повторной проверки и ответственный. Для сайтов на русском и узбекском проверяйте обе версии, изображения и PDF-документы. После переноса сайта или подключения новой защиты повторите тест: вчерашняя доступность не гарантирует сегодняшнюю. Чек-лист после переезда есть в статье редизайн без потери SEO.

Чего не стоит делать

  • Открывать закрытые данные ради индексации.
  • Запрещать всех ботов через «User-agent: *», не понимая их ролей.
  • Закрывать в robots.txt страницы, которые должны выпасть из индекса через noindex.
  • Считать llms.txt заменой robots.txt и доступности.
  • Доверять только имени User-Agent.
  • Снимать всю защиту CDN без диагностики.
  • Обещать цитирование после одной технической правки.

Частые вопросы

Можно ли разрешить AI-поиск, но запретить обучение?

Да. OpenAI разделяет OAI-SearchBot для поиска и GPTBot для обучения, Google отделяет Google-Extended от Googlebot. Запрет обучающих токенов не убирает сайт из поиска.

Если закрыть Google-Extended, сайт пропадёт из AI Overviews?

Нет. По документации Google, Google-Extended не влияет на попадание в Google Поиск и ранжирование. AI Overviews и AI Mode относятся к Поиску и зависят от Googlebot.

Нужен ли llms.txt для Google?

Google не требует специального AI-файла для своих поисковых AI-функций. Начните с доступности и полезного содержания, подробнее в статье нужен ли llms.txt.

Почему после открытия доступа нет цитат?

Получение страницы роботом не означает её выбор для ответа. Нужны релевантность, полезное содержание и время на повторный обход.
RED-GROUP проверит ответы сервера, robots.txt, отрисовку и защиту на ключевых страницах и отделит проблемы доступа от других причин отсутствия в поиске. Подробнее о техническом SEO-аудите сайта.

Заказать технический аудит

Читайте также

Источники

Смотрите также