SEO / GEO / AI
Доступ сайта для поисковых и AI-краулеров
Как проверить robots.txt, noindex, JavaScript и защиту CDN, чтобы Google и AI-поиск видели нужные страницы, а закрытые данные оставались закрытыми.
06.10.2026
Чтобы открыть сайт для поисковых и AI-краулеров, нужно проверить пять вещей: ответ сервера, robots.txt, случайный noindex, доступность основного текста без JavaScript-ошибок и правила CDN или защиты от ботов. Разным роботам дают разные права: Googlebot и OAI-SearchBot отвечают за поиск, а GPTBot и Google-Extended за обучение моделей. Доступ не гарантирует цитирование, но без него его не будет.
Какие страницы должны быть открыты для краулеров?
Открытыми должны быть страницы, которые компания хочет показывать в поиске: услуги, статьи, кейсы, контакты, карточки товаров. Кабинеты, внутренние документы, тестовые стенды и персональные данные закрывают авторизацией. Robots.txt это публичная инструкция для роботов, а не замок: файл может прочитать кто угодно, и он не защищает документ.
Чем robots.txt отличается от noindex?
Robots.txt управляет обходом: может ли робот запрашивать адрес. Noindex управляет индексацией: можно ли показывать страницу в поиске. Если закрыть страницу в robots.txt, робот не прочитает её noindex, и адрес может остаться в индексе без описания. Поэтому для страниц, которые нужно убрать из поиска, используют noindex и оставляют их доступными для обхода.
Правила robots.txt действуют для конкретного хоста, протокола и порта, это описано в спецификации Google. После смены домена или перехода на HTTPS проверьте, что файл лежит на новом адресе и описывает нужные разделы. Как работать с noindex, разобрано в справке Google.
Какие AI-краулеры бывают и чем они отличаются?
Поисковые и обучающие роботы управляются отдельно, поэтому можно разрешить показ в AI-поиске и запретить использование контента для обучения.
Роли Google-Extended описаны в списке краулеров Google: у него нет отдельного User-Agent, это токен управления, а обход идёт обычными роботами Google. Там же сказано, что Google планирует поддержать общий сигнал предпочтений для обучения AI в начале 2027 года. Роли роботов OpenAI и их IP-диапазоны опубликованы в документации OpenAI.
Пример правил, которые разрешают поиск и запрещают обучение:
User-agent: OAI-SearchBot
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Allow: /
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
Это пример настройки, а не рекомендация для всех: решение о запрете обучения принимает владелец сайта.
Как проверить доступ сайта: пошагово
- Ответ сервера. Важная страница отдаёт код 200 и содержимое, без цикла редиректов, ошибки 5xx или технической заглушки. Проверьте HTTPS и варианты домена с www и без.
- robots.txt. Найдите группу правил, которая подходит каждому роботу, и убедитесь, что нужные разделы не закрыты.
- noindex. Проверьте meta robots и HTTP-заголовок X-Robots-Tag: случайный noindex часто остаётся после разработки.
- Основной текст. Посмотрите опубликованную страницу, а не редактор, и проверьте отрисованный HTML в инструменте проверки URL в Search Console.
- CDN и защита от ботов. Проверьте журналы блокировок, ограничения частоты и географические правила.
- Журналы сервера. Убедитесь, что нужные роботы действительно получают страницы, и сравните период до и после правок.
Как JavaScript влияет на доступ краулеров?
Сам JavaScript не проблема: Google умеет отрисовывать страницы, это описано в основах JavaScript SEO. Проблемы создают ошибки отрисовки, недоступные скрипты и текст, который появляется только после клика или прокрутки. Не все AI-краулеры выполняют JavaScript так же, как Googlebot, поэтому надёжнее, когда основной текст и ссылки есть в исходном HTML. Для сайтов на Tilda и WordPress это обычно так, для одностраничных приложений на React или Vue это нужно проверять.
Не подменяйте страницу для роботов другим текстом: цель в том, чтобы робот видел то же полезное содержание, что и человек. Google в руководстве по генеративному поиску рассматривает техническую доступность вместе с качеством страницы.
Что проверить в CDN и защите от ботов?
Частая ситуация: пользователь видит страницу, а робот получает страницу проверки или ошибку 403. Причина находится до сайта, в CDN или защите. Подмена User-Agent в одном запросе показывает лишь часть картины: защита может учитывать IP, частоту и поведение. Не открывайте весь трафик ради одного робота, делайте узкое правило для подтверждённого сервиса.
Как отличить настоящего робота от поддельного?
Любой клиент может назваться Googlebot в User-Agent. Если от этого зависит доступ или исключение из защиты, проверяйте робота официальным способом: для Google это обратный и прямой DNS-запрос или сверка с опубликованными IP-диапазонами, как описано в инструкции Google. OpenAI публикует свои диапазоны IP в той же документации о краулерах. Не закрепляйте навсегда случайный IP из одного запроса.
Учебный сценарий диагностики
Страницы услуг открываются у пользователя, а проверочный запрос получает страницу защиты CDN. Команда смотрит журнал CDN, воспроизводит отказ, вносит узкое исключение для подтверждённых IP нужного сервиса и повторяет проверку. Она не объявляет, что «GEO выросло»: доступность это необходимое условие, а не измерение будущих цитат. Измерять цитаты нужно отдельно, см. GEO-аудит бренда за 90 минут.
Как документировать изменения?
Ведите реестр: путь, ожидаемая доступность, найденное правило, дата изменения, результат повторной проверки и ответственный. Для сайтов на русском и узбекском проверяйте обе версии, изображения и PDF-документы. После переноса сайта или подключения новой защиты повторите тест: вчерашняя доступность не гарантирует сегодняшнюю. Чек-лист после переезда есть в статье редизайн без потери SEO.
Чего не стоит делать
- Открывать закрытые данные ради индексации.
- Запрещать всех ботов через «User-agent: *», не понимая их ролей.
- Закрывать в robots.txt страницы, которые должны выпасть из индекса через noindex.
- Считать llms.txt заменой robots.txt и доступности.
- Доверять только имени User-Agent.
- Снимать всю защиту CDN без диагностики.
- Обещать цитирование после одной технической правки.
Частые вопросы
Можно ли разрешить AI-поиск, но запретить обучение?
Да. OpenAI разделяет OAI-SearchBot для поиска и GPTBot для обучения, Google отделяет Google-Extended от Googlebot. Запрет обучающих токенов не убирает сайт из поиска.
Если закрыть Google-Extended, сайт пропадёт из AI Overviews?
Нет. По документации Google, Google-Extended не влияет на попадание в Google Поиск и ранжирование. AI Overviews и AI Mode относятся к Поиску и зависят от Googlebot.
Нужен ли llms.txt для Google?
Google не требует специального AI-файла для своих поисковых AI-функций. Начните с доступности и полезного содержания, подробнее в статье нужен ли llms.txt.
Почему после открытия доступа нет цитат?
Получение страницы роботом не означает её выбор для ответа. Нужны релевантность, полезное содержание и время на повторный обход.
RED-GROUP проверит ответы сервера, robots.txt, отрисовку и защиту на ключевых страницах и отделит проблемы доступа от других причин отсутствия в поиске. Подробнее о техническом SEO-аудите сайта.
Заказать технический аудит
Читайте также
Источники
Смотрите также