Не все ИИ-боты одинаковы
Под словом «ИИ-бот» скрываются три разных занятия, и решать по ним нужно раздельно. Одни роботы индексируют сайт для ИИ-поиска, другие собирают материал для обучения моделей, третьи открывают страницу, потому что человек только что попросил ассистента её прочитать.
У крупных компаний эти роботы разведены по разным строкам User-agent, поэтому управлять ими можно по назначению. Списки ботов меняются, так что перед правкой файла сверьтесь с первоисточниками.
| Назначение | Боты | Что это значит для сайта |
|---|---|---|
| Поиск | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Сайт показывается в ответах и ссылках ИИ-поиска |
| Обучение | GPTBot, ClaudeBot, meta-externalagent | Материал может использоваться для обучения моделей |
| По запросу пользователя | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | Страницу открывают, потому что человек об этом попросил |
| Токен Google | Google-Extended | Токен для robots.txt без своей строки User-agent: управляет использованием для Gemini, на Google Поиск не влияет |
Два разных переключателя
Вопрос «пускать ли ИИ» на деле состоит из двух: нужны ли вам упоминания и переходы из ИИ-поиска и согласны ли вы, чтобы текст шёл в обучение моделей. Решения независимы: поисковых ботов можно пустить и одновременно закрыть обучающих.
Готовый образец robots.txt
Образец ниже пускает поисковых ботов и закрывает обучающих. Для другой цели переставьте строки между группами. Файл лежит в корне сайта по адресу /robots.txt. Робот ищет группу со своим именем и, если нашёл, остальные группы для него не действуют.
# Поиск: показывать сайт в ответах ИИ
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /admin/
# Обучение: не использовать материалы сайта
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Google-Extended
Disallow: /
# Все остальные
User-agent: *
Disallow: /admin/Строка Disallow: /admin/ повторена в поисковой группе намеренно: к боту с именной группой правила группы со звёздочкой не применяются.
OpenAI сообщает, что изменения robots.txt вступают в силу примерно через 24 часа, так что результат проверяйте не сразу.
Боты, которые приходят по просьбе человека
ChatGPT-User, Claude-User, Perplexity-User и meta-externalfetcher приходят не по расписанию, а когда человек попросил ассистента открыть конкретную ссылку. OpenAI прямо пишет, что в таком случае правила robots.txt могут не применяться, а Meta про meta-externalfetcher пишет, что он может их обходить.
Практический вывод: robots.txt — просьба, а не замок. Если страница не должна открываться посторонним, закрывайте её авторизацией или правилом на уровне сервера. Как писать такие правила, разобрано в статье про пользовательские правила WAF в Cloudflare.
Cloudflare: настройки и плата за обход
Если сайт стоит за Cloudflare, часть решений принимается в панели без правки файлов. Путь на ноябрь 2026 года: Security → Settings → AI Crawler and Agent access policies. Раньше раздел назывался «Configure AI bot policies»; переименование отражено в журнале изменений Cloudflare от 4 ноября 2026 года. Названия меняются, поэтому ищите раздел по смыслу.
Pay per crawl — механизм, где издатель задаёт цену за запрос и для каждого краулера выбирает Allow, Charge или Block. За платную страницу краулер получает ответ HTTP 402, а запросы подписываются по схеме Web Bot Auth. Статус на сегодня — закрытая бета (private beta), так что строить на ней план дохода рано.
Cloudflare дважды менял умолчания. 1 июля 2025 года компания объявила блокировку ИИ-краулеров по умолчанию, если они не платят. 1 июля 2026 года она объявила, что с 15 сентября 2026 года разделит ИИ-трафик на три класса: Search, Agent и Training. Как это применено именно к вашему домену, из документации не видно, поэтому проверьте текущие настройки сами. Общий разбор раздела — в статье про управление ботами в Cloudflare.
Закрытие по IP-адресам
Блокировать ботов списком IP-адресов ненадёжно, и Anthropic предупреждает об этом прямо: по её словам, такая блокировка может работать некорректно и не гарантирует устойчивый отказ. Правило WAF по строке User-agent тоже не абсолютно: строку легко подделать.
llms.txt: что известно, а что нет
llms.txt — неформальное предложение Джереми Говарда (Jeremy Howard) с сайта llmstxt.org: положить в корень сайта Markdown-файл с обзором для языковых моделей. Это не стандарт IETF или W3C. Подтверждения того, что его читает хотя бы один крупный поисковик или разработчик моделей, найти не удалось.
Google прямо пишет в руководстве по оптимизации для генеративного поиска, что Google Search такие файлы не использует и что их создание не повредит и не поможет видимости в Google. Это относится только к Google. Про остальные системы честнее сказать «подтверждений нет», чем «не работает»: сторонние статьи утверждают противоположное в обе стороны, но первоисточников у них нет.
Итог: файл дешёвый, ставить на него в планах не стоит. Сначала robots.txt и качество самих страниц; об угрозах, которые несут ИИ-агенты на вашей стороне, читайте в статье про безопасность ИИ-агентов и prompt injection.
С чего начать
Не меняйте файл вслепую: сначала посмотрите, кто реально к вам приходит, и только потом решайте.
- Решите, что важнее: упоминания в ИИ-поиске или защита текста от обучения.
- Посчитайте обращения по журналу доступа.
- Внесите нужные группы в
robots.txt. - Через сутки повторите подсчёт и сравните.
Частые вопросы
Если закрыть GPTBot, пропаду ли я из поиска ChatGPT?
Нет. Согласно документации OpenAI, GPTBot относится к обучению моделей, а показом сайтов в поиске ChatGPT занимается отдельный OAI-SearchBot. Это два разных переключателя.
Выпаду ли я из Google, если закрою Google-Extended?
Нет. Google пишет, что этот токен не влияет на включение сайта в Google Поиск. Документация также не говорит, что он управляет ИИ-обзорами; для ограничения показа в Поиске Google называет nosnippet, max-snippet и noindex.
Что делать клиентам ZevsHost?
Файл robots.txt лежит в корне сайта, и на общем хостинге вы правите его в файловом менеджере панели: серверные настройки при этом не нужны. На VPS и выделенном сервере правила WAF, журналы и защиту на уровне веб-сервера настраиваете вы сами.