Не всі ШІ-боти однакові
Під словом «ШІ-бот» ховаються три різні заняття, і вирішувати щодо них треба окремо. Одні роботи індексують сайт для ШІ-пошуку, інші збирають матеріал для навчання моделей, треті відкривають сторінку, бо людина щойно попросила асистента її прочитати.
У великих компаній ці роботи розведені по різних рядках User-agent, тому керувати ними можна за призначенням. Списки ботів змінюються, тож перед правкою файлу звіртеся з першоджерелами.
| Призначення | Боти | Що це означає для сайту |
|---|---|---|
| Пошук | OAI-SearchBot, Claude-SearchBot, PerplexityBot, meta-webindexer | Сайт показується у відповідях і посиланнях ШІ-пошуку |
| Навчання | GPTBot, ClaudeBot, meta-externalagent | Матеріал може використовуватися для навчання моделей |
| На запит користувача | ChatGPT-User, Claude-User, Perplexity-User, meta-externalfetcher | Сторінку відкривають, бо людина про це попросила |
| Токен Google | Google-Extended | Токен для robots.txt без власного рядка User-agent: керує використанням для Gemini, на Google Пошук не впливає |
Два різні перемикачі
Питання «пускати чи ШІ» насправді складається з двох: чи потрібні вам згадки та переходи з ШІ-пошуку і чи згодні ви, щоб текст ішов у навчання моделей. Рішення незалежні: пошукових ботів можна пустити і водночас закрити навчальних.
Готовий зразок robots.txt
Зразок нижче пускає пошукових ботів і закриває навчальних. Для іншої мети переставте рядки між групами. Файл лежить у корені сайту за адресою /robots.txt. Робот шукає групу зі своїм іменем і, якщо знайшов, інші групи для нього не діють.
# Пошук: показувати сайт у відповідях ШІ
User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
User-agent: meta-webindexer
Disallow: /admin/
# Навчання: не використовувати матеріали сайту
User-agent: GPTBot
User-agent: ClaudeBot
User-agent: meta-externalagent
User-agent: Google-Extended
Disallow: /
# Усі інші
User-agent: *
Disallow: /admin/Рядок Disallow: /admin/ повторено в пошуковій групі навмисно: до бота з іменною групою правила групи із зірочкою не застосовуються.
OpenAI повідомляє, що зміни robots.txt набувають чинності приблизно за 24 години, тож результат перевіряйте не одразу.
Боти, які приходять на прохання людини
ChatGPT-User, Claude-User, Perplexity-User і meta-externalfetcher приходять не за розкладом, а коли людина попросила асистента відкрити конкретне посилання. OpenAI прямо пише, що в такому разі правила robots.txt можуть не застосовуватися, а Meta про meta-externalfetcher пише, що він може їх обходити.
Практичний висновок: robots.txt — це прохання, а не замок. Якщо сторінка не повинна відкриватися сторонім, закривайте її авторизацією або правилом на рівні сервера. Як писати такі правила, розібрано в статті про користувацькі правила WAF у Cloudflare.
Cloudflare: налаштування й плата за обхід
Якщо сайт стоїть за Cloudflare, частину рішень ухвалюють у панелі без правки файлів. Шлях на листопад 2026 року: Security → Settings → AI Crawler and Agent access policies. Раніше розділ називався «Configure AI bot policies»; перейменування відображено в журналі змін Cloudflare від 4 листопада 2026 року. Назви змінюються, тому шукайте розділ за змістом.
Pay per crawl — механізм, де видавець задає ціну за запит і для кожного краулера обирає Allow, Charge або Block. За платну сторінку краулер отримує відповідь HTTP 402, а запити підписуються за схемою Web Bot Auth. Статус на сьогодні — закрита бета (private beta), тож будувати на ній план доходу зарано.
Cloudflare двічі змінював типові налаштування. 1 липня 2025 року компанія оголосила блокування ШІ-краулерів за замовчуванням, якщо вони не платять. 1 липня 2026 року вона оголосила, що з 15 вересня 2026 року поділить ШІ-трафік на три класи: Search, Agent і Training. Як це застосовано саме до вашого домену, з документації не видно, тому перевірте поточні налаштування самі. Загальний розбір розділу — у статті про керування ботами в Cloudflare.
Закриття за IP-адресами
Блокувати ботів списком IP-адрес ненадійно, і Anthropic попереджає про це прямо: за її словами, таке блокування може працювати некоректно й не гарантує стійку відмову. Правило WAF за рядком User-agent теж не абсолютне: рядок легко підробити.
llms.txt: що відомо, а що ні
llms.txt — неформальна пропозиція Джеремі Говарда (Jeremy Howard) із сайту llmstxt.org: покласти в корінь сайту Markdown-файл з оглядом для мовних моделей. Це не стандарт IETF чи W3C. Підтвердження того, що його читає бодай один великий пошуковик або розробник моделей, знайти не вдалося.
Google прямо пише в посібнику з оптимізації для генеративного пошуку, що Google Search такі файли не використовує і що їх створення не пошкодить і не допоможе видимості в Google. Це стосується лише Google. Про решту систем чесніше сказати «підтверджень немає», ніж «не працює»: сторонні статті стверджують протилежне в обидва боки, але першоджерел у них немає.
Підсумок: файл дешевий, ставити на нього в планах не варто. Спершу robots.txt і якість самих сторінок; про загрози, які несуть ШІ-агенти на вашому боці, читайте в статті про безпеку ШІ-агентів і prompt injection.
З чого почати
Не змінюйте файл навмання: спершу подивіться, хто реально до вас приходить, і лише потім вирішуйте.
- Вирішіть, що важливіше: згадки в ШІ-пошуку чи захист тексту від навчання.
- Порахуйте звернення за журналом доступу.
- Внесіть потрібні групи в
robots.txt. - Через добу повторіть підрахунок і порівняйте.
Часті запитання
Якщо закрити GPTBot, чи зникну я з пошуку ChatGPT?
Ні. Згідно з документацією OpenAI, GPTBot належить до навчання моделей, а показом сайтів у пошуку ChatGPT займається окремий OAI-SearchBot. Це два різні перемикачі.
Чи випаду я з Google, якщо закрию Google-Extended?
Ні. Google пише, що цей токен не впливає на включення сайту в Google Пошук. Документація також не каже, що він керує ШІ-оглядами; для обмеження показу в Пошуку Google називає nosnippet, max-snippet і noindex.
Що робити клієнтам ZevsHost?
Файл robots.txt лежить у корені сайту, і на загальному хостингу ви правите його у файловому менеджері панелі: серверні налаштування при цьому не потрібні. На VPS і виділеному сервері правила WAF, журнали та захист на рівні вебсервера налаштовуєте ви самі.