Частина трафіку будь-якого сайту — не люди, а автоматичні програми: пошукові роботи, парсери цін, скрипти підбору паролів, збирачі email-адрес. Cloudflare ділить їх на дві групи — верифіковані боти, яким довіряють за підписом запиту, і решта, поведінку яких треба аналізувати окремо.
Керування ботами живе в розділі Security → Bots. Набір функцій залежить від тарифу: на безкоштовному і Pro доступний Bot Fight Mode, на Business — Super Bot Fight Mode з гнучкішими правилами, на Enterprise — повноцінний Bot Management з оцінкою за балами.
Як увімкнути Bot Fight Mode
Базовий захист умикається за кілька кліків і не потребує налаштування умов.
- Відкрити Security → Bots у панелі домену.
- Увімкнути перемикач Bot Fight Mode або Super Bot Fight Mode.
- Для Super Bot Fight Mode задати режим для кожної категорії ботів окремо.
- Зберегти налаштування і перевірити трафік протягом доби.
- При хибних спрацюваннях додати виняток через WAF Custom Rules.
Категорії ботів і режими обробки
Super Bot Fight Mode ділить трафік на категорії і дозволяє задати реакцію для кожної.
| Категорія | Приклад | Типовий режим |
|---|---|---|
| Verified bots | Googlebot, Bingbot | Allow |
| Automated traffic | Скрипти, headless-браузери | Block або Challenge |
| Likely automated | Підозрілі патерни | Managed Challenge |
| Static resource protection | Обхід кешу на статиці | Challenge |
Верифіковані боти: як не заблокувати потрібних
Cloudflare підтверджує справжність пошукових роботів за зворотним DNS і підписом, а не лише за рядком User-Agent — підробити його легко, тому довіряти одному заголовку не варто.
- Googlebot і Bingbot проходять як verified bots і не повинні потрапляти під загальний Block.
- Боти платіжних систем і моніторингу аптайму варто додати до allow-list вручну.
- Власні інтеграції і вебхуки краще пропускати через окрему умову із секретним заголовком, а не покладатися на репутацію.
Bot Management і інші інструменти захисту
Коли проблема — не боти загалом, а конкретна IP-адреса чи країна, точніше спрацюють WAF Custom Rules з умовою за потрібною ознакою. Якщо завдання — не пускати більше N запитів поспіль з однієї адреси незалежно від того, бот це чи людина, потрібен Rate Limiting.
Bot Fight Mode і такі правила працюють одночасно і не конфліктують — Cloudflare застосовує їх у загальному порядку фаз безпеки.
Як перевірити спрацювання і подивитися журнали
Надішліть запит із явно автоматичним User-Agent і подивіться реакцію.
curl -I -A "python-requests/2.31" https://example.com/Події за кожним ботом видно в Security → Events із зазначенням категорії і причини блокування. Для оцінки обсягу бот-трафіку за період використовуйте Cloudflare Analytics — там є окрема вкладка Bot traffic.
Чек-лист перед увімкненням захисту від ботів
- Перевірено, які верифіковані боти потрібні сайту: пошук, платежі, моніторинг.
- Super Bot Fight Mode налаштований за категоріями, а не одним загальним перемикачем.
- Власні інтеграції захищені секретним заголовком, а не лише IP-адресою.
- Після увімкнення перевірено трафік пошукових роботів у Search Console.
- Журнали подій перевірені на хибні спрацювання протягом першої доби.