Часть трафика любого сайта — не люди, а автоматические программы: поисковые роботы, парсеры цен, скрипты подбора паролей, сборщики email-адресов. Cloudflare делит их на две группы — верифицированные боты, которым доверяют по подписи запроса, и остальные, поведение которых нужно анализировать отдельно.
Управление ботами живёт в разделе Security → Bots. Набор функций зависит от тарифа: на бесплатном и Pro доступен Bot Fight Mode, на Business — Super Bot Fight Mode с более гибкими правилами, на Enterprise — полноценный Bot Management с оценкой по баллам.
Как включить Bot Fight Mode
Базовая защита включается за несколько кликов и не требует настройки условий.
- Открыть Security → Bots в панели домена.
- Включить переключатель Bot Fight Mode или Super Bot Fight Mode.
- Для Super Bot Fight Mode задать режим для каждой категории ботов отдельно.
- Сохранить настройки и проверить трафик в течение суток.
- При ложных срабатываниях добавить исключение через WAF Custom Rules.
Категории ботов и режимы обработки
Super Bot Fight Mode делит трафик на категории и позволяет задать реакцию для каждой.
| Категория | Пример | Типичный режим |
|---|---|---|
| Verified bots | Googlebot, Bingbot | Allow |
| Automated traffic | Скрипты, headless-браузеры | Block или Challenge |
| Likely automated | Подозрительные паттерны | Managed Challenge |
| Static resource protection | Обход кэша на статике | Challenge |
Верифицированные боты: как не заблокировать нужных
Cloudflare подтверждает подлинность поисковых роботов по обратному DNS и подписи, а не только по строке User-Agent — подделать её легко, поэтому доверять одному заголовку нельзя.
- Googlebot и Bingbot проходят как verified bots и не должны попадать под общий Block.
- Боты платёжных систем и мониторинга аптайма стоит добавить в allow-list вручную.
- Собственные интеграции и вебхуки лучше пропускать через отдельное условие с секретным заголовком, а не полагаться на репутацию.
Bot Management и другие инструменты защиты
Если проблема — не боты в целом, а конкретный IP или страна, точнее сработают WAF Custom Rules с условием по нужному признаку. Если задача — не пускать больше N запросов подряд с одного адреса независимо от того, бот это или человек, нужен Rate Limiting.
Bot Fight Mode и такие правила работают одновременно и не конфликтуют — Cloudflare применяет их в общем порядке фаз безопасности.
Как проверить срабатывание и посмотреть логи
Отправьте запрос с явно автоматическим User-Agent и посмотрите реакцию.
curl -I -A "python-requests/2.31" https://example.com/События по каждому боту видны в Security → Events с указанием категории и причины блокировки. Для оценки объёма бот-трафика за период используйте Cloudflare Analytics — там есть отдельная вкладка Bot traffic.
Чек-лист перед включением защиты от ботов
- Проверено, какие верифицированные боты нужны сайту: поиск, платежи, мониторинг.
- Super Bot Fight Mode настроен по категориям, а не одним общим переключателем.
- Собственные интеграции защищены секретным заголовком, а не только IP.
- После включения проверен трафик поисковых роботов в Search Console.
- Логи событий проверены на ложные срабатывания в первые сутки.