Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов
Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов
Cloudflare объявила новые правила для ИИ-краулеров: владельцы сайтов смогут отдельно управлять трафиком для поиска, обучения моделей и агентных сценариев. С 15 сентября 2026 года для новых доменов на Cloudflare категории Training и Agent будут по умолчанию заблокированы на страницах с рекламой, а Search останется разрешен.
Что именно меняется
Компания объясняет логику просто: если на странице есть реклама, владелец сайта рассчитывает на человеческое посещение и монетизацию внимания. Поисковый бот обычно возвращает пользователей ссылкой, а краулер для обучения модели или агента может забрать ценность без перехода читателя на сайт.
Важная деталь — многоцелевые краулеры. Cloudflare пишет, что боты, совмещающие поиск и обучение, будут попадать под самые строгие выбранные владельцем сайта правила. Если сайт запретил обучение моделей, такой краулер могут заблокировать даже тогда, когда он одновременно используется для поиска. В качестве примеров компания называет Googlebot, Applebot и BingBot.
Почему это шире спора об издателях
Для медиа и авторов это еще один инструмент защиты контента. Но ставка шире: Cloudflare пытается сделать веб читаемым для ИИ не по принципу «кто смог скачать, тот и прав», а через явные роли, разрешения и, возможно, оплату доступа. В той же серии анонсов компания развивает Pay Per Crawl и платежную инфраструктуру для контента, данных, API и MCP-инструментов.
Для ИИ-компаний это неприятный, но предсказуемый поворот. Если один бот одновременно индексирует веб для поиска, собирает данные для обучения и обслуживает агента, владельцу сайта трудно понять, какую сделку он фактически принимает. Новые правила Cloudflare делают смешение сценариев дорогим: придется разделять краулеры, подписывать их понятнее и договариваться с сайтами.
Для обычного пользователя последствия проявятся не сразу. Но именно здесь решается, каким будет интернет для ИИ-агентов: открытой кормовой базой, закрытым набором платных шлюзов или системой, где сайт сам выбирает, кого пускать и на каких условиях.
- blog.cloudflare.comYour site, your rules: new AI traffic options for all customers
- nbcnews.comCloudflare to block AI crawlers that won’t say how they use content, starting in September
- techmeme.comCloudflare sets a September 15 deadline for AI companies to differentiate their web crawlers into search, AI training, and AI agents or face being blocked
- blog.cloudflare.comAnnouncing the Monetization Gateway: charge for any resource behind Cloudflare via x402












