Назад
2 июля 2026 г. в 12:00 Cloudflare AI Crawlers AI Agents Web Publishers Cloudflare / NBC News / Techmeme

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare объявила новые правила для ИИ-краулеров: владельцы сайтов смогут отдельно управлять трафиком для поиска, обучения моделей и агентных сценариев. С 15 сентября 2026 года для новых доменов на Cloudflare категории Training и Agent будут по умолчанию заблокированы на страницах с рекламой, а Search останется разрешен.

Что именно меняется

Компания объясняет логику просто: если на странице есть реклама, владелец сайта рассчитывает на человеческое посещение и монетизацию внимания. Поисковый бот обычно возвращает пользователей ссылкой, а краулер для обучения модели или агента может забрать ценность без перехода читателя на сайт.

Важная деталь — многоцелевые краулеры. Cloudflare пишет, что боты, совмещающие поиск и обучение, будут попадать под самые строгие выбранные владельцем сайта правила. Если сайт запретил обучение моделей, такой краулер могут заблокировать даже тогда, когда он одновременно используется для поиска. В качестве примеров компания называет Googlebot, Applebot и BingBot.

Почему это шире спора об издателях

Для медиа и авторов это еще один инструмент защиты контента. Но ставка шире: Cloudflare пытается сделать веб читаемым для ИИ не по принципу «кто смог скачать, тот и прав», а через явные роли, разрешения и, возможно, оплату доступа. В той же серии анонсов компания развивает Pay Per Crawl и платежную инфраструктуру для контента, данных, API и MCP-инструментов.

Для ИИ-компаний это неприятный, но предсказуемый поворот. Если один бот одновременно индексирует веб для поиска, собирает данные для обучения и обслуживает агента, владельцу сайта трудно понять, какую сделку он фактически принимает. Новые правила Cloudflare делают смешение сценариев дорогим: придется разделять краулеры, подписывать их понятнее и договариваться с сайтами.

Для обычного пользователя последствия проявятся не сразу. Но именно здесь решается, каким будет интернет для ИИ-агентов: открытой кормовой базой, закрытым набором платных шлюзов или системой, где сайт сам выбирает, кого пускать и на каких условиях.

Ещё новости

Gemini 4 Hydrogen появился в GitHub Copilot
14 ноября 2026 г.
Gemini 4 Hydrogen появился в GitHub Copilot

GitHub добавил Gemini 4 Hydrogen в Copilot как общедоступную модель. Для разработчиков это ещё один быстрый вариант для агентных задач и многошаговой работы с инструментами — но выбор доступен не во всех тарифах и средах.

OpenAI открыла ранний доступ к агентам для проверки и исправления уязвимостей
14 ноября 2026 г.
OpenAI открыла ранний доступ к агентам для проверки и исправления уязвимостей

OpenAI представила ранний доступ к Daybreak Red Team и Defense Factory: первая система проверяет веб-приложения на уязвимости, вторая готовит исправления для ревью инженера. Обе части требуют контроля области проверки и не заменяют ответственность команды за код.

Эстонский FleetFox с ИИ-проверкой по фото готовится к банкротству
14 ноября 2026 г.
Эстонский FleetFox с ИИ-проверкой по фото готовится к банкротству

Эстонская FleetFox, которая заявляет об ИИ-проверке качества по фотографиям в обслуживании автопарков, намерена подать заявление о банкротстве. Компания говорит о сорванной инвестсделке и нехватке денежных средств после сокращения заказов крупных клиентов.

ChatGPT Wallet: агентам дали оплату без номера карты
13 ноября 2026 г.
ChatGPT Wallet: агентам дали оплату без номера карты

OpenAI запускает ChatGPT Wallet для покупок через агентов dots: пользователь подтверждает каждую оплату биометрией, а продавец и агент не получают данные его карты. На старте функция доступна только подписчикам ChatGPT Pro в США с подходящими американскими картами.

Сбой Microsoft 365 затронул Outlook, Copilot и инструменты защиты
13 ноября 2026 г.
Сбой Microsoft 365 затронул Outlook, Copilot и инструменты защиты

Microsoft сообщила о масштабной деградации Microsoft 365: у части пользователей не работали почта Outlook и Exchange Online, а также связанные с ними корпоративные сервисы. В статусе компании перечислены проблемы с Copilot, Defender XDR, Purview, Teams и другими продуктами; потребительский OneDrive и Outlook.com вынесены в отдельное уведомление.

VS Code 1.146 добавил inbox для ИИ-агентов и сравнение моделей
13 ноября 2026 г.
VS Code 1.146 добавил inbox для ИИ-агентов и сравнение моделей

В стабильной версии VS Code 1.146 появился inbox для сессий агентов, отдельные окна чата и расширенное сравнение моделей. Одновременно Microsoft объявила, что Local harness будет удалён в феврале 2027 года.

Google выпустила Gemini 4 Hydrogen: миллион токенов за $1,50
13 ноября 2026 г.
Google выпустила Gemini 4 Hydrogen: миллион токенов за $1,50

Google представила Gemini 4 Hydrogen — более быстрый и дешёвый вариант для агентных задач. Модель получила контекст в миллион токенов и стала доступна в API, AI Studio, приложении Gemini и поиске; условия доступа зависят от продукта и тарифа.

Anthropic выпустила Claude Fable 5.2 и Mythos 5.2: обычным пользователям доступна только одна модель
12 ноября 2026 г.
Anthropic выпустила Claude Fable 5.2 и Mythos 5.2: обычным пользователям доступна только одна модель

Anthropic представила Claude Fable 5.2 и Claude Mythos 5.2 для сложных технических задач. Fable доступна всем пользователям, а Mythos для кибербезопасности и биомедицины остаётся по заявке; базовая цена API — $8 за миллион входных и $40 за миллион выходных токенов.

Anthropic пустила Claude на встречи в Google Meet — и ограничила бета-доступ
12 ноября 2026 г.
Anthropic пустила Claude на встречи в Google Meet — и ограничила бета-доступ

Anthropic начала бета-раскатку Claude Meetings для Team и Enterprise: видимый участник Google Meet ведёт стенограмму, отвечает на вопросы и прямо во время разговора собирает документы и доски. Это шире обычного ИИ-конспекта, но функция недоступна организациям с ZDR, HIPAA-ready и CMEK-конфигурациями.

Gemini Robotics 2.5: гуманоид Apollo показал 96% в цехе Mercedes
12 ноября 2026 г.
Gemini Robotics 2.5: гуманоид Apollo показал 96% в цехе Mercedes

Google DeepMind представила Gemini Robotics 2.5 — VLA-модель для управления роботами. В пилоте на линиях Mercedes-Benz гуманоид Apollo 2 сортировал автодетали с заявленным успехом 96%.

Gemini Live появился в Apple CarPlay
12 ноября 2026 г.
Gemini Live появился в Apple CarPlay

Google начала глобально разворачивать Gemini Live в Apple CarPlay. Голосовой помощник может продолжать диалог с iPhone, но часть персонализированных функций недоступна пользователям в ЕЭЗ.

Google выпустила Gemini Decision 1: ИИ для выбора без генерации текста
12 ноября 2026 г.
Google выпустила Gemini Decision 1: ИИ для выбора без генерации текста

Google открыла Gemini Decisions API и модель Gemini Decision 1 — инструмент для быстрых проверок, маршрутизации и оценок по тексту, изображениям, аудио, видео и PDF. Вместо генерации ответа модель возвращает вероятности вариантов.