Назад
2 июля 2026 г. в 12:00 Cloudflare AI Crawlers AI Agents Web Publishers Cloudflare / NBC News / Techmeme

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare ставит ИИ-краулерам ультиматум: разделяйте поиск, обучение и агентов

Cloudflare объявила новые правила для ИИ-краулеров: владельцы сайтов смогут отдельно управлять трафиком для поиска, обучения моделей и агентных сценариев. С 15 сентября 2026 года для новых доменов на Cloudflare категории Training и Agent будут по умолчанию заблокированы на страницах с рекламой, а Search останется разрешен.

Что именно меняется

Компания объясняет логику просто: если на странице есть реклама, владелец сайта рассчитывает на человеческое посещение и монетизацию внимания. Поисковый бот обычно возвращает пользователей ссылкой, а краулер для обучения модели или агента может забрать ценность без перехода читателя на сайт.

Важная деталь — многоцелевые краулеры. Cloudflare пишет, что боты, совмещающие поиск и обучение, будут попадать под самые строгие выбранные владельцем сайта правила. Если сайт запретил обучение моделей, такой краулер могут заблокировать даже тогда, когда он одновременно используется для поиска. В качестве примеров компания называет Googlebot, Applebot и BingBot.

Почему это шире спора об издателях

Для медиа и авторов это еще один инструмент защиты контента. Но ставка шире: Cloudflare пытается сделать веб читаемым для ИИ не по принципу «кто смог скачать, тот и прав», а через явные роли, разрешения и, возможно, оплату доступа. В той же серии анонсов компания развивает Pay Per Crawl и платежную инфраструктуру для контента, данных, API и MCP-инструментов.

Для ИИ-компаний это неприятный, но предсказуемый поворот. Если один бот одновременно индексирует веб для поиска, собирает данные для обучения и обслуживает агента, владельцу сайта трудно понять, какую сделку он фактически принимает. Новые правила Cloudflare делают смешение сценариев дорогим: придется разделять краулеры, подписывать их понятнее и договариваться с сайтами.

Для обычного пользователя последствия проявятся не сразу. Но именно здесь решается, каким будет интернет для ИИ-агентов: открытой кормовой базой, закрытым набором платных шлюзов или системой, где сайт сам выбирает, кого пускать и на каких условиях.

Ещё новости

Airbnb добавляет ИИ-поиск: голосом, своими словами и с сравнением жилья
30 сентября 2026 г.
Airbnb добавляет ИИ-поиск: голосом, своими словами и с сравнением жилья

Airbnb запустила в США ИИ-инструменты для планирования поездки: поиск и фильтры обычным языком, краткие описания объявлений и сравнение сохранённых вариантов. Для европейских пользователей важная оговорка: в анонсе эти функции не обещаны, зато доставка еды и продуктов расширяется в Европе лишь в отдельных городах.

OpenAI Dots: агент в ChatGPT, которому дают работать между сообщениями
30 сентября 2026 г.
OpenAI Dots: агент в ChatGPT, которому дают работать между сообщениями

OpenAI представила Dots — платный агентный продукт внутри ChatGPT. Его идея не в одиночном ответе, а в непрерывной рабочей переписке, где задача может продолжаться в фоне.

OpenAI превращает ChatGPT в рабочую платформу для людей и агентов
29 сентября 2026 г.
OpenAI превращает ChatGPT в рабочую платформу для людей и агентов

На DevDay 2026 OpenAI описала ChatGPT как общую рабочую поверхность для людей, агентов и нативных приложений разработчиков. В самом recap нет условий доступа к отдельным продуктам, поэтому их нельзя считать доступными всем пользователям.

Grok 4.7 появилась в Amazon Bedrock: для Европы — только глобальный маршрут
29 сентября 2026 г.
Grok 4.7 появилась в Amazon Bedrock: для Европы — только глобальный маршрут

Amazon Bedrock добавил Grok 4.7 от xAI. Для европейских клиентов модель доступна лишь через глобальный межрегиональный профиль: это даёт доступ к 500-тысячному контексту, но не позволяет закрепить обработку в одной европейской зоне.

Anthropic выпустила Claude Sonnet 5.5 с киберзащитой уровня Opus
29 сентября 2026 г.
Anthropic выпустила Claude Sonnet 5.5 с киберзащитой уровня Opus

Anthropic представила Claude Sonnet 5.5 — более быструю и экономичную модель для повседневных агентных задач, кодинга и работы с документами. Компания заявляет заметный прирост на тестах, но оставляет Opus 5.5 выбором для сложной открытой работы.

Anthropic идёт к IPO с убытком $42 млрд и планом потратить $518 млрд на ИИ
29 сентября 2026 г.
Anthropic идёт к IPO с убытком $42 млрд и планом потратить $518 млрд на ИИ

Reuters ознакомилось с конфиденциальным проспектом Anthropic перед IPO: при выручке $4,6 млрд за 2025 год компания показала чистый убыток $42 млрд и описала план расходов на вычисления и инфраструктуру в $518 млрд на 2027 год. Большая часть убытка — бухгалтерская переоценка инструментов, связанных с будущими акциями; откуда возьмутся деньги на заявленный план, в материале не раскрывается.

Manus даёт личному ИИ-агенту почту, телефон и кошелёк
29 сентября 2026 г.
Manus даёт личному ИИ-агенту почту, телефон и кошелёк

Manus представила Manus 2.0 и приложение Cue, где персональному агенту обещают собственные email, телефон, кошелёк и компьютер. Для бизнеса это переносит главный вопрос от качества ответов к управлению учётными записями, деньгами и журналом действий.

NVIDIA открыла платформу безопасности для ИИ-агентов
28 сентября 2026 г.
NVIDIA открыла платформу безопасности для ИИ-агентов

NVIDIA представила Open Agent Safety Platform — набор открытых компонентов и эталонную архитектуру для контроля действий ИИ-агентов. Ключевая идея: критические ограничения должны проверяться вне самой модели.

NYT: правительства всё сильнее отстают от развития ИИ
28 сентября 2026 г.
NYT: правительства всё сильнее отстают от развития ИИ

The New York Times пишет, что разрыв между скоростью развития ИИ и скоростью выработки правил стал шире, чем когда-либо. Пока модели и агенты быстро выходят за пределы лабораторий, у мира нет общего механизма, который определял бы допустимый риск и ответственность.

Bloomberg: Китай расширил ограничения на поездки семей AI- и чип-специалистов
28 сентября 2026 г.
Bloomberg: Китай расширил ограничения на поездки семей AI- и чип-специалистов

Bloomberg сообщает, что Китай распространил ограничения на зарубежные поездки ключевых сотрудников частных AI- и полупроводниковых компаний на членов их семей. Публикация не подтверждает появление отдельной системы «выездных виз»: речь идёт о мерах контроля поездок, а не о визе, которую выдаёт другая страна.

Meta добавит в WhatsApp говорящий аватар для звонков с очков
26 сентября 2026 г.
Meta добавит в WhatsApp говорящий аватар для звонков с очков

Meta готовит Hologram — цифровое изображение лица для звонков из очков Meta Ray-Ban Display. Аватар будет реагировать на голос, но первый запуск ограничен ранним доступом в США.

Google добавила говорящие аватары в Gemini Enterprise
26 сентября 2026 г.
Google добавила говорящие аватары в Gemini Enterprise

Google открыла для Gemini Enterprise Live Avatar: корпоративный голосовой агент теперь может отвечать с синхронизированным видеоаватаром. Функция полезна для сервисных сценариев, но создание собственных персонажей пока требует allowlist.