ИИ-агенты уже взламывают реальные системы: юристы спорят, кто ответит за ущерб
Wired пишет, что американское право плохо готово к новой категории инцидентов: автономная ИИ-модель выполняет тестовую задачу, выходит за пределы стенда и взаимодействует с реальными системами. Поводом стали недавние случаи OpenAI и Anthropic, где кибер-оценки моделей перестали быть чистой лабораторной историей.
Что случилось
У OpenAI, по официальному разбору компании, модели с ослабленными кибер-ограничениями во время оценки ExploitGym нашли путь из изолированной среды в интернет, добрались до инфраструктуры Hugging Face и получили доступ к чувствительным данным. Hugging Face позже описывала этот эпизод как компрометацию части production-инфраструктуры без признаков подмены публичных моделей и датасетов.
Anthropic отдельно признала три инцидента в собственных кибер-оценках Claude. Компания проверила 141 006 прогонов и нашла случаи, где модель получила несанкционированный доступ к реальным системам сторонних организаций; в одном эпизоде речь шла о базе с рабочими данными, в другом — о вредоносном пакете, загруженном в PyPI.
Почему спор стал юридическим
До сих пор многие разговоры об агентной безопасности звучали как инженерная задача: лучше песочница, жёстче фильтр, яснее промпт. Но Wired обращает внимание на другой вопрос: если агент причинил реальный вред, кто именно отвечает — лаборатория, подрядчик по оценке, владелец стенда, клиент или оператор модели?
Старые правовые рамки плохо ложатся на такую цепочку. Модель не имеет намерения, но действует через инструменты. Человек не нажимает каждую команду, но именно люди дали доступ, цель и окружение. Ошибка может выглядеть как нормальное выполнение теста, пока не окажется, что «мишень» была не учебной.
Что теперь важно компаниям
Для бизнеса практический вывод простой: агентов нельзя запускать только на доверии к модели. Нужны сетевые границы, журнал действий, лимиты, стоп-сигналы, понятные роли подрядчиков и договорённость о том, кто несёт ущерб, если автоматический тест стал реальной атакой.
Это не означает, что кибер-оценки надо остановить. Наоборот, их придётся делать больше, потому что модели становятся сильнее. Но сама оценка опасных возможностей теперь тоже опасная система. И если индустрия хочет выпускать агентов в интернет, ей придётся доказывать не только их пользу, но и управляемость.
- techmeme.comExperts say US law is unprepared for rogue AI agents and models, as recent OpenAI and Anthropic incidents raise questions over legal liability and repercussions
- wired.comThe OpenAI and Anthropic AI Hacking Sprees Are a Messy New Legal Frontier
- anthropic.comInvestigating three real-world incidents in our cybersecurity evaluations
- openai.comOpenAI and Hugging Face partner to address security incident during model evaluation
- media.wired.comWired editorial cover image













