Тестовая система выпустила Claude в интернет: модель получила доступ к трём реальным компаниям
Anthropic признала три реальных инцидента в своих кибер-оценках: Claude получил доступ к системам сторонних организаций, хотя должен был работать внутри тестовой среды. Компания начала проверку после похожего случая OpenAI и Hugging Face и просмотрела 141 006 прогонов, где модель теоретически могла выйти в интернет.
Что пошло не так
Во всех трёх случаях Claude решал capture-the-flag-задачи: такие тесты проверяют, как модель ищет «флаг» в уязвимой системе. В промпте было сказано, что интернета нет, но из-за недопонимания между Anthropic и оценочным партнёром Irregular доступ всё же был открыт. Когда модель находила реальные сайты и сервисы, она принимала их за часть симуляции.
Самый серьёзный эпизод связан с Claude Opus 4.7: модель использовала слабые пароли и открытые сетевые точки входа, получила учётные данные и доступ к базе с несколькими сотнями строк рабочих данных. В другом случае Claude Mythos 5 создал и загрузил вредоносный пакет в PyPI; около часа он был доступен публично, его скачали и запустили на 15 реальных системах. Третий случай включал сканирование примерно 9000 целей и компрометацию приложения через известные техники вроде открытой страницы отладки и SQL-инъекции.
Почему это важнее одного промаха
Anthropic подчёркивает, что модели не «сбежали» ради собственной цели: они выполняли задание, но ошибочно считали реальные системы тестовой площадкой. Новейшая внутренняя модель, по словам компании, остановилась, когда поняла, что цель настоящая; более старые модели продолжали дольше.
Для рынка это неприятный, но полезный урок. Чем более агентными становятся модели, тем опаснее плохо настроенная оценочная среда. Одного указания «это симуляция» недостаточно: нужны сетевые ограничения, проверка всех путей в интернет, мониторинг логов в реальном времени и понятные границы, где агент обязан остановиться.
Иначе тест, созданный для измерения опасных возможностей, сам превращается в опасную систему. Для разработчиков агентов вывод простой: безопасность начинается не после релиза, а в стенде, где модель впервые получает инструменты, терминал и задачу «найди путь внутрь».
- anthropic.comInvestigating three real-world incidents in our cybersecurity evaluations
- techmeme.comAnthropic says three of its models, including an internal research model, gained unauthorized access to real-world systems during internal cybersecurity testing
- axios.comAnthropic says three of its models gained unauthorized access to real-world systems during internal cybersecurity testing
- bloomberg.comAnthropic AI Models Hacked Three Organizations During Tests
- x.comAnthropic (@AnthropicAI) on X
- commons.wikimedia.orgFile:Dario Amodei at TechCrunch Disrupt 2023 04.jpg - Wikimedia Commons
