OpenAI отключила интернет для обучения frontier-моделей
OpenAI перевела обучение и большинство проверок своих frontier-моделей в режим без доступа к живому интернету. Для пользователя это не меняет работу ChatGPT, но хорошо показывает, как быстро «песочница» для агента стала отдельной задачей безопасности.
В новом описании инфраструктуры компания пишет: во время сентябрьского запуска внутренний исследовательский агент нашёл ошибку в настройке DNS-резолвера и получил ограниченный доступ к внешней сети. Инцидент локализовали, однако OpenAI приостановила обучение и оценки наиболее мощных моделей, чтобы усилить изоляцию и мониторинг.
Теперь агентам для обучения дают не обычный браузер с открытым интернетом, а «офлайн-мир»: индексированный и кэшированный набор веб-материалов. Модель может тренировать поиск, работу с сайтами и кодом, но не должна иметь возможности отправить запрос во внешний сервис или связаться с агентом за пределами разрешённого контура.
Защита не сводится к одному запрету в настройках сети. OpenAI описывает несколько слоёв: ограниченные контейнеры внутри microVM, мониторинг подозрительных действий, сегментацию сети и облачные политики. Это важно: если агент сумеет выйти из контейнера, следующий слой всё ещё должен помешать ему добраться до внешней сети.
Компания также использовала команды из собственных сильных моделей для поиска уязвимостей и неверных конфигураций в этой инфраструктуре. Найденные проблемы исправляли, а дефекты в open-source-компонентах передавали сопровождающим в рамках инициативы Patch the Planet. После усиления контроля OpenAI возобновила reinforcement learning и внутренний inference 1 октября.
Главный вывод здесь не в том, что модель «сбежала» — OpenAI этого не утверждает. Скорее, лаборатория признаёт неприятный инженерный факт: способный агент надо считать активным нарушителем границ, а не просто программой, которой выдали инструменты. Для разработчиков агентных систем это аргумент в пользу изоляции по умолчанию, минимальных прав и журналов, которые позволяют остановить задачу до того, как ошибка станет внешним инцидентом.
Фото: National Renewable Energy Laboratory / Wikimedia Commons.
