Руководитель по безопасности OpenAI ушёл, назвав культуру компании сломанной
Дэвид Робинсон, руководивший подготовкой отчётов по безопасности к запускам продуктов OpenAI, ушёл из компании. В эссе, на которое ссылается The Guardian, он назвал её культуру «сломанной»: по его словам, переход от одного релиза к следующему не даёт добиться необходимой осторожности.
Спор не о конкретном релизе
Робинсон не утверждает, что уже случилась катастрофа, и не описывает отдельный инцидент. Его претензия — к подходу: в Кремниевой долине, по его мнению, недостаточно понимают, как обращаться с опасными технологиями и как учитывать интересы людей, которых они могут затронуть.
Он предупреждает, что такая культура может сделать ошибки серьёзнее по мере роста возможностей систем. В качестве возможного сценария Робинсон приводит автономных агентов, способных действовать как команда злоумышленников: например, атаковать компьютерные системы больницы с целью вымогательства, не нуждаясь в отдыхе.
Что он предлагает
Первое предложение — заимствовать методы из ядерной энергетики и авиации: резервные контуры, тщательное планирование и процедуры, рассчитанные на неизбежные человеческие ошибки. Второе — развивать научные методы контроля, чтобы будущие мощные системы можно было сдерживать, когда они действуют автономно.
Для команд, внедряющих агентов, это переводит разговор из области общих принципов в инженерные требования: кто может остановить систему, какие действия ей недоступны и как проверяется её поведение до подключения к реальным данным или инфраструктуре.
Ответ OpenAI
Представитель OpenAI сообщил изданию, что компания усиливает безопасность и защиту от актуальных рисков, одновременно готовясь к рискам будущих прорывов. По его словам, OpenAI следит, чтобы возможности моделей не опережали способность компании безопасно ими управлять, и при необходимости приостанавливает обучение либо задерживает выпуск моделей.
Заявление Робинсона — не независимая оценка практик OpenAI, а позиция ушедшего сотрудника. Оно отражает его профессиональную оценку рисков и внутреннего темпа работы.
Но его должность делает спор предметным: Робинсон работал именно с документами, которые должны объяснять риски перед выпуском продуктов.
