Калифорния поручила придумать «выключатель» для передовых ИИ
Калифорния хочет перейти от самоотчётов AI-лабораторий к внешней проверке — и одновременно выяснить, возможен ли для передовых моделей работающий аварийный «выключатель». Губернатор Гэвин Ньюсом 18 сентября подписал исполнительный приказ, который ускоряет внедрение недавно принятых законов об аудиторах и поручает подготовить новые рекомендации за два месяца.
Важно не перепутать формулировки. Штат не обязал компании немедленно встроить кнопку остановки в каждую модель. Приказ просит экспертную группу предложить, как такой механизм можно создать и как независимые организации смогут регулярно подтверждать его работоспособность.
Что меняется прямо сейчас
Приказ ускоряет реализацию двух законов, подписанных ранее в сентябре. SB 813 создаёт рамку для независимых организаций, проверяющих безопасность и риски AI-систем. AB 1405 вводит реестр аудиторов и требования к их независимости, прозрачности и добросовестности.
Следующий шаг пока находится в стадии проектирования. Government Operations Agency должна вместе со службами чрезвычайных ситуаций собрать национальных экспертов. Среди возможных предложений — постоянное присутствие независимой проверяющей организации в лаборатории, верификация планов безопасности и отчётов о рисках, а также механизм аварийного отключения для frontier-моделей.
Почему слово «выключатель» не решает проблему
Самая практичная часть приказа — не эффектная метафора, а требование проверять механизм извне. Отключение, о котором разработчик только заявил в документе, мало что даёт без понятных условий срабатывания, процедуры проверки и ответственного за решение.
Приказ также предлагает расширить определение критических инцидентов, включив случаи потери контроля — в сообщении администрации как пример упоминается атака на Hugging Face. Но документ не описывает конкретный технический стандарт, не называет компании-адресаты и не вводит новую санкцию. Всё это ещё предмет рекомендаций.
Для лабораторий это сигнал: калифорнийская дискуссия о безопасности всё меньше сводится к публикации собственных правил. Если предложения станут законом, проверять придётся не только наличие отчёта, но и то, может ли организация независимо подтвердить заявленные предохранители.
Фото: официальный портрет губернатора Гэвина Ньюсома, Wikimedia Commons.
