Джейкоб Коксон предупредил о риске самоускорения ИИ
Бывший исследователь Anthropic Джейкоб Коксон дал CNN интервью после своего ухода из компании и вирусного поста о рисках ИИ. Его тезис не в том, что сегодняшние чат-боты уже способны уничтожить человечество: он опасается следующего этапа — когда системы смогут заметно ускорять исследования по созданию более сильного ИИ.
Коксон также сказал CNN, что ранее работал исследователем и в Anthropic, и в OpenAI. Важно не завышать этот статус: в доступных материалах CNN он представлен именно как бывший исследователь Anthropic; конкретную руководящую должность или роль в обучении моделей сюжет не подтверждает.
Речь о сценарии, а не о прогнозе
По словам Коксона, нынешние модели пока не обладают интеллектом, который позволил бы им «перехитрить» людей на уровне сценария вымирания. При этом он допускает уже более близкие вредные применения — например, атаки на инфраструктуру.
Его долгосрочная тревога связана с рекурсивным самосовершенствованием: ИИ могут поручить часть задач по исследованию ИИ, а более сильные версии затем будут ускорять появление следующих. Коксон назвал возможным такой поворот в ближайшие год-два, но это его оценка развития технологии, а не факт и не подтверждённая вероятность.
Ведущий CNN в разговоре упоминал возможные кибер- и биологические угрозы. Их не следует выдавать за слова или доказательства Коксона: сам собеседник приводил кибератаки и биологическое оружие как примеры того, каким путём потенциально опасная система могла бы действовать.
Что ответила Anthropic
CNN процитировал ответ компании: Anthropic заявила, что открыто говорит и о пользе, и о беспрецедентных рисках ИИ, развивает защитные меры, тестирует опасные способности моделей в кибербезопасности и биологии и публикует результаты исследований. Это позиция самой компании, а не независимая проверка достаточности этих мер.
Главная ценность интервью — не в пугающей дате «к 2030 году», вынесенной CNN в заголовок ролика. Оно показывает линию разногласия: успеют ли лаборатории и регуляторы создать надёжный контроль до того, как ИИ станет полезен для ускорения собственной разработки.
Сам сюжет не приводит независимого доказательства, что такая система уже существует или неизбежно появится.
