Назад
4 октября 2026 г. в 18:10 OpenAI AI Safety ИИ-агенты безопасность ИИ Источник

Руководитель по безопасности OpenAI ушёл, назвав культуру компании сломанной

Руководитель по безопасности OpenAI ушёл, назвав культуру компании сломанной

Дэвид Робинсон, руководивший подготовкой отчётов по безопасности к запускам продуктов OpenAI, ушёл из компании. В эссе, на которое ссылается The Guardian, он назвал её культуру «сломанной»: по его словам, переход от одного релиза к следующему не даёт добиться необходимой осторожности.

Спор не о конкретном релизе

Робинсон не утверждает, что уже случилась катастрофа, и не описывает отдельный инцидент. Его претензия — к подходу: в Кремниевой долине, по его мнению, недостаточно понимают, как обращаться с опасными технологиями и как учитывать интересы людей, которых они могут затронуть.

Он предупреждает, что такая культура может сделать ошибки серьёзнее по мере роста возможностей систем. В качестве возможного сценария Робинсон приводит автономных агентов, способных действовать как команда злоумышленников: например, атаковать компьютерные системы больницы с целью вымогательства, не нуждаясь в отдыхе.

Что он предлагает

Первое предложение — заимствовать методы из ядерной энергетики и авиации: резервные контуры, тщательное планирование и процедуры, рассчитанные на неизбежные человеческие ошибки. Второе — развивать научные методы контроля, чтобы будущие мощные системы можно было сдерживать, когда они действуют автономно.

Для команд, внедряющих агентов, это переводит разговор из области общих принципов в инженерные требования: кто может остановить систему, какие действия ей недоступны и как проверяется её поведение до подключения к реальным данным или инфраструктуре.

Ответ OpenAI

Представитель OpenAI сообщил изданию, что компания усиливает безопасность и защиту от актуальных рисков, одновременно готовясь к рискам будущих прорывов. По его словам, OpenAI следит, чтобы возможности моделей не опережали способность компании безопасно ими управлять, и при необходимости приостанавливает обучение либо задерживает выпуск моделей.

Заявление Робинсона — не независимая оценка практик OpenAI, а позиция ушедшего сотрудника. Оно отражает его профессиональную оценку рисков и внутреннего темпа работы.

Но его должность делает спор предметным: Робинсон работал именно с документами, которые должны объяснять риски перед выпуском продуктов.

Ещё новости

AWS добавила в Textract ИИ-проверку полей по страницам документа
21 ноября 2026 г.
AWS добавила в Textract ИИ-проверку полей по страницам документа

Amazon Textract Insights извлекает поля из смешанных пакетов документов и возвращает для каждого значения оценку уверенности и привязку к странице. AWS позиционирует сервис как способ автоматизировать обработку без отказа от проверки человеком.

Математик Anthropic заявил о доказательстве гипотезы Римана с Claude
20 ноября 2026 г.
Математик Anthropic заявил о доказательстве гипотезы Римана с Claude

Математик Anthropic Левент Альпёге заявил, что вместе с Claude получил формальное доказательство гипотезы Римана и её обобщения. Код на Lean уже скомпилировался у независимого математика, но математическому сообществу ещё предстоит разобрать и подтвердить сам результат.

Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты
20 ноября 2026 г.
Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты

Signal вводит защиту от захвата экрана на iOS 27 и при обнаружении ИИ-помощника на Android. Мессенджер предупреждает: мера не закрывает все пути доступа и на macOS пока не работает.

В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты
20 ноября 2026 г.
В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты

В отчёте Reco описан инцидент с восемью захваченными аккаунтами Microsoft 365: после кражи сессии злоумышленники быстро меняли правила почты. Компания не утверждает, что атаку выполнил ИИ — и это важная граница для интерпретации.

DeepMind описал четыре пути от AGI к сверхинтеллекту
20 ноября 2026 г.
DeepMind описал четыре пути от AGI к сверхинтеллекту

Исследователь Google DeepMind Тим Генвейн предлагает смотреть на переход от человеческого уровня ИИ к сверхинтеллекту как на набор проверяемых технических сценариев. Это не прогноз сроков, а карта возможных ускорителей и ограничений.

Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены
19 ноября 2026 г.
Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены

Google представила Gemini 4 Neon — модель для сложных задач в коде, офисной работе и науке. Компания заявляет качество уровня Gemini 4 Carbon при трёхкратной скорости и 60% стоимости; проверять это стоит на собственных задачах.

GitHub открыла протокол для сессий AI-агентов между устройствами
19 ноября 2026 г.
GitHub открыла протокол для сессий AI-агентов между устройствами

GitHub описала открытый Agent Host Protocol: он сохраняет состояние AI-агента при переходе между VS Code, Copilot, телефоном и облаком. Это не новый агент, а общий способ подключать клиентов к уже работающей сессии.

Google представила Stitch Loop для непрерывной доработки приложений
19 ноября 2026 г.
Google представила Stitch Loop для непрерывной доработки приложений

Google Labs открыла лист ожидания Stitch Loop — агента, который подключается к коду и рабочим метрикам, находит проблемы и готовит pull request’ы. Сливать изменения без проверки человека сервис не должен.

GitHub отсеял 9 791 AI-находку до 99 отчётов для open source
18 ноября 2026 г.
GitHub отсеял 9 791 AI-находку до 99 отчётов для open source

В пилоте GitHub и Microsoft превратили тысячи сигналов AI-сканера в 99 проверенных закрытых отчётов для шести open-source-проектов. К 15 ноября мейнтейнеры исправили 55 из них — но это ранний опыт, а не доказательство универсальной эффективности сканеров.

OpenAI пустит четыре внешние команды внутрь своих систем безопасности
18 ноября 2026 г.
OpenAI пустит четыре внешние команды внутрь своих систем безопасности

OpenAI запускает первую фазу встроенных независимых оценок: Apollo Research, METR, Transluce и Goodfire получат доступ к части внутренних моделей, данных и процессов. Формат обещает больше прозрачности, но независимость публикаций ограничена правом компании скрывать конфиденциальные детали.

Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry
18 ноября 2026 г.
Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry

Microsoft представила MAI Code 2 и более быструю MAI Code 2 Flash — собственные модели для повседневной работы с кодом. Основная версия уже доступна в GitHub Copilot и Azure AI Foundry, а Flash в Foundry пока остаётся в ограниченном предпросмотре.

GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude
17 ноября 2026 г.
GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude

В независимом сводном рейтинге Artificial Analysis GPT‑6.2 Astra получила 62 из 100 — на пять пунктов больше, чем GPT‑6 Astra. Это заметный скачок OpenAI, но первое место остаётся у Claude Fable 5.2 Max с 65 баллами; Sol выросла с 55 до 57.