Назад
18 ноября 2026 г. в 11:58 OpenAI AI Safety Alignment METR Apollo Research Источник

OpenAI пустит четыре внешние команды внутрь своих систем безопасности

OpenAI пустит четыре внешние команды внутрь своих систем безопасности

OpenAI впервые формализовала формат «встроенных оценок» безопасности: четыре внешние команды будут работать не только с публичными моделями, но и с частью внутренних материалов компании. В пилот вошли Apollo Research, METR, Transluce и Goodfire. Для пользователей это важнее очередного обещания о безопасности: если формат заработает, риски моделей будут проверять люди, которым доступна не одна витрина продукта.

В описании программы OpenAI перечисляет возможный набор доступа: контрольные точки моделей, исходный код, данные обучения и оценок, системы мониторинга, техническая документация и контакты с исследователями и инженерами. Однако это не безусловный пропуск во все системы: объём доступа согласуется отдельно для каждой проверки, а работа с особенно чувствительной информацией должна идти в офисах OpenAI на устройствах компании.

Задачи тоже различаются. Apollo Research будет искать признаки того, что модель способна скрытно действовать вопреки намерениям разработчиков, и проверять, заметят ли это защитные механизмы. METR займётся поведением в крупнейшем запуске обучения с подкреплением и журналами мониторинга. Transluce проверит качество и охват посттренировочных оценок, а Goodfire — внутренности моделей и мониторинг обучения.

Самое существенное ограничение — публикация результатов. Оценщики сохраняют право публиковаться, но OpenAI может вырезать конфиденциальные фрагменты и попросить отложить раскрытие, если вывод создаёт риск безопасности. Разговоры с сотрудниками также будут «не для цитирования»; вместо этого оценщик может запросить официальное подтверждённое компанией заявление.

Именно здесь независимость будет проверяться на практике. Внешняя команда, которая видит только заранее выбранный срез и публикует материал после редакции владельца модели, не равна независимому аудиту. Но у программы есть полезный механизм эскалации: нерешённый спор между OpenAI и оценщиком должен попасть в комитет по безопасности и защите при совете OpenAI Foundation.

Первые отчёты покажут, насколько эта конструкция реальна. Смотреть стоит не на список партнёров, а на три вещи: что именно им дали проверить, какие неудобные находки были опубликованы и можно ли понять, где компания отказала в доступе.

Ещё новости

AWS добавила в Textract ИИ-проверку полей по страницам документа
21 ноября 2026 г.
AWS добавила в Textract ИИ-проверку полей по страницам документа

Amazon Textract Insights извлекает поля из смешанных пакетов документов и возвращает для каждого значения оценку уверенности и привязку к странице. AWS позиционирует сервис как способ автоматизировать обработку без отказа от проверки человеком.

Математик Anthropic заявил о доказательстве гипотезы Римана с Claude
20 ноября 2026 г.
Математик Anthropic заявил о доказательстве гипотезы Римана с Claude

Математик Anthropic Левент Альпёге заявил, что вместе с Claude получил формальное доказательство гипотезы Римана и её обобщения. Код на Lean уже скомпилировался у независимого математика, но математическому сообществу ещё предстоит разобрать и подтвердить сам результат.

Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты
20 ноября 2026 г.
Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты

Signal вводит защиту от захвата экрана на iOS 27 и при обнаружении ИИ-помощника на Android. Мессенджер предупреждает: мера не закрывает все пути доступа и на macOS пока не работает.

В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты
20 ноября 2026 г.
В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты

В отчёте Reco описан инцидент с восемью захваченными аккаунтами Microsoft 365: после кражи сессии злоумышленники быстро меняли правила почты. Компания не утверждает, что атаку выполнил ИИ — и это важная граница для интерпретации.

DeepMind описал четыре пути от AGI к сверхинтеллекту
20 ноября 2026 г.
DeepMind описал четыре пути от AGI к сверхинтеллекту

Исследователь Google DeepMind Тим Генвейн предлагает смотреть на переход от человеческого уровня ИИ к сверхинтеллекту как на набор проверяемых технических сценариев. Это не прогноз сроков, а карта возможных ускорителей и ограничений.

Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены
19 ноября 2026 г.
Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены

Google представила Gemini 4 Neon — модель для сложных задач в коде, офисной работе и науке. Компания заявляет качество уровня Gemini 4 Carbon при трёхкратной скорости и 60% стоимости; проверять это стоит на собственных задачах.

GitHub открыла протокол для сессий AI-агентов между устройствами
19 ноября 2026 г.
GitHub открыла протокол для сессий AI-агентов между устройствами

GitHub описала открытый Agent Host Protocol: он сохраняет состояние AI-агента при переходе между VS Code, Copilot, телефоном и облаком. Это не новый агент, а общий способ подключать клиентов к уже работающей сессии.

Google представила Stitch Loop для непрерывной доработки приложений
19 ноября 2026 г.
Google представила Stitch Loop для непрерывной доработки приложений

Google Labs открыла лист ожидания Stitch Loop — агента, который подключается к коду и рабочим метрикам, находит проблемы и готовит pull request’ы. Сливать изменения без проверки человека сервис не должен.

GitHub отсеял 9 791 AI-находку до 99 отчётов для open source
18 ноября 2026 г.
GitHub отсеял 9 791 AI-находку до 99 отчётов для open source

В пилоте GitHub и Microsoft превратили тысячи сигналов AI-сканера в 99 проверенных закрытых отчётов для шести open-source-проектов. К 15 ноября мейнтейнеры исправили 55 из них — но это ранний опыт, а не доказательство универсальной эффективности сканеров.

Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry
18 ноября 2026 г.
Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry

Microsoft представила MAI Code 2 и более быструю MAI Code 2 Flash — собственные модели для повседневной работы с кодом. Основная версия уже доступна в GitHub Copilot и Azure AI Foundry, а Flash в Foundry пока остаётся в ограниченном предпросмотре.

GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude
17 ноября 2026 г.
GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude

В независимом сводном рейтинге Artificial Analysis GPT‑6.2 Astra получила 62 из 100 — на пять пунктов больше, чем GPT‑6 Astra. Это заметный скачок OpenAI, но первое место остаётся у Claude Fable 5.2 Max с 65 баллами; Sol выросла с 55 до 57.

OpenAI даст 200 000 учёных бесплатный доступ к своим моделям
17 ноября 2026 г.
OpenAI даст 200 000 учёных бесплатный доступ к своим моделям

OpenAI расширяет программу ChatGPT for Academic Researchers: бесплатный доступ к передовым моделям получат 200 000 исследователей по всему миру.