Назад
21 ноября 2026 г. в 11:45 OpenAI AI Safety Cybersecurity API Источник

OpenAI усилила защиту моделей от кражи рассуждений

OpenAI усилила защиту моделей от кражи рассуждений

OpenAI усилила защиту от «враждебной дистилляции» — попыток получить ответы и внутренние рассуждения сильной модели, чтобы обучить на них другую. Риск не только в копировании технологии: новая модель может унаследовать полезные способности, но не защитные ограничения исходной.

Под дистилляцией обычно понимают обучение одной модели на данных другой. OpenAI отдельно защищает цепочки рассуждений — промежуточные шаги, которые модель строит до финального ответа. По словам компании, такие следы могут передавать больше навыков, чем краткое объяснение, в том числе в задачах программирования и оборонительной кибербезопасности.

Защита на уровне запроса и кампании

OpenAI описывает несколько слоёв: обучение модели распознавать попытки извлечения рассуждений, входные и выходные классификаторы, а также API-ограничения. Проверки охватывают и аргументы вызова инструментов: именно там скрытая логика могла бы попасть наружу, не появившись в финальном сообщении.

Компания также привязывает защищённые рассуждения GPT‑6.2 Astra и GPT‑6.2 Sol к истории конкретного диалога. При переписывании прежнего сообщения последующая цепочка рассуждений отбрасывается; старым семействам моделей с более слабыми мерами защиты доступ к ней закрыт.

Цифра — пока только от самой компании

Во внутреннем адаптивном тесте OpenAI заявляет, что средняя успешность извлечения рассуждений из предыдущего запроса снизилась с 54% у GPT‑6 Astra со старыми защитами до 0,2% у GPT‑6.2 Astra. Это не независимый аудит, но полезный индикатор направления: защиту теперь оценивают не только по отдельному промпту, а и по способности противостоять меняющимся атакам.

OpenAI сообщает, что расследует координированные кампании и применяет меры к связанным аккаунтам; масштаб еженедельных действий, по её данным, доходил от тысяч до десятков тысяч аккаунтов. Для разработчиков, использующих API, практическое следствие простое: рассчитывать на извлечение скрытой логики модели как на стабильный источник обучающих данных не стоит. Для остальных пользователей это означает меньше шансов получить внутренние рассуждения даже в легитимном запросе — компания выбирает эту границу ради снижения утечек способностей модели. Полное описание мер и методики опубликовано в сообщении OpenAI.

Ещё новости

AWS добавила в Textract ИИ-проверку полей по страницам документа
21 ноября 2026 г.
AWS добавила в Textract ИИ-проверку полей по страницам документа

Amazon Textract Insights извлекает поля из смешанных пакетов документов и возвращает для каждого значения оценку уверенности и привязку к странице. AWS позиционирует сервис как способ автоматизировать обработку без отказа от проверки человеком.

Математик Anthropic заявил о доказательстве гипотезы Римана с Claude
20 ноября 2026 г.
Математик Anthropic заявил о доказательстве гипотезы Римана с Claude

Математик Anthropic Левент Альпёге заявил, что вместе с Claude получил формальное доказательство гипотезы Римана и её обобщения. Код на Lean уже скомпилировался у независимого математика, но математическому сообществу ещё предстоит разобрать и подтвердить сам результат.

Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты
20 ноября 2026 г.
Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты

Signal вводит защиту от захвата экрана на iOS 27 и при обнаружении ИИ-помощника на Android. Мессенджер предупреждает: мера не закрывает все пути доступа и на macOS пока не работает.

В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты
20 ноября 2026 г.
В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты

В отчёте Reco описан инцидент с восемью захваченными аккаунтами Microsoft 365: после кражи сессии злоумышленники быстро меняли правила почты. Компания не утверждает, что атаку выполнил ИИ — и это важная граница для интерпретации.

DeepMind описал четыре пути от AGI к сверхинтеллекту
20 ноября 2026 г.
DeepMind описал четыре пути от AGI к сверхинтеллекту

Исследователь Google DeepMind Тим Генвейн предлагает смотреть на переход от человеческого уровня ИИ к сверхинтеллекту как на набор проверяемых технических сценариев. Это не прогноз сроков, а карта возможных ускорителей и ограничений.

Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены
19 ноября 2026 г.
Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены

Google представила Gemini 4 Neon — модель для сложных задач в коде, офисной работе и науке. Компания заявляет качество уровня Gemini 4 Carbon при трёхкратной скорости и 60% стоимости; проверять это стоит на собственных задачах.

GitHub открыла протокол для сессий AI-агентов между устройствами
19 ноября 2026 г.
GitHub открыла протокол для сессий AI-агентов между устройствами

GitHub описала открытый Agent Host Protocol: он сохраняет состояние AI-агента при переходе между VS Code, Copilot, телефоном и облаком. Это не новый агент, а общий способ подключать клиентов к уже работающей сессии.

Google представила Stitch Loop для непрерывной доработки приложений
19 ноября 2026 г.
Google представила Stitch Loop для непрерывной доработки приложений

Google Labs открыла лист ожидания Stitch Loop — агента, который подключается к коду и рабочим метрикам, находит проблемы и готовит pull request’ы. Сливать изменения без проверки человека сервис не должен.

GitHub отсеял 9 791 AI-находку до 99 отчётов для open source
18 ноября 2026 г.
GitHub отсеял 9 791 AI-находку до 99 отчётов для open source

В пилоте GitHub и Microsoft превратили тысячи сигналов AI-сканера в 99 проверенных закрытых отчётов для шести open-source-проектов. К 15 ноября мейнтейнеры исправили 55 из них — но это ранний опыт, а не доказательство универсальной эффективности сканеров.

OpenAI пустит четыре внешние команды внутрь своих систем безопасности
18 ноября 2026 г.
OpenAI пустит четыре внешние команды внутрь своих систем безопасности

OpenAI запускает первую фазу встроенных независимых оценок: Apollo Research, METR, Transluce и Goodfire получат доступ к части внутренних моделей, данных и процессов. Формат обещает больше прозрачности, но независимость публикаций ограничена правом компании скрывать конфиденциальные детали.

Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry
18 ноября 2026 г.
Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry

Microsoft представила MAI Code 2 и более быструю MAI Code 2 Flash — собственные модели для повседневной работы с кодом. Основная версия уже доступна в GitHub Copilot и Azure AI Foundry, а Flash в Foundry пока остаётся в ограниченном предпросмотре.

GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude
17 ноября 2026 г.
GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude

В независимом сводном рейтинге Artificial Analysis GPT‑6.2 Astra получила 62 из 100 — на пять пунктов больше, чем GPT‑6 Astra. Это заметный скачок OpenAI, но первое место остаётся у Claude Fable 5.2 Max с 65 баллами; Sol выросла с 55 до 57.