28 сентября 2026 г. в 16:55 NVIDIA ИИ-агенты безопасность Open Source Источник

NVIDIA открыла платформу безопасности для ИИ-агентов

У ИИ-агента может быть прекрасный план — и всё равно не должно быть права обойти ограничение. NVIDIA представила Open Agent Safety Platform: открытую платформу и эталонную архитектуру, которые должны контролировать действия агента на уровне среды выполнения и инфраструктуры, а не полагаться только на инструкции в промпте.

В состав входят OpenShell и NVIDIA Sentry. По заявлению компании, Sentry работает отдельно от агента на DPU BlueField-4 — специализированном процессоре обработки данных — и способен изолировать процесс, если тот выходит за заданные рамки, за миллисекунды.

Ограничитель вне модели

OpenShell задаёт защищённую границу выполнения: отслеживает действия агента и применяет политики во время работы. Это важно для агентов, которым дают доступ к коду, внутренним системам, файлам или внешним сервисам: они могут ошибиться, попасть под prompt injection или попытаться завершить задачу способом, который нарушает правила.

NVIDIA подчёркивает, что OpenShell — открытое ПО. Его можно расширять для платформ Arm и Intel, а не только использовать на процессорах NVIDIA Vera. Однако Sentry в заявленной схеме привязан к BlueField-4, так что «полный стек» контроля требует конкретного оборудования NVIDIA.

Что меняется для команд

Обычная защита агента часто живёт рядом с ним: в системных инструкциях, правилах приложения или проверках перед вызовом инструмента. Новый подход пытается вынести наблюдателя за пределы этого контура. Агент не должен иметь возможности сам отключить механизм, который проверяет его права.

NVIDIA перечисляет среди участников и интеграционных партнёров Anthropic, Microsoft, Salesforce, SAP, Hugging Face и другие компании. Salesforce, например, планирует связать OpenShell со Slack, чтобы команды видели активность агента, аудит-события и могли одобрять дополнительные разрешения.

Открытость — не гарантия безопасности

Платформа не делает агента безопасным автоматически. Компании всё равно должны определить политики, права доступа и сценарии эскалации; плохое правило в аппаратно защищённой оболочке останется плохим правилом.

Но сама идея здравая: чем больше агенту доверяют реальную работу, тем важнее, чтобы последняя проверка была не его собственным рассуждением, а независимым техническим барьером. Исходный код OpenShell и документация уже доступны через ресурсы NVIDIA.

Источник: NVIDIA Newsroom

Ещё новости

12 ноября 2026 г.

Anthropic выпустила Claude Fable 5.2 и Mythos 5.2: обычным пользователям доступна только одна модель

Anthropic представила Claude Fable 5.2 и Claude Mythos 5.2 для сложных технических задач. Fable доступна всем пользователям, а Mythos для кибербезопасности и биомедицины остаётся по заявке; базовая цена API — $8 за миллион входных и $40 за миллион выходных токенов.

12 ноября 2026 г.

Gemini Robotics 2.5: гуманоид Apollo показал 96% в цехе Mercedes

Google DeepMind представила Gemini Robotics 2.5 — VLA-модель для управления роботами. В пилоте на линиях Mercedes-Benz гуманоид Apollo 2 сортировал автодетали с заявленным успехом 96%.

12 ноября 2026 г.

Gemini Live появился в Apple CarPlay

Google начала глобально разворачивать Gemini Live в Apple CarPlay. Голосовой помощник может продолжать диалог с iPhone, но часть персонализированных функций недоступна пользователям в ЕЭЗ.

12 ноября 2026 г.

Google выпустила Gemini Decision 1: ИИ для выбора без генерации текста

Google открыла Gemini Decisions API и модель Gemini Decision 1 — инструмент для быстрых проверок, маршрутизации и оценок по тексту, изображениям, аудио, видео и PDF. Вместо генерации ответа модель возвращает вероятности вариантов.

11 ноября 2026 г.

Google расширяет Gemini Intelligence на Pixel 10 и Motorola

Google добавляет Gemini Intelligence на Pixel 10 и будущий Motorola Signature 27. Среди новых функций — голосовой черновик Rambler, виджеты по текстовому описанию и управление настройками устройства; доступ зависит от страны, языка, возраста, модели и подписки.

11 ноября 2026 г.

Google добавила офлайн-голос в AI Edge Gallery

Google AI Edge Gallery получила локальные распознавание речи и синтез голоса. Голосовой интерфейс можно запускать на устройстве без сети — но возможности зависят от платформы и модели.

11 ноября 2026 г.

Microsoft показала бэкдор для ИИ-агентов со «спящими» нейронами

Исследователи Microsoft описали Lazarus — технику, при которой небольшое изменение весов модели может оставить агента обычным до скрытого условия. Риск относится к моделям, которым доверили инструменты, терминал или доступ к секретам.

10 ноября 2026 г.

Google открыла доступ к Gemini 4 Carbon — самой мощной модели линейки

Google начала открывать доступ к Gemini 4 Carbon: API доступен платным разработчикам и компаниям, а подписчикам AI Ultra модель постепенно появляется в приложении Gemini, AI Mode и Antigravity. На старте тариф совпадает с Gemini 4 Argon — $2 за миллион входных и $10 за миллион выходных токенов; после 30 ноября цена вырастет вдвое.

10 ноября 2026 г.

Meta расширяет AI-проверку возраста для Teen Accounts по всему миру

Meta начала глобально расширять технологию оценки возраста с помощью ИИ в Instagram. Компания будет переводить в Teen Accounts больше подростков, указавших при регистрации взрослую дату рождения.

10 ноября 2026 г.

Notion: часть чатов Notion AI могла попасть в инцидент Fireworks

Notion сообщила, что в инциденте у её подрядчика Fireworks AI могли оказаться отдельные анонимизированные расшифровки диалогов Notion AI. Компания рекомендует затронутым командам считать вставленные в чат секреты потенциально раскрытыми и заменить их.

10 ноября 2026 г.

Claude спроектировал три электронных устройства без правок в схемах

Anthropic проверила Claude на проектировании реальной электроники: три прототипа собрали и запустили без исправлений в схемах. Это ещё не замена инженеру, но ИИ уже берёт на себя часть связанной работы от спецификации до платы.

9 ноября 2026 г.

Claude Fable 5.2: Anthropic снизила цену и показала рой из 1000 агентов

Anthropic представила Claude Fable 5.2 и Claude Mythos 5.2: базовая цена — $8 за миллион входных и $40 за миллион выходных токенов, а генерация, по заявлению компании, ускорилась до 30%. Самая заметная цифра в опубликованной таблице — 41,3% в Remote Labor Index, но это результат Anthropic при режиме High effort, а не независимый рейтинг.