Назад
16 октября 2026 г. в 13:40 Anthropic AI Safety METR AI Governance Источник

Anthropic пустила независимых оценщиков глубже в свои системы

Anthropic пустила независимых оценщиков глубже в свои системы

Anthropic начала пускать внешних оценщиков в более глубокий контур своей работы. Небольшая команда некоммерческой организации METR получила доступ, который компания называет «похожим на доступ сотрудника». Цель — чтобы проверка рисков передовых моделей не ограничивалась публичным отчётом и публичным показом чат-бота.

Речь не о свободном проходе в инфраструктуру. Участники команды работают по юридически обязательным соглашениям и правилам безопасности Anthropic; остальные сотрудники METR изолированы от этой работы. Компания отдельно подчёркивает: такой формат не даёт сторонним организациям доступ к данным клиентов и партнёров.

Проверять должны не только ответы модели

По версии Anthropic, для содержательной оценки недостаточно открыть тестировщику новую модель. Нужны знания о том, как могут ошибаться сами оценки, доступ к данным об обучении и работе защит, а также возможность публиковать аргументированные выводы.

Компания описала три ступени партнёрства. На первой оценщик проводит узкую проверку, а публикация результатов требует одобрения Anthropic. На второй он получает больше информации и может публиковаться без предварительного согласования; при этом компания всё ещё может требовать убрать конкретные чувствительные категории данных, а оценщик вправе публично оспорить такое редактирование. Самый глубокий уровень — встроенная проверка с доступом, близким к внутреннему.

Это важная оговорка: независимость здесь не бинарна. Она зависит и от того, что именно увидит проверяющий, и от того, сможет ли он рассказать о неудобном результате.

Не аудит «по готовому пресс-релизу»

Кроме METR, Anthropic сообщает о работе с SecureBio и Accenture и о ранних обсуждениях с другими организациями, включая Hugging Face. Пока многие партнёрства находятся на ранней стадии, поэтому доступ у них ограниченнее.

Для пользователей и компаний это не доказательство безопасности Claude само по себе. Но формат полезнее привычной схемы, где разработчик публикует собственный отчёт уже после того, как выбрал метрики и интерпретацию. Чем больше независимый оценщик видит до релиза и чем меньше зависит от разрешения компании на публикацию, тем выше шанс заметить проблему вовремя.

Фото: Anthropic.

Подробности о доступе, уровнях проверки и партнёрах Anthropic изложила в своём обновлении об независимых оценщиках.

Ещё новости

Microsoft обучила базовую модель на 2,8 трлн параметров — но пока не отдаёт её пользователям
16 октября 2026 г.
Microsoft обучила базовую модель на 2,8 трлн параметров — но пока не отдаёт её пользователям

Microsoft AI завершила предобучение MAI-Base-2 — модели Mixture-of-Experts с 80 млрд активных и 2,8 трлн общих параметров. Компания заявляет о более высокой эффективности обучения по сравнению с DeepSeek-V4-Pro-Base, но сама модель ещё проходит постобучение и недоступна.

Meta открыла веса Muse Spark Open, но запустить модель дома будет непросто
15 октября 2026 г.
Meta открыла веса Muse Spark Open, но запустить модель дома будет непросто

Meta выпустила открытые веса Muse Spark Open — мультимодальной модели для кода и агентных задач. Релиз даёт разработчикам больше контроля над запуском и дообучением, но требует очень мощного железа и распространяется по лицензии с коммерческими условиями.

Meta признала сбой: очки Ray-Ban записывали разговоры без команды
15 октября 2026 г.
Meta признала сбой: очки Ray-Ban записывали разговоры без команды

Владельцы Ray-Ban Meta сообщили о сохранённых аудиозаписях и расшифровках обычных разговоров, хотя голосовая команда не звучала. Meta заявила, что устранила проблему, но не объяснила её причину и масштаб.

Anthropic готовит Claude к выборам: официальные данные и новые фильтры
15 октября 2026 г.
Anthropic готовит Claude к выборам: официальные данные и новые фильтры

Anthropic добавит в Claude для пользователей США официальную информацию о голосовании и результаты выборов. Компания также признаёт ограничение своих защит: вредоносную кампанию, разбитую на безобидные шаги, модель может не распознать.

Anthropic: малые модели уже подбираются к самораспространению по IoT
15 октября 2026 г.
Anthropic: малые модели уже подбираются к самораспространению по IoT

Anthropic проверила, смогут ли небольшие модели развернуть себя на чужом слабом железе и продолжить цепочку. В лабораторной среде более сильные модели уже прошли упрощённый цикл, но реальный взлом устройств в эксперимент не входил.

FSB выпустил 12 правил для банков, внедряющих ИИ
15 октября 2026 г.
FSB выпустил 12 правил для банков, внедряющих ИИ

Совет по финансовой стабильности опубликовал финальные практики для банков и других финансовых организаций, использующих ИИ. Документ не вводит новый закон, но превращает управление ИИ из эксперимента отдельных команд в задачу руководства, контроля поставщиков и мониторинга всего жизненного цикла.

Google выпустила Gemini 4 Argon: миллион токенов и цена, которая удвоится в декабре
14 октября 2026 г.
Google выпустила Gemini 4 Argon: миллион токенов и цена, которая удвоится в декабре

Google открыла доступ к Gemini 4 Argon через API, Gemini и Antigravity. В стартовый период модель стоит $2 за миллион входных токенов, но 30 ноября цена вырастет вдвое.

Anthropic закрывает лазейки для «дистилляции» Claude — но вводит цену за ложные срабатывания
14 октября 2026 г.
Anthropic закрывает лазейки для «дистилляции» Claude — но вводит цену за ложные срабатывания

Anthropic сообщает, что новые защиты сократили извлечение скрытых рассуждений Claude для дистилляции в 10–100 раз. Взамен часть разработчиков должна менять интеграции, а заблокированные запросы в чувствительных категориях снова тарифицируются.

Grok 4.7 появился в Amazon Bedrock: агентам дали выбор между точностью и расходами
14 октября 2026 г.
Grok 4.7 появился в Amazon Bedrock: агентам дали выбор между точностью и расходами

Amazon Bedrock добавил Grok 4.7 и показал на задачах для агентов, что уровень рассуждений можно менять под цену и риск ошибки.

NVIDIA: европейские города тестируют ИИ-агентов для дорог, зданий и портов
14 октября 2026 г.
NVIDIA: европейские города тестируют ИИ-агентов для дорог, зданий и портов

NVIDIA рассказала о европейских проектах, где агентные системы и цифровые двойники помогают городским службам работать с инфраструктурой, энергией и безопасностью. Это пока не единая городская автопилотная система, а набор пилотов и внедрений у местных партнёров.

NVIDIA готовит Nemotron 3.5 Bolt для локальных ИИ-агентов
13 октября 2026 г.
NVIDIA готовит Nemotron 3.5 Bolt для локальных ИИ-агентов

NVIDIA объявила, что 15 октября выпустит открытую модель Nemotron 3.5 Bolt 74B-A9B для локального запуска на RTX Spark. Модель занимает 24 ГБ после 2-битного квантования и рассчитана на агентные сценарии.

Boston Dynamics показала новые руки Atlas: меньше пальцев, больше ставки на обучение
13 октября 2026 г.
Boston Dynamics показала новые руки Atlas: меньше пальцев, больше ставки на обучение

Boston Dynamics представила новую кисть для гуманоидного Atlas: четыре пальца, 13 степеней свободы и прямой привод. Смысл не в имитации человеческой руки, а в том, чтобы робота можно было надёжнее обучать манипуляциям в симуляции и переносить навык в реальный цех.