Anthropic пустила независимых оценщиков глубже в свои системы
Anthropic начала пускать внешних оценщиков в более глубокий контур своей работы. Небольшая команда некоммерческой организации METR получила доступ, который компания называет «похожим на доступ сотрудника». Цель — чтобы проверка рисков передовых моделей не ограничивалась публичным отчётом и публичным показом чат-бота.
Речь не о свободном проходе в инфраструктуру. Участники команды работают по юридически обязательным соглашениям и правилам безопасности Anthropic; остальные сотрудники METR изолированы от этой работы. Компания отдельно подчёркивает: такой формат не даёт сторонним организациям доступ к данным клиентов и партнёров.
Проверять должны не только ответы модели
По версии Anthropic, для содержательной оценки недостаточно открыть тестировщику новую модель. Нужны знания о том, как могут ошибаться сами оценки, доступ к данным об обучении и работе защит, а также возможность публиковать аргументированные выводы.
Компания описала три ступени партнёрства. На первой оценщик проводит узкую проверку, а публикация результатов требует одобрения Anthropic. На второй он получает больше информации и может публиковаться без предварительного согласования; при этом компания всё ещё может требовать убрать конкретные чувствительные категории данных, а оценщик вправе публично оспорить такое редактирование. Самый глубокий уровень — встроенная проверка с доступом, близким к внутреннему.
Это важная оговорка: независимость здесь не бинарна. Она зависит и от того, что именно увидит проверяющий, и от того, сможет ли он рассказать о неудобном результате.
Не аудит «по готовому пресс-релизу»
Кроме METR, Anthropic сообщает о работе с SecureBio и Accenture и о ранних обсуждениях с другими организациями, включая Hugging Face. Пока многие партнёрства находятся на ранней стадии, поэтому доступ у них ограниченнее.
Для пользователей и компаний это не доказательство безопасности Claude само по себе. Но формат полезнее привычной схемы, где разработчик публикует собственный отчёт уже после того, как выбрал метрики и интерпретацию. Чем больше независимый оценщик видит до релиза и чем меньше зависит от разрешения компании на публикацию, тем выше шанс заметить проблему вовремя.
Фото: Anthropic.
Подробности о доступе, уровнях проверки и партнёрах Anthropic изложила в своём обновлении об независимых оценщиках.













