Anthropic пустит внешних оценщиков внутрь лаборатории — первым станет Accenture
Anthropic хочет, чтобы проверка безопасности передовых ИИ-моделей происходила не только после релиза и не только по материалам, которые компания решила показать сама. Первым партнёром для такого эксперимента станет Accenture: её подразделение Faculty будет работать внутри Anthropic как независимый оценщик.
Это заметно меняет саму идею аудита. По описанию Anthropic, встроенные оценщики получат доступ, сопоставимый с доступом сотрудника: смогут наблюдать обучение моделей, следить за решениями об их создании и выпуске и разговаривать с командой напрямую.
Не аудит после инцидента
Accenture будет заниматься оценками и red teaming — контролируемыми попытками найти опасное или нежелательное поведение модели, — а также проверять меры защиты и подходы к alignment, то есть согласованию поведения ИИ с заданными ограничениями.
Компания рассчитывает, что практический опыт Accenture в корпоративных и государственных внедрениях поможет замечать риски, которые не видны в лабораторных тестах. Обе стороны намерены вложить в развитие этой области не менее $1 млрд каждая в ближайшие пять лет.
Но слово «независимый» здесь пока требует осторожности. Anthropic прямо пишет, что единых стандартов доступа, формата публикации выводов и финансирования таких проверок ещё нет. Работу Accenture на первом этапе оплатит сама Anthropic. Одновременно компания обсуждает пилоты с некоммерческой METR и другими организациями, у которых может быть собственное финансирование.
Проверять обещания, а не презентации
Партнёрство не даёт оценщикам права снять с Anthropic ответственность за безопасность. Зато оно потенциально позволяет проверить более важную вещь: совпадают ли внутренние решения лаборатории с её публичными обязательствами, пока модель ещё создаётся, а не после громкого сбоя.
Для пользователей и компаний-покупателей полезный критерий будет простым: появятся ли у таких оценок понятные, сопоставимые и публичные результаты. Доступ «внутрь» ценен лишь тогда, когда неудобные выводы нельзя тихо оставить внутри той же комнаты.
