METR: закрытые модели Anthropic ускорили рост бенчмарков почти вдвое
Независимая группа METR считает, что темп роста результатов моделей Anthropic на бенчмарках с октября 2025 года ускорился в 1,9 раза. Это не заявление самой лаборатории: вывод сделан после высокодоступной проверки её внутренних данных. Но и не готовый вердикт о «почти двукратном ускорении ИИ вообще» — диапазон неопределённости остаётся широким.
Что именно измеряли
В публичном отчёте METR использован AECI — вариант Epoch Capabilities Index у Anthropic. Он сводит результаты набора внутренних и внешних тестов разной сложности в одну шкалу. До октября 2025 года линия росла примерно на 15 баллов в год, после — на 29. Отсюда оценка ускорения в 1,9 раза с 95%-м доверительным интервалом 1,5–2,8.
По этому индексу за год Anthropic продвинулась примерно настолько же, насколько за период с октября 2023-го по октябрь 2025-го — от Claude 2.1 до Sonnet 4.5. В расчёт вошли и данные о трёх внутренних моделях, которыми никто за пределами Anthropic пользоваться не может. Именно поэтому их учёт поднимает оценку выше 1,7 раза, указанной ранее в системной карте Haiku 5.5.

График: METR.
Почему это ещё не «двойная скорость прогресса»
METR изучала данные и интервью с 12 августа по 29 октября 2026 года, однако Anthropic сохранила право вырезать непубличные сведения из публикации. Авторы прямо пишут: значительная часть наиболее информативных доказательств была отредактирована, поэтому читателю приходится сильнее полагаться на их суждение, чем хотелось бы.
Индекс также измеряет прежде всего хорошо заданные, автоматически проверяемые задачи. Ускорение может быть завышено, если новые модели лучше подстраиваются под распределение бенчмарков или если ранний темп был необычно низким. И наоборот, AECI может не заметить резких практических эффектов после прохождения порогов способности.
METR считает наиболее вероятным, что в октябре возможности моделей Anthropic на таких задачах росли примерно вдвое быстрее, чем в марте 2024-го — октябре 2025-го. Это важный сигнал для рынка и безопасности, но не доказательство того, что любая реальная работа уже автоматизируется с той же скоростью.













