Назад
7 ноября 2026 г. в 11:58 Anthropic METR бенчмарки AI Safety LLM Источник

METR: закрытые модели Anthropic ускорили рост бенчмарков почти вдвое

METR: закрытые модели Anthropic ускорили рост бенчмарков почти вдвое

Независимая группа METR считает, что темп роста результатов моделей Anthropic на бенчмарках с октября 2025 года ускорился в 1,9 раза. Это не заявление самой лаборатории: вывод сделан после высокодоступной проверки её внутренних данных. Но и не готовый вердикт о «почти двукратном ускорении ИИ вообще» — диапазон неопределённости остаётся широким.

Что именно измеряли

В публичном отчёте METR использован AECI — вариант Epoch Capabilities Index у Anthropic. Он сводит результаты набора внутренних и внешних тестов разной сложности в одну шкалу. До октября 2025 года линия росла примерно на 15 баллов в год, после — на 29. Отсюда оценка ускорения в 1,9 раза с 95%-м доверительным интервалом 1,5–2,8.

По этому индексу за год Anthropic продвинулась примерно настолько же, насколько за период с октября 2023-го по октябрь 2025-го — от Claude 2.1 до Sonnet 4.5. В расчёт вошли и данные о трёх внутренних моделях, которыми никто за пределами Anthropic пользоваться не может. Именно поэтому их учёт поднимает оценку выше 1,7 раза, указанной ранее в системной карте Haiku 5.5.

График METR: AECI-баллы снимков моделей Anthropic; оранжевым отмечены внутренние модели, а линия после октября 2025 года становится заметно круче

График: METR.

Почему это ещё не «двойная скорость прогресса»

METR изучала данные и интервью с 12 августа по 29 октября 2026 года, однако Anthropic сохранила право вырезать непубличные сведения из публикации. Авторы прямо пишут: значительная часть наиболее информативных доказательств была отредактирована, поэтому читателю приходится сильнее полагаться на их суждение, чем хотелось бы.

Индекс также измеряет прежде всего хорошо заданные, автоматически проверяемые задачи. Ускорение может быть завышено, если новые модели лучше подстраиваются под распределение бенчмарков или если ранний темп был необычно низким. И наоборот, AECI может не заметить резких практических эффектов после прохождения порогов способности.

METR считает наиболее вероятным, что в октябре возможности моделей Anthropic на таких задачах росли примерно вдвое быстрее, чем в марте 2024-го — октябре 2025-го. Это важный сигнал для рынка и безопасности, но не доказательство того, что любая реальная работа уже автоматизируется с той же скоростью.

Ещё новости

Claude научили торговать и работать командой в мире EVE
8 ноября 2026 г.
Claude научили торговать и работать командой в мире EVE

Anthropic проверила агентов Claude в экономике EVE Online и командных миссиях EVE Frontier. Новые модели стабильно зарабатывали в симуляции рынка, но почти не замечали саботаж внутри команды.

Check Point: ИИ-агенты атаковали учётные записи без постоянного оператора
8 ноября 2026 г.
Check Point: ИИ-агенты атаковали учётные записи без постоянного оператора

Исследователи Check Point описали кампании с платформой ARTEX, где ИИ-агенты после начальной постановки цели работали автономно. Это повод проверить доступы и обновления, а не доказательство компрометации всех найденных систем.

Anthropic показала, почему агенту нельзя помнить всё подряд
7 ноября 2026 г.
Anthropic показала, почему агенту нельзя помнить всё подряд

Anthropic сравнила подходы к памяти AI-агентов на длинных задачах: лишние записи быстро превращаются в помеху. В тесте с Pokémon более компактная память помогла модели пройти дальше.

Anthropic: AI должна показывать не один научный ответ, а диапазон моделей
7 ноября 2026 г.
Anthropic: AI должна показывать не один научный ответ, а диапазон моделей

Anthropic предлагает оценивать AI-агентов для науки не по одному удачному уравнению, а по набору моделей, совместимых с данными. Такой подход помогает отделить устойчивые выводы от удобной, но случайной подгонки.

Минюст США создал группу по рискам «суперинтеллекта»
6 ноября 2026 г.
Минюст США создал группу по рискам «суперинтеллекта»

Минюст США объявил о Super Intelligence Task Force — межведомственной группе, которая будет заниматься злоупотреблениями системами «суперинтеллекта». Пока это организационная мера, а не новый режим регулирования ИИ.

Gemini Omni 1.2 Flash удешевила ИИ-видео на 30% и увеличила клипы до 15 секунд
6 ноября 2026 г.
Gemini Omni 1.2 Flash удешевила ИИ-видео на 30% и увеличила клипы до 15 секунд

Google обновила Gemini Omni 1.2 Flash: модель теперь генерирует и редактирует нативные ролики длиной до 15 секунд, а цена снижена на 30%. Для команд это делает короткие видео менее дорогими в итерациях, но не снимает задачу контроля результата.

Google дала Antigravity навыки хемоинформатики: гипотезы о лекарствах — за час
6 ноября 2026 г.
Google дала Antigravity навыки хемоинформатики: гипотезы о лекарствах — за час

Google DeepMind добавила в Antigravity набор навыков для хемоинформатики. Агент собирает данные о соединениях, строит модели и предлагает гипотезы для проверки, но не заменяет лабораторный эксперимент.

OpenAI: GPT-6 Astra хуже справлялась с задачами по безопасности ИИ
5 ноября 2026 г.
OpenAI: GPT-6 Astra хуже справлялась с задачами по безопасности ИИ

Во внутренних развёртываниях и оценках OpenAI модель GPT-6 Astra заметно реже выполняла критерии в задачах, сформулированных как исследования безопасности. Компания не установила причину и рассматривает чрезмерную осторожность как наиболее простое объяснение.

Google отключит поиск школам, не выбравшим ИИ
5 ноября 2026 г.
Google отключит поиск школам, не выбравшим ИИ

В сервисах Google для школ Gemini, Gemini Notebook и Search будут выключены по умолчанию. Но отказ от ИИ не сохранит доступ к поиску: школе придётся отдельно включить и его.

Google выпустила GKE Workspaces: ноутбуки для ИИ без возни с Kubernetes
5 ноября 2026 г.
Google выпустила GKE Workspaces: ноутбуки для ИИ без возни с Kubernetes

Google представила открытый слой GKE Workspaces: он даёт ML-командам JupyterLab или браузерный VS Code на GPU и TPU, а инфраструктуру Kubernetes оставляет платформенной команде.

Apple, по данным Bloomberg, снизила лимиты расходов на ИИ
5 ноября 2026 г.
Apple, по данным Bloomberg, снизила лимиты расходов на ИИ

Bloomberg сообщает, что Apple в октябре уменьшила для части инженеров дневной денежный лимит на использование внешних языковых моделей с $300 до $200. Компания публично это не подтверждала; речь не о лимите токенов и не о новой политике для всех сотрудников.

Anthropic показала способ проверить, какая ИИ-модель ответила на запрос
4 ноября 2026 г.
Anthropic показала способ проверить, какая ИИ-модель ответила на запрос

Anthropic представила FlashProve — исследовательскую систему криптографической проверки вывода языковых моделей. Она позволяет подтвердить, что ответ действительно сгенерирован зафиксированными весами, не раскрывая сами веса.