Новый тест агентов: лучший ИИ решил лишь 12% рабочих задач
Новый бенчмарк GDPx от SemiAnalysis звучит отрезвляюще: даже лучший участник проходит лишь 12% набора задач, которые авторы считают важными для «фронтирных» ИИ-агентов. Это не тест на красивый ответ в чате, а попытка проверить, доводит ли модель до конца работу с инструментами и реальными рабочими артефактами.
GDPx охватывает 11 областей: проектирование чипов, кибербезопасность, биологию, финансы, право, количественную торговлю, разработку ПО, hardware design, materials science, alignment и задачи самосовершенствования. Для набора SemiAnalysis работала с 14 профильными партнёрами; на сайте указаны 206 задач.
Не путать рейтинг с готовым сотрудником
Авторы называют Claude Opus 5.5 лучшей универсальной моделью в их таблице: она лидирует в quantitative trading, hardware design и chip design. Gemini 4 Carbon, по их данным, лучше справляется с биологией и немного опережает конкурентов в разработке ПО; GPT-6 Astra лидирует в задачах самосовершенствования и материаловедения.
График: SemiAnalysis / GDPx.
Но важнее не спор за первое место, а потолок результатов. В финансах и праве все модели в этом наборе получили ноль. В разборе авторы приводят типичные сбои: модель может правильно посчитать число, но пропустить устаревший документ, неверно понять договорное условие или не заметить последствия собственного решения.
Почему это важно для внедрения
GDPx — исследовательский продукт SemiAnalysis, а не нейтральный государственный стандарт, поэтому его результаты нельзя превращать в окончательный вердикт о моделях. Авторы также отмечают, что встроенные фильтры безопасности могут понижать итоговый балл в кибербезопасности, биологии и alignment.
Однако практический вывод полезен уже сейчас. Если агент получает доступ к таблицам, коду или документам, его стоит внедрять как исполнителя с проверкой результата, а не как автономного сотрудника. Хороший балл в одной области не гарантирует надёжность в соседней: для реальной команды важнее тест на собственных данных, журнал действий и человек, который может остановить ошибку.
Редакционная QA: использован официальный график из публикации SemiAnalysis — он показывает предмет статьи, результаты сравнения моделей. Дополнительный embed не добавлен: интерактивный live-лидерборд уже доступен по ссылке GDPx, а статичный график рядом с объяснением даёт читателю достаточный контекст.
