Harness² учит агентов переписывать собственные инструкции — пока на бенчмарках
Harness² учит агентов переписывать собственные инструкции — пока на бенчмарках
У агентных систем есть слабое место, которое не исправить одной лишь новой моделью: модель может быть сильной, но работать хуже из-за неудачных подсказок, памяти, доступа к инструментам или порядка действий. Исследователи из Google Cloud AI Research и Northwestern University предложили заставить эту «обвязку» меняться прямо по ходу работы.
Их препринт Harness² описывает способ улучшать среду агента при фиксированных весах модели. Это важное уточнение: речь не о самообучении модели и не о доказанной способности агента надёжно переписывать себя в реальном продукте.
Агент проверяет собственные правила
На уровне одной задачи система предлагает правки к обвязке, запускает несколько вариантов и сравнивает траектории выполнения. Авторы называют этот цикл Propose–Probe–Compose: предложить, проверить, собрать итоговый вариант. Затем отдельная «улучшающая» обвязка сохраняет удачные изменения и наблюдения, чтобы использовать их на следующих задачах.
В открытом репозитории проекта редактируемыми названы восемь компонентов: системная инструкция, ограничения, память, подсказки для инструментов, субагенты, навыки, скрипты и плагины. Для команд, уже собирающих агентов из таких деталей, это полезная мысль: качество часто зависит не только от выбранной модели, но и от воспроизводимого процесса вокруг неё.
Изображение: репозиторий Harness².
Результаты есть, независимой проверки нет
Авторы сообщают, что один шаг улучшения дал до 11,5 балла на WorkBuddy-Bench, до 4,5 балла на JobBench и до 11,8 процентного пункта частичного прохождения на юридическом тесте LAB. Эксперименты проводились с GLM-5 и Gemini 3.5 Flash в нескольких конфигурациях обвязки и исполнителя.
Однако это авторские результаты из arXiv-препринта от 9 октября: статья ещё не прошла рецензирование, а независимой репликации заявленных приростов нет. Сами авторы отмечают и цену метода: дополнительные сессии для предложений и проверок увеличивают инференсные затраты, а сравнение траекторий без эталонного ответа не гарантирует, что найденная правка сработает на другой задаче.
Почему за этим стоит следить
Harness² уже опубликован под Apache 2.0 и поддерживает OpenCode, Codex, параллельный и последовательный режимы. Но практический вопрос теперь не в том, умеет ли система поднять метрику в контролируемом тесте, а переносится ли такой цикл на реальные рабочие задачи без роста ошибок и стоимости. До внешних проверок воспринимать цифры стоит как перспективный сигнал, а не как установленный факт.
