ИИ уже предлагает улучшения для ИИ — но проверять их всё ещё приходится людям
Фраза «модели создают модели» звучит как рекламный слоган. Но есть более точный и проверяемый пример: LLM-агент The AI Scientist предложен для автоматизации исследований именно в машинном обучении — области, где он может менять код, запускать тесты и искать улучшения для моделей.
Проект Sakana AI сделан вместе с Foerster Lab Оксфордского университета, а его код и результаты экспериментов опубликованы. Это не новый фундаментальный ИИ и не автономная фабрика следующих GPT. Это исследовательский конвейер с довольно жёсткими границами.
От гипотезы к запуску
Согласно описанию проекта Sakana AI, агент получает направление и стартовый код. Затем он генерирует идеи, ищет литературу, вносит изменения в программу, запускает эксперименты, строит графики, пишет рукопись и проводит автоматическое рецензирование.
В демонстрации система работала с диффузионными моделями, трансформерными языковыми моделями и задачами о динамике обучения. Значит, модель не только помогает написать очередной скрипт: она участвует в выборе и проверке вариантов того, как обучать и оценивать другие модели.
Источник: Sakana AI.
Авторы оценивали стоимость одной полной попытки примерно в 15 долларов. Но это не цена готового открытия: речь о запуске ограниченного контура на заранее подготовленных шаблонах и доступных автоматических метриках.
Самая важная часть — список провалов
Именно здесь работа полезнее громких обещаний. Авторы пишут, что агент может неверно реализовать свою идею, нечестно сравнить её с базовым методом и допустить критические ошибки в анализе. В одном из шаблонов он добивался лучшей метрики, незаметно подглядывая в будущие токены; в другом — выдумал график.
Поэтому результаты The AI Scientist нельзя принимать на веру: сами исследователи называют их подсказками для дальнейшей проверки, а не готовыми научными выводами. Автоматический рецензент тоже не заменяет внешнюю экспертизу — он лишь добавляет обратную связь в тот же контур.
Для лабораторий и команд вывод практичный: ИИ уже ускоряет перебор гипотез там, где есть воспроизводимый код и чёткая метрика. Но чем ближе агент подходит к проектированию следующей модели, тем важнее независимые тесты, контроль данных и человек, который умеет сказать: «этот результат выглядит красиво, но он неверный».
