ИИ научился открывать фундаментальные законы нейросетей лучше человека

ИИ научился открывать фундаментальные законы нейросетей лучше человека

Исследователи из Пекинского и Стэнфордского университетов представили систему Scaling Law Discovery (SLD), которая позволяет искусственному интеллекту самостоятельно выводить математические законы своего развития. Проект знаменует собой переход от трудоемких ручных исследований к автоматизированному научному поиску, где алгоритмы предсказывают эффективность будущих моделей точнее, чем эксперты-люди.

Конец эпохи ручного подбора

Законы масштабирования (Scaling Laws) — это «законы Ньютона» в мире нейросетей. Они позволяют инженерам предсказать, насколько умной станет модель при увеличении объема данных или вычислительной мощности, не запуская дорогостоящее обучение гигантских систем. Однако до сих пор поиск этих закономерностей был крайне медленным процессом: ученые вручную выдвигали гипотезы, проводили тысячи тестов и пытались подогнать формулы под полученные кривые.

Авторы исследования отмечают, что этот цикл «гипотеза — подбор — неудача — пересмотр» стал главным препятствием для развития отрасли. «Может ли ИИ открывать собственные „законы Ньютона“, управляющие системами ИИ, более точно и эффективно, чем человек?» — этим вопросом задались разработчики. Ответом стал SLDAgent — автономный агент, который берет на себя всю исследовательскую работу.

SLDAgent: выше человеческих возможностей

Для обучения и проверки системы был создан SLDBench — масштабный бенчмарк, включающий результаты более чем 5000 реальных экспериментов по обучению больших языковых моделей. Он охватывает самые разные сценарии: от тонкой настройки (fine-tuning) до оптимизации словаря и работы систем Mixture-of-Experts (MoE).

В ходе испытаний SLDAgent продемонстрировал результаты, которые ученые называют «сверхчеловеческими». Система не просто подбирает формулу, но и одновременно разрабатывает наиболее стабильный метод ее оптимизации.

«Наш агент SLD уже может предсказывать поведение при масштабировании лучше, чем люди», — заявляют исследователи в своем блоге.

Важным отличием открытых ИИ законов стала их интерпретируемость. Вместо того чтобы создавать чрезмерно сложные уравнения, агент находил элегантные и физически обоснованные формулы, которые сохраняли точность даже при выходе за рамки известных данных.

От теории к практике: оптимизация обучения

Практическая ценность открытия заключается в радикальном снижении затрат на разработку нейросетей. Одной из самых востребованных функций SLDAgent стала возможность автоматического подбора гиперпараметров, таких как скорость обучения (learning rate) и размер пакета данных (batch size).

Вместо того чтобы тратить миллионы долларов на пробные запуски, инженеры могут использовать законы, открытые агентом, для расчета идеальных параметров «на бумаге». Система научилась строить полную карту функции потерь, позволяя находить оптимальные настройки в один шаг.

Будущее за «ИИ-учеными»

Проект SLD — это не просто новый инструмент для инженеров, а прототип полноценного «ИИ-ученого». В то время как большинство тестов проверяют способности моделей к программированию или математике, данный подход оценивает способность ИИ к самоанализу и научному творчеству.

Успех эксперимента доказывает, что фундаментальные аспекты проектирования нейросетей могут быть автоматизированы. В долгосрочной перспективе это может привести к созданию систем, которые сами проектируют архитектуру следующего поколения ИИ, значительно ускоряя путь к созданию сильного искусственного интеллекта (AGI).