Epoch AI представила FrontierMath OpenProblems: ИИ бросает вызов нерешенным задачам

Epoch AI представила FrontierMath OpenProblems: ИИ бросает вызов нерешенным задачам

Исследовательская организация Epoch AI официально объявила о запуске FrontierMath OpenProblems — нового этапа в тестировании интеллектуальных способностей ИИ. В отличие от предыдущих версий бенчмарка, которые включали чрезвычайно сложные, но принципиально решаемые задачи, новый набор состоит из «открытых» проблем. Это задачи из области исследовательской математики, которые профессиональное сообщество пыталось решить годами, но так и не нашло ответа.

От учебных трудностей к научным прорывам

Ранее представленные уровни FrontierMath (Tiers 1–4) уже считались золотым стандартом сложности, требуя от моделей глубокого логического вывода. Однако OpenProblems переносит соревнование в плоскость настоящего научного поиска. Теперь ИИ должен не просто воспроизводить известные алгоритмы или находить скрытые закономерности в рамках существующих знаний, а совершать полноценные математические открытия.

Для обеспечения точности оценки в бенчмарк были включены только те задачи, решения которых могут быть проверены автоматически. Это накладывает определенные ограничения на формат: модели должны предоставлять ответ в виде кода на языке Python или математических объектов, которые система может верифицировать программно.

Статистика и дисциплины

На момент запуска пилотный набор FrontierMath OpenProblems включает 14 задач. Они охватывают широкий спектр дисциплин, включая:

• Комбинаторику;
• Теорию чисел;
• Алгебраическую геометрию.

Уклон в сторону комбинаторики и теории чисел объясняется тем, что именно в этих областях проще всего создать систему автоматической проверки результата. По оценкам математиков, работавших над созданием бенчмарка, на решение некоторых из предложенных проблем у людей ушли бы годы коллективного труда. Некоторые задачи оцениваются в 3–10 лет интенсивной работы профессионального исследователя.

Текущий прогресс: 0% успеха

Результаты тестирования самых мощных моделей от лидеров рынка — OpenAI, Google и Anthropic — пока остаются на нулевой отметке. Ни одна современная система не смогла решить ни одной задачи из представленного списка. Это подчеркивает огромный разрыв, который все еще существует между способностью ИИ к логическим рассуждениям и способностью к творческому научному созиданию.

«Если система искусственного интеллекта решит любую из этих проблем, это станет значимым продвижением границ человеческого знания», — отмечают представители Epoch AI. Тот факт, что задачи являются новыми и не публиковались ранее в открытом доступе, полностью исключает возможность «зазубривания» ответов моделью в процессе обучения.

Влияние на индустрию

Создание FrontierMath OpenProblems меняет парадигму оценки ИИ. Вместо того чтобы измерять, насколько близко нейросеть подобралась к человеческому уровню в стандартных тестах, индустрия переходит к измерению полезности ИИ как полноценного научного сотрудника.

Успех в этом бенчмарке будет означать, что ИИ готов не только помогать программистам или писать тексты, но и выступать соавтором в фундаментальных научных работах, решая вопросы, которые десятилетиями оставались без ответа.

Мнение редакции Neuro.ee Этот шаг Epoch AI окончательно лишает смысла традиционные тесты вроде GSM8K, где топовые модели уже достигли потолка. Мы вступаем в эру, когда единственным мерилом «сильного ИИ» (AGI) станет его способность привносить в мир новые знания, а не просто компилировать старые. Тот, кто первым решит хотя бы одну задачу из этого списка, забронирует себе место в истории науки.