Epoch AI esitles FrontierMath OpenProblems'i: AI heidab väljakutse lahendamata ülesannetele

Epoch AI esitles FrontierMath OpenProblems’i: AI heidab väljakutse lahendamata ülesannetele

Uurimisorganisatsioon Epoch AI kuulutas ametlikult välja FrontierMath OpenProblems’i käivitamise – see on uus etapp tehisintellekti võimekuse testimisel. Erinevalt varasematest benchmarki versioonidest, mis hõlmasid äärmiselt keerulisi, kuid põhimõtteliselt lahendatavaid ülesandeid, koosneb uus komplekt “avatud” probleemidest. Need on uurimusliku matemaatika valdkonna ülesanded, mida professionaalne kogukond on aastaid püüdnud lahendada, kuid vastust leidnud pole.

Õppe raskustest teaduslike läbimurreteni

Varem esitatud FrontierMath’i tasemed (Tiers 1–4) olid juba keerukuse kuldstandard, nõudes mudelitelt sügavat loogilist järeldamist. OpenProblems aga viib võistluse tõelise teadusliku otsingu tasandile. Nüüd peab AI mitte lihtsalt reprodutseerima tuntud algoritme või leidma varjatud seaduspärasusi olemasolevate teadmiste raames, vaid tegema täisväärtuslikke matemaatilisi avastusi.

Consultations | Epoch AI

Hinnangu täpsuse tagamiseks kaasati benchmarki ainult need ülesanded, mille lahendusi saab automaatselt kontrollida. See seab teatud piirangud vormile: mudelid peavad esitama vastuse Pythoni keeles kirjutatud koodi või matemaatiliste objektidena, mida süsteem saab programmiliselt verifitseerida.

Statistika ja distsipliinid

Käivitamise hetkel sisaldab FrontierMath OpenProblems’i pilootkomplekt 14 ülesannet. Need hõlmavad laia valikut distsipliine, sealhulgas:

Kombinatoorika;
Arvuteooria;
Algebrailine geomeetria.

Kaldumine kombinatoorika ja arvuteooria poole seletub sellega, et just neis valdkondades on kõige lihtsam luua tulemuste automaatse kontrolli süsteem. Benchmarki loomisel osalenud matemaatikute hinnangul võtaks mõnede pakutud probleemide lahendamine inimestel aastaid kollektiivset tööd. Mõnda ülesannet hinnatakse 3–10-aastase professionaalse uurija intensiivse töö väärtuseks.

Hetke progress: 0% edu

Turuliidrite OpenAI, Google’i ja Anthropicu kõige võimsamate mudelite testimise tulemused jäävad endiselt nulli lähedale. Ükski kaasaegne süsteem pole suutnud lahendada ühtegi esitatud nimekirja ülesannetest. See rõhutab tohutut kuristikku, mis haigutab endiselt tehisintellekti loogilise järeldusvõime ja loova teadusliku panuse vahel.

“Kui tehisintellekt lahendab mõne neist probleemidest, tähendab see inimteadmiste piiride olulist laiendamist,” märkivad Epoch AI esindajad. Asjaolu, et ülesanded on uued ja pole varem avalikult kättesaadavad olnud, välistab täielikult võimaluse, et mudel need õppeprotsessi käigus lihtsalt “pähe tuupis”.

Epoch AI Unveils FrontierMath: A New Frontier in Testing AI's ...

Mõju tööstusele

FrontierMath OpenProblems’i loomine muudab tehisintellekti hindamise paradigmat. Selle asemel, et mõõta, kui lähedal on neurivõrk inimese tasemele standardtestides, liigub tööstus tehisintellekti kui täisväärtusliku teadustöötlaja mõõtmiseni.

Edu selles benchmarkis tähendab, et tehisintellekt on valmis mitte ainult programmeerijaid abistama või tekste kirjutama, vaid olema kaasautor fundamentaalsetes teadustöödes, lahendades küsimusi, mis on aastakümneid vastuseta jäänud.

💬 Neuro.ee toimetuse arvamus

Epoch AI samm muudab traditsioonilised testid nagu GSM8K lõplikult mõttetuks, kuna tippmodellid on seal juba lae saavutanud. Me astume ajastusse, kus "tugeva tehisintellekti" (AGI) ainsaks mõõdupuuks saab tema võime luua uusi teadmisi, mitte lihtsalt olemasolevaid kompileerida. See, kes esimesena lahendab kasvõi ühe ülesande sellest nimekirjast, kirjutab end teadusajalukku.