AI õppis avastama fundamentaalseid neurovõrkude seadusi paremini kui inimene

Artikli helivorm

AI-озвучка

AI õppis avastama fundamentaalseid neurovõrkude seadusi paremini kui inimene

Pekingi ja Stanfordi ülikooli uurijad esitlesid Scaling Law Discovery (SLD) süsteemi, mis võimaldab tehisintellektil iseseisvalt tuletada matemaatilisi seadusi oma arengust. Projekt tähistab üleminek töömahukatest käsitsi uuringutest automatiseeritud teadusliku otsingu poole, kus algoritmid ennustavad tulevaste mudelite tõhusust täpsemini kui inimeksperdid.

Käsi-otsingu ajastu lõpp

Skaleerimisseadused (Scaling Laws) on “Newtoni seadused” neurovõrkude maailmas. Need võimaldavad inseneridel ennustada, kui tarkaks mudel muutub andmemahu või arvutusvõimsuse suurendamisel, ilma kalleid hiigelsüsteemide treeninguid käivitamata. Kuid seni on nende seaduspärasuste otsing olnud äärmiselt aeglane protsess: teadlased esitasid käsitsi hüpoteese, viisid läbi tuhandeid teste ja püüdsid valemeid saadud kõveratele sobitada.

Uurimuse autorid märkivad, et see “hüpotees-sobitamine-ebaõnnestumine-ümberhindamine” tsükkel on saanud tööstuse peamiseks takistuseks. “Kas AI suudab avastada omaenda ‘Newtoni seadusi’, mis juhivad AI-süsteeme, täpsemalt ja tõhusamalt kui inimene?” - sellise küsimusega tegelesid arendajad. Vastuseks sai SLDAgent - autonoomne agent, kes võtab kogu uurimistöö enda peale.

SLDAgent: üle inimlike võimaluste

Süsteemi treenimiseks ja kontrollimiseks loodi SLDBench - mahukas benchmark, mis sisaldab üle 5000 reaalse suure keelemudeli treeningeksperimendi tulemuse. See hõlmab väga erinevaid stsenaariume: peenhäälestusest (fine-tuning) kuni sõnastiku optimeerimiseni ja Mixture-of-Experts (MoE) süsteemide tööni.

Katsete käigus näitas SLDAgent tulemusi, mida teadlased nimetavad “üleinimlikeks”. Süsteem ei sobita lihtsalt valemit, vaid arendab samaaegselt ka kõige stabiilsema meetodi selle optimeerimiseks.

“Meie SLD-agent suudab juba praegu ennustada skaleerimise käitumist paremini kui inimesed,” - teatavad uurijad oma blogis.

Tehisintellekti avastatud seaduste oluliseks erinevuseks oli nende tõlgendatavus. Selle asemel, et luua ülemäära keerukaid võrrandeid, leidis agent elegantsed ja füüsiliselt põhjendatud valemid, mis säilitasid täpsuse ka tuntud andmete piiridest väljaspool.

Teooriast praktikasse: treeningu optimeerimine

Avastuse praktiline väärtus seisneb neurovõrkude arenduskulude radikaalses vähendamises. Üheks kõige nõudlikumaks SLDAgenti funktsiooniks sai automaatne hüperparameetrite sobitamine, nagu õppimiskiirus (learning rate) ja partii suurus (batch size).

Selle asemel, et kulutada miljoneid dollareid proovikäivitustele, saavad insenerid kasutada agendi avastatud seadusi ideaalsete parameetrite arvutamiseks “paberil”. Süsteem õppis ehitama täieliku kaotusfunktsiooni kaardi, võimaldades leida optimaalseid seadeid ühe sammuga.

Tulevik kuulub ‘AI-teadlastele’

SLD projekt ei ole lihtsalt uus tööriist inseneridele, vaid täisfunktsionaalse “AI-teadlase” prototüüp. Samal ajal kui enamik teste kontrollib mudelite võimet programmeerida või matemaatikat teha, hindab see lähenemine AI võimet eneseanalüüsiks ja teaduslikuks loovuseks.

Eksperimendi edu tõestab, et neurovõrkude disaini fundamentaalsed aspektid saavad olla automatiseeritud. Pikemas perspektiivis võib see viia süsteemide loomiseni, mis disainivad ise järgmise põlvkonna AI arhitektuuri, oluliselt kiirendades teed üldise tehisintellekti (AGI) loomiseni.

💬 Neuro.ee toimetuse arvamus

See läbimurre on tööstuse jaoks kriitiliselt oluline. Seni meenutas AI areng paljuski alkeemiat: uurijad teadsid, et ressursside lisamine annab tulemuse, kuid ei suutnud alati täpselt arvutada proportsioone. Üleminek automatiseeritud skaleerimisseaduste avastamisele muudab "alkeemia" täpseks inseneridistsipliiniks, kus iga arvutustesse investeeritud euro toob ettearvatava tulemuse.