Suletud mudelite parameetreid prooviti mõõta haruldaste faktidega — GPT-5.5 hinnati 9,7 triljonile

Pine AI Hiina uurija Bozhe Li pakkus välja viisi hinnata suletud keelemudelite suurust mitte API hinna, vastamiskiiruse või andmekeskuste kohta tehtud oletuste kaudu, vaid otsesema jälje järgi: kui palju haruldasi fakte mudel tegelikult oma kaaludes hoiab. arXivi preprindis kannab meetod nime Incompressible Knowledge Probes — „kokkusurumatu teadmise sondid“.

Idee andis kõlavad arvud. Autori skaalal näeb GPT-5.5 välja umbes 9,7 triljoni parameetriga mudelina, Claude Opus 4.6 umbes 5,3T, Claude Sonnet 4.6 umbes 1,7T ja Gemini 2.5 Pro umbes 1,2T. Neid numbreid tuleb lugeda ettevaatlikult: töö ei ava suletud mudeleid röntgenina. See hindab nende nähtavat faktilist võimekust avatud mudelite ekvivalendis — suurte määramatuse vahemike ja selgete metoodiliste lõksudega.

Kuidas haruldased faktid suuruse hinnanguks muutuvad

Tavaline viis suletud LLM-e hinnata on inferentsiökonoomika: vaadata hinda, latentsust, limiite, tõenäolist riistvara ja püüda tuletada, kui palju parameetreid sellise teenuse jaoks kasutada saab. Probleem on selles, et pilti segavad batching, serving’u optimeerimine, kiibitüüp, vahemälud, routing ja pakkuja äripoliitika.

Li pakub teise nurga. Kui mudel teab fakti, mida ei saa arutlusega tuletada ega üldiste mustrite järgi usaldusväärselt ära arvata, peab see fakt kuskil talletuma. Faktide talletamine nõuab minimaalset hulka bitte. Seega mida rohkem haruldasi ja kontrollitavaid fakte mudel sees hoiab, seda kõrgem on selle suuruse alumine piir.

Autor kogus 1400 faktiküsimust seitsmel harulduse tasemel, alates universaalsetest teadmistest kuni väga pika sabani. Andmestikus on Wikidataga seotud küsimusi, vähetuntud teadlasi ja kontrollitavaid üksusi, kus vastus peab olema lühike ja verifitseeritav. Seejärel kalibreeriti tulemused 89 avatud mudelil vahemikus 135 miljonit kuni 1,6 triljonit parameetrit.

Miks numbrid mõjuvad veenvalt — ja miks neid ei tohi sõna-sõnalt uskuda

Töö peamine statistiline argument on tugev seos IKP tulemuse ja mudeli suuruse vahel: R² = 0,917 avatud mudelitel. Autor kirjutab ka, et leave-one-out kontrolli mediaanviga oli 1,59× ning 87,6% mudelitest mahtus 3× piiridesse. MoE-mudelite puhul on oluline detail, et teadmisi ennustab paremini parameetrite koguarv, mitte ühe päringu aktiivsete parameetrite arv.

Sellest tulevadki suletud süsteemide hinnangud. Preprindi tabeli tipus on GPT-5.5 umbes 9,7T, Claude Opus 4.6 5,3T, GPT-5 ja GPT-5 Pro umbes 4,1T ning o1 umbes 3,5T. Allpool tulevad Grok, GPT-4.1, Sonnet 4.6, Gemini 2.5 Pro, GPT-5 Mini ja Gemini 2.5 Flash.

Kõige olulisem ei ole siiski triljonite arv, vaid joonealused märkused. Autor ütleb otse, et 90% prediction interval on umbes 3× mõlemas suunas. Üle 1 triljoni mudelite puhul kasvab määramatus veelgi, sest sellises suuruses avatud kalibreerimisankruid on vähe. Kui suletud mudel kasutab API taga retrieval-augmented generation’it, võib faktiline skoor üle hinnata. Kui mudel on agressiivselt turvahäälestatud ja keeldub obscure-küsimustele vastamast, võib hinnang vastupidi liiga madal olla.

Safety refusals kui varjatud mõõtmismaks

Eriti ettevaatlikult tuleb lugeda Claude’i ja teiste tugevalt safety-tuned mudelite hinnanguid. Preprindis on see sisuliselt alumine piir: mudel võib vastust „teada“, kuid keelduda seda andmast, kui küsimus tundub liiga kummaline, kahtlane või kohatu. Test loeb selle läbikukkumiseks, kuigi teadmine võib kaaludes olemas olla.

See on oluline hargnemiskoht kogu benchmarkide tööstusele. Mida rohkem mudelid muutuvad „eksamile vastajatest“ reguleeritud toodeteks koos keeldumispoliitikatega, seda sagedamini mõõdame mitte ainult intelligentsi või mälu, vaid ka liidese distsipliini. Sama peidetud mudel võib erineva system prompti, safety-kihi, reasoning-režiimi, tööriistaligipääsu ja pakkujapoliitika tõttu paista erinev.

Seetõttu on täpne sõnastus selline: IKP püüab hinnata mitte passis kirjas parameetrite arvu, vaid mudeli vaadeldavat faktilist võimekust konkreetses ligipääsurežiimis. See on kasulik, kuid ei ole OpenAI, Anthropic’u või Google’i raamatupidamisaruanne.

Mida see scalingu võidujooksu kohta ütleb

Neuro.ee kirjutas juba GPT-5.5 Pro tulemusest Epochi indeksis: välised mõõdikud muutuvad frontier-võidujooksu jälgimisel oluliseks, sest klassikalised üksiktestid küllastuvad kiiresti. Li töö jätkab sama liini, kuid vaatab kitsamat küsimust: kas mudelite sees kasvab „maailma mälu“.

Autori vastus on jah: faktiline võimekus skaleerub endiselt parameetritega. Preprint vastandab seda mõttele, et uued põlvkonnad muutuvad targemaks ainult tihendamise ja parema post-training’u tõttu. Arutlemist, koodi ja agentseid oskusi saab tõesti parandada algoritmide, treeningu ja inferentsiaja abil. Kuid haruldasi fakte on raskem kokku suruda: kui mudel peab tundma maailma pikka saba, vajab ta endiselt palju kaale.

Neuro.ee toimetuse arvamus: IKP on kasulik, kuid ohtlik mõõdik, sest see kõlab pealkirjade jaoks liiga mugavalt. „GPT-5.5 on 9,7 triljonit parameetrit“ võib kergesti muutuda näiliselt täpseks faktiks, kuigi töö ise räägib alumistest piiridest, laiadest intervallidest ja vastamisrežiimi mõjust. Meetodi tugevus on mujal: järgmine AI-vaatlus ei käi ühe universaalse edetabeli, vaid eri mõõteriistade komplekti kaudu — capability-index, faktiline võimekus, agentne töökindlus, ülesande hind, turvalisus ja vigade kontroll.