AI aastast 1930: miks teadlastel oli vaja mudelit, millel pole veebimälu
Nick Levine’i, David Duvenaudi ja Alec Radfordi tiim esitles Talkiet — open-weight „vintage“ keelemudelite perekonda, mille põhiversioon talkie-1930-13b-base on treenitud 260 miljardi tokeni ulatuses ingliskeelsetel tekstidel, mis avaldati enne 1930. aasta lõppu. Baasmudeli peale avaldati instruction-tuned checkpoint talkie-1930-13b-it: seda saab GitHubi teegi kaudu lokaalselt käivitada ja Hugging Face’ist Apache 2.0 litsentsi all alla laadida.
Esmapilgul näeb see välja tehnoloogilise veidrusena: vestlusrobot, mis räägib maailmast enne arvuteid, internetti, Teist maailmasõda ja tänapäeva teadust. Kuid uurimispanus on tõsisem. Talkie on katse ehitada mudel ilma kaasaegse web-contamination’ita ja kontrollida, millised LLM-i võimed tekivad tõesti keelest, skaalast ja kontekstist ning milliseid oleme harjunud nägema seepärast, et tänapäeva mudelid on vastused veebist juba endasse imenud.
Mudel kui benchmark’ide ajamasin
Andmete saastumise probleem on suurte mudelite hindamisel üks ebamugavamaid. Kui benchmark, koodiülesanne või populaarne artikkel oli juba treeningkorpuses, ei pruugi hea tulemus olla puhas üldistus, vaid mälust tulev äratuntav kaja. Talkie väldib seda konstruktiivselt: selle korpus on kogutud raamatutest, ajalehtedest, ajakirjadest, teaduspublikatsioonidest, patentidest ja juriidilistest tekstidest enne 1931. aastat.
Siit tekib haruldane võimalus: anda mudelile sündmusi, mis on tema cutoff’i suhtes tulevikus, ja mõõta, kui „üllatavad“ need talle on. Autorid jooksutasid raportis läbi ligi 5000 ajaloolise sündmuse kirjeldust New York Timesi rubriigist “On This Day” ning nägid üllatuse kasvu pärast 1930. aastat, eriti märgatavalt 1950.–1960. aastatel, seejärel platoo. See ei tee Talkiest oraaklit, kuid annab eksperimentaalse raami küsimusele, mis tavaliselt kõlab liiga abstraktselt: kuidas mudelite ennustamine teadmiste horisondi taga halveneb?
Kas mudel suudab „leiutada“ tulevikku
Eksperimendi teine kiht on veel huvitavam: kui mudel on treenitud ainult minevikul, kas ta suudab jõuda ideedeni, mille inimkond sõnastas hiljem? Autorid viitavad otse testidele nagu Sikorsky 1935. aasta helikopteripatent, Turingi 1936. aasta artikkel ja 1942. aasta kserograafia patent. Laiemas sõnastuses on see sama küsimus, mille Demis Hassabis esitas mudeli kohta, mille cutoff oleks 1911: kas see suutnuks enne Einsteini 1915. aastat iseseisvalt üldrelatiivsusteooria avastada?
Turule kõlab see filosoofiana, kuid AI-süsteemide hindamisel on see praktiline tööriist. Kui mudel suudab mitte ainult teadaolevat taasesitada, vaid ehitada usutavaid samme veel avaldamata avastusteni, saavad teadlased puhtama viisi eristada meeldejätmist produktiivsest üldistamisest. Ja vastupidi: kui „leiutised“ osutuvad peamiselt retrospektiivseks imitatsiooniks, jahutab see liiga valjusid väiteid LLM-ide loominguliste võimete kohta.
Programmeerimine ilma arvutiteta
Talkie kõige nähtavam stressitest on programmeerimine. Mudel, mis on treenitud digiarvutite-eelsele maailmale, saab kontekstis mõned Python-koodi näited ja püüab seejärel lahendada HumanEvali ülesandeid. Tulemus on tänapäeva koodimudelitest veel kaugel: vintage-mudelite õiged vastused taanduvad enamasti lihtsatele üherealistele funktsioonidele või näidete väikestele muudatustele.
Kuid oluline on dünaamika ise. Autorid kirjutavad, et skaala kasvades paranevad vintage-mudelid sellistes ülesannetes aeglaselt, kuid järjekindlalt. Üks näide on Caesari šifri dekodeerimine: mudel nägi kodeerimisfunktsiooni ja suutis liitmise lahutamise vastu vahetada. See on tilluke edu, kuid testib mitte Pythoni teadmist treeningkorpusest, vaid võimet demonstratsioonidest reegel välja tõmmata ja seda uues kohas rakendada. Just sellised katsed teevad Talkiest kasuliku mitte tootliku assistendi, vaid in-context learning’u uurimise laboritööriistana.
Eksperimendi puhtus pole siiski absoluutne
Projektil on ausalt kirjeldatud piirangud. Temporal leakage’i täielikult välistada on keeruline: vanad dokumendid võivad sisaldada hilisemaid eessõnu ja joonealuseid märkusi ning kaasaegsed metaandmed võivad eksida. Autorid tunnistavad, et talkie-1930-13b teab mõningaid detaile Teise maailmasõja, ÜRO ja sõjajärgse Saksamaa korralduse kohta; varasem 7B-versioon teadis Roosevelti presidendiajast ja New Dealist.
On ka andmekvaliteedi probleem. Enne 1931. aastat ei olnud tekstid digitaalsed, seega käib korpus vältimatult läbi OCR-i. Tiimi hinnangul annab tavalistel OCR-transkriptsioonidel treenimine vaid umbes 30% efektiivsusest võrreldes inimtranskriptsioonidega; lihtne regex-puhastus tõstab näitaja umbes 70% peale, kuid vahe jääb. Seetõttu on Talkie üks järgmisi samme ajalooliste dokumentide jaoks spetsialiseeritud OCR.
Lõpuks pole instruction-tuned versioon päris „minevikust“. Post-training’u jaoks kasutasid autorid instruktsiooni-vastuse paare vanadest käsiraamatutest, etiketiraamatutest, entsüklopeediatest ja kirjadest, kuid rakendasid seejärel online DPO-d Claude Sonnet 4.6 kohtunikuna ning täiendavaid sünteetilisi dialooge Claude Opus 4.6-ga. Simon Willison märgib õigusega: baasmudel on lähedal tema „vegan models“ ideele litsentsitud või public domain andmetel, kuid vestlusversiooni on osaliselt kujundanud juba tänapäeva LLM-id.
Miks see oluline on
Talkie ei ürita GPT-5.5 või Claude’iga kasulikkuses võistelda. Selle roll on teine: anda teadlastele kontrollrühm alternatiivsest ajaloost, kus pole Stack Overflow’d, GitHubi, Wikipediat, Redditit, tänapäeva õpikuid ega LLM-ide endi lõputut jälge internetis. See on haruldane viis kontrollida, mida suur keelemudel suudab oma ajastu piiridest üle kanda.
Kui sellised „vintage“ mudelid kasvavad, võivad neist saada ühed kasulikumad tööriistad AI ausaks hindamiseks. Mitte sellepärast, et nad teavad rohkem, vaid sellepärast, et nad teavad teadlikult vähem. Tööstuses, kus benchmark’id muutuvad liiga kiiresti treeningandmete osaks, on vahel kõige väärtuslikum test mudel, kelle jaoks tulevik ei ole tõesti veel saabunud.
