SubQ lubab keelemudelitele 12 miljoni tokeni kontekstiakent

Subquadratic esitles SubQ-d — keelemudelit, mis ettevõtte väitel põhineb subkvadraatilisel tähelepanuarhitektuuril ja on mõeldud väga pika konteksti jaoks: kuni 12 miljonit tokenit. Lihtsustatult on see katse anda mudelile võimalus lugeda ühe läbimisega mitte üksikuid fragmente, vaid terveid koodibaase, suuri dokumendiarhiive või agendi pikka tööajalugu.

See on tugev strateegiline avaldus ühe tänapäeva keelemudelite peamise kitsaskoha kohta. Kuid seda tasub lugeda ettevaatlikult: Subquadratic räägib suletud beetast, lubab tehnilise raporti hiljem avaldada ning pole veel andnud turule piisavalt avalikke sõltumatuid teste, et nimetada SubQ-d tõestatud revolutsiooniks.

Mis on kontekstiaken ja miks kõik tokenite otsa jooksevad

Kontekstiaken on teksti ja andmete hulk, mida keelemudel saab ühes päringus „silme ees“ hoida. Seda mõõdetakse mitte sõnades, vaid tokenites — tinglikes tekstijuppides, millest mudel lause kokku paneb. Üks token võib olla sõna, sõnaosa, number või kirjavahemärk.

Kasutajale kõlab see lihtsalt: mida suurem aken, seda rohkem dokumente, koodi või kirjavahetust saab mudelile korraga anda. Arendaja jaoks on kõik keerulisem. Isegi kui mudel võtab formaalselt miljon tokenit vastu, ei leia ta alati sama hästi olulisi detaile selle mahu seest ning päringu hind ja viivitus kasvavad kiiresti.

Põhjus on tähelepanumehhanism. Klassikalises transformer’is võrdleb mudel tokeneid omavahel, et mõista, millised teksti osad on seotud. Just see aitab tal tabada, et ühes failis olev muutuja seostub teises failis oleva funktsiooniga või dokumendi alguses olev argument on lõpu järelduse jaoks tähtis. Kuid tihe tähelepanu võrdleb peaaegu kõike kõigega.

Sellest tuleb kvadraatne keerukus: kui sisend muutub kaks korda pikemaks, muutub töö umbes neli korda suuremaks. Lühikeste päringute puhul on see talutav. Miljonite tokenite juures hakkab majandus lagunema: kallis, aeglane ja raske skaleerida.

Mida SubQ lubab teha teisiti

Subquadratic väidab, et SubQ kasutab sparse attention’it ehk hõredat tähelepanu. Idee on lihtne: selle asemel et võrrelda iga tokenit iga tokeniga, peaks mudel valima ainult need seosed, mis on praeguse päringu jaoks päriselt tähtsad. Seetõttu nimetatakse arhitektuuri subkvadraatiliseks: arvutuskoormus kasvab aeglasemalt kui klassikalises kvadraatses stsenaariumis.

Ettevõtte enda andmetel näitab SubQ 1M-Preview konkurentsivõimelisi tulemusi pikkkonteksti testides ning uurimiskonfiguratsioon töötab kuni 12 miljoni tokenini. Subquadraticu saidil lubatakse umbes 150 tokenit sekundis, ligi viiendikku juhtivate mudelite hinnast ning peaaegu 1000-kordset tähelepanuarvutuste vähendamist 12 miljoni tokeni juures võrreldes tiheda tähelepanuga. SiliconANGLE lisab, et 12 miljonit tokenit on umbes 9 miljonit sõna — pigem saja raamatu kui „natuke pikema dokumendi“ mõõtkava.

The New Stack toob välja olulise detaili: Subquadratic nimetab arhitektuuri Subquadratic Selective Attentioniks ning räägib arvutuse ja mälu lineaarsest skaleerumisest konteksti pikkuse suhtes. Väljaanne meenutab ka, et sarnaseid katseid on varem olnud: Longformer, Mamba, hübriidarhitektuurid, DeepSeeki hõre tähelepanu ja muud lähenemised. Ajalooline probleem ei ole olnud ökonoomse tähelepanu väljamõtlemine, vaid see, kuidas mitte kaotada kvaliteeti ja täpset detailide leidmist.

Miks see agentide jaoks oluline oleks

Pikk kontekst on agentide jaoks eriti ahvatlev. Praegune praktiline lahendus on sageli RAG: süsteem otsib andmebaasist või failidest relevantseid juppe ja annab mudelile ainult valitud fragmendid. See töötab, kuid lisab keerukust ja vigu. Kui otsing ei leia õiget lõiku, ei saa mudel seda kasutada. Kui lõik on kontekstist väljas, võib vastus olla enesekindel, kuid vale.

12 miljoni tokeni aken lubab teistsugust tööviisi: mudel võiks näha tervet projekti, dokumentatsiooni, pikki logisid või kliendisuhtluse ajalugu korraga. Koodiagent võiks paremini mõista sõltuvusi, juriidiline tööriist tervet lepingukogu, uurimisagent suurt materjalikausta. See ei kaota tingimata RAG-i vajadust, kuid nihutab piiri, kus otsingust saab mudeli mälu asendaja.

Siin on aga suur „kui“. Pikk aken ei tähenda automaatselt head mõistmist. Mudel peab suutma leida väikese olulise detaili tohutu müramassi seest, mitte ainult mahutada teksti sisendisse. Just seetõttu vajavad SubQ väited sõltumatuid teste päris ülesannetes: kas mudel oskab 12 miljoni tokeni seest leida õige faili, õige erandi, õige numbri ja õige vastuolu?

Mida praegu uskuda

SubQ on praegu kõige ausamalt vaadates tugev lubadus, mitte valmis standard. 29 miljoni dollari rahastus, avalik positsioneerimine ja tehnilised väited teevad sellest tähelepanuväärse startup’i. Kuid ilma tehnilise raporti, avalike mudelite ja sõltumatute benchmark’ideta on mõistlik hoida vaimustus kontrolli all.

Kui Subquadraticu väited peavad vastu, võib see muuta pikkkonteksti majandust. Suured sisendid muutuksid odavamaks, agentide töö lihtsamaks ja paljud RAG-torud vähem hapraks. Kui ei pea, jääb SubQ järjekordseks meeldetuletuseks, et kontekstiakna number on ainult üks osa probleemist.

AI-turu jaoks on signaal igal juhul selge: järgmine suur võitlus ei käi ainult selle üle, kui tark mudel on lühikeses vestluses, vaid selle üle, kui palju maailma ta suudab korraga usaldusväärselt hoida. 12 miljonit tokenit on selles võitluses väga suur lubadus — nüüd tuleb näidata, kas see on ka päris tööriist.