Google Research esitles TurboQuanti: KV cache’i tihendamine kui uus löök LLM-ide memory wall’ile

Google Research avaldas materjali TurboQuanti kohta — vektorite kvantiseerimise algoritmi, mida ettevõte esitleb praktilise viisina vähendada järsult suurte keelemudelite KV cache’i mahtu. Avalikus esituses kõlavad numbrid muljetavaldavalt: umbes 6x väiksem cache’i mälukasutus, „nullilähedane” kvaliteedikadu 3-bitise esituse juures ning kuni 8x kiirem attention’i arvutus H100-l teatud stsenaariumides.

TurboQuanti tegelik tähtsus ei seisne aga selles, et Google leidis järjekordse „maagilise” optimeerimise. Olulisem on muu: töö näitab, et KV cache liigub seisundi poole, kus seda ei saa enam tavapäraste insenerinippidega oluliselt väiksemaks suruda. Just seetõttu reageeris turg uudisele nii närviliselt. Kui üks inference’i kallimaid komponente läheneb teoreetilisele efektiivsuspiirile, muutub mitte ainult tarkvarastäkk, vaid ka kogu AI-mälu investeerimisnarratiiv.

Miks KV cache on saanud probleemi keskpunktiks

Decoder-only LLM-ides ei takerdu pika konteksti hind sageli mitte mudeli kaaludesse, vaid KV cache’i — varasemate tokenite key/value-esitustesse, mis võimaldavad igal genereerimissammul vältida kogu arvutuse uuesti tegemist. Kontekstiakna kasvades hakkab just cache kiiresti neelama VRAM-i ja mäluläbilaskevõimet.

See ongi üks peamisi memory wall’i vorme tänapäevases inference’is: mudel võib olla juba kvantiseeritud, kaalud mahuvad olemasolevasse mällu, kuid pikk kontekst muudab päringute teenindamise ikkagi kalliks ja aeglaseks. Praktikas mõjutab see kõike korraga — samaaegsete sessioonide arvu, latentsust, GPU valikut ja inference’i majandust tervikuna.

TurboQuant sihib just seda kitsaskohta. Artiklis kirjeldavad autorid online vector quantization’i lähenemist, mis püüab minimeerida attention’i jaoks kriitiliste skalaarkorrutiste moonutust, mitte lihtsalt vähendada jämedalt iga väärtuse täpsust eraldi.

Mida TurboQuant täpselt pakub

Artikli ja Google Researchi blogi järgi koosneb TurboQuant kahest põhiosast.

Esimene on PolarQuant. See teeb lähtevektorile juhusliku pöörde ja viib ülesande kujule, kus koordinaate saab kvantiseerida ilma selliste meetodite tüüpilise normaliseerimiskonstantide overhead’ita. Teine on QJL-komponent, mis lisab jääkvea jaoks 1-bitise korrektsiooni ja aitab eemaldada inner product’i hinnangu nihet.

Lihtsamalt öeldes püüab Google tihendada KV cache’i mitte iseseisvate arvude kogumina, vaid geomeetrilise struktuurina, mis on oluline just attention’i jaoks. See on tähtis nihe. Paljude varasemate meetodite puhul sõi osa võidetud mälust ära teenindusparameetrite, kalibreerimise või lisatabelite koormus. TurboQuant lähtub mõttest, et teoreetiliselt parimale režiimile on võimalik läheneda väiksema teenindusliku ballastiga.

ArXiv-versioonis sõnastavad autorid selle üsna otse: TurboQuant saavutab near-optimal distortion rates’i ning jääb informatsiooniteoreetilisest alumisest piirist vaid väikese konstandi kaugusele. Uudisekontekstis võib see olla isegi tähtsam kui turunduslik „6x”: tegu ei ole lihtsalt kasuliku optimeerimisega, vaid väitega, et lähenetakse fundamentaalsele piirile selles, kui palju selliseid andmeid üldse saab ilma tähendusliku kaota kokku suruda.

Mida benchmark’id näitavad

Siin tasub ettevaatlikult eristada artiklis kinnitatud tulemusi ja nende ümber tekkinud valjemaid tõlgendusi.

Otseselt väidetakse järgmist:

• artikli abstract’is öeldakse, et KV cache’i puhul saavutati „absolute quality neutrality” 3,5 biti juures kanali kohta;
• 2,5 biti juures kanali kohta räägivad autorid väikesest kvaliteedilangusest;
• Google’i blogis kasutatakse sõnastust 3-bitise KV cache’i tihendamise kohta ilma kvaliteedikaota;
• ettevõtte blogis mainitakse ka vähemalt 6x väiksemat mälumahtu ja kuni 8x kiiremat attention logits’i arvutust H100-l võrreldes 32-bitise baasjoonega.

LongBenchis langeb TurboQuanti keskmine tulemus 3,5 biti juures Llama-3.1-8B-Instructi puhul tõepoolest kokku full-cache baseline’iga. Needle-in-a-Haystackis näitavad autorid full precision’iga identset tulemust 4x tihendamise juures. Ka nearest-neighbor search’i ülesannetes paistab meetod tugev: see ületab klassikalist product quantization’it recall’i poolest ja peaaegu ei vaja aega indekseerimiseks.

Seega ei ole töö headline võetud tühjalt kohalt: artiklis näidatud tulemused on päriselt väga tugevad.

Kus on piirangud ja miks neid ei saa eirata

Sellest hoolimata oleks liiga vara käsitleda TurboQuanti universaalse otsusena kogu mäluturule.

Esiteks on benchmark’id piiratud konkreetsete mudelite ja ülesannete komplektidega. Artiklis esinevad Llama-3.1-8B-Instruct, Mistral-7B-Instruct, LongBench-E, Needle-in-a-Haystack ja mitu retrieval-stsenaariumi. Need on tähtsad testid, kuid ei kata kogu tootmiskeskkonda: erinevad serving-stäkid, MoE-mudelid, agentic-workload’id, multimodaalsed pipeline’id ja pikad dialoogid sagedaste cache update’idega võivad käituda teisiti.

Teiseks sõltub osa võrdlusi tugevalt teostusest. Autorid märgivad ise, et alternatiivsed meetodid on realiseeritud erinevalt ning ei vektoriseeru CPU-l ja GPU-l alati võrdselt hästi. Kui artikkel näitab TurboQuanti puhul peaaegu nullilähedast indekseerimisaega ja väga aeglaseid baseline-meetodeid, on see oluline, kuid samas ka meeldetuletus: kvantiseerimisalgoritmide benchmark’id sõltuvad peaaegu alati osaliselt konkreetse implementatsiooni kvaliteedist, mitte ainult matemaatikast.

Kolmandaks ei ole „3 bitti ilma kaota” ja „3,5 bitti kanali kohta quality neutrality’ga” päris sama asi. Artiklis saavutatakse keskmine bitisus osaliselt kanalite eraldi töötlemise ja outlier-aware skeemi kaudu. Pealkirjades taandatakse see enamasti „3-bitiseks cache’iks”, kuid inseneri mõttes tuleb vaadata effective bitrate’i, kanalite jaotust ja täiendavat integratsiooniloogikat.

Neljandaks kehtib kuni 8x attention’i kiirenemine attention logits’i arvutamise kohta kindlas konfiguratsioonis ja võrdluses 32-bitise baasjoonega. See ei tähenda automaatselt kogu LLM-süsteemi 8x end-to-end kiirendust. Reaalses kasutuses määravad kogujõudlust mitte ainult kvantiseeritud keys’id, vaid ka scheduler, bandwidth, batch’i koostis, dekodeerimine, andmete liigutamine ja value-side cache’i käitumine.

Ja lõpuks: isegi kui TurboQuant tõesti viib KV-kompressiooni teoreetilise piiri lähedale, ei tähenda see, et mälunõudlus „kaob”. See tähendab üksnes seda, et üks konkreetne memory pressure’i osa võib kasvada aeglasemalt, kui seni arvati.

Miks turg siiski reageeris

Pärast blogipostituse ja artikli arutelu lugesid investorid loo kiiresti lihtsustatud kujul: kui suurimaid mudeleid saab teenindada oluliselt väiksema KV cache’iga, võivad hyperscaler’id potentsiaalselt vajada inference-koormuse ühiku kohta vähem mälumahtu. Selle narratiivi pealt langesid juba esimestel tundidel mälu ja storage’iga seotud ettevõtete aktsiad; turukokkuvõtetes mainiti sagedamini Micronit, Western Digitalit ja SanDiski.

See reaktsioon ei tulenenud niivõrd tulevaste tellimuste detailsetest ümberarvutustest, kuivõrd fookuse muutumisest. Viimastel kvartalitel elas turg loogikas, et AI buildout tähendab peaaegu automaatselt aina rohkem HBM-i, DRAM-i ja flash’i. TurboQuant lõi kõige mugavamasse versiooni sellest loost mõra: selgus, et vähemalt osa memory bottleneck’ist saab leevendada mitte uue raua, vaid targema matemaatikaga.

Turu jaoks on see tundlik kolmel põhjusel.

Esiteks on KV cache märgatav kulukomponent just seal, kus raha hakkab tulema mitte treenimisest, vaid massilisest inference’ist. Kui inference muutub mälutõhusamaks, väheneb vajadus liigse VRAM-varu järele tokeni kohta ning pikka konteksti teenindava süsteemi ökonoomika paraneb.

Teiseks avaldas töö mitte väike uurimisrühm, vaid Google Research. Investorid eeldavad tavaliselt, et nii suure mastaabiga ettevõtetel jõuab osa sarnaseid optimeerimisi juba enne artikli avaldamist järk-järgult tootmisstäkki. Seepärast ei reageeri turg ainult akadeemilisele tööle, vaid signaalile sellest, kuhu liigub valdkonna liidrite production engineering.

Kolmandaks ei näi TurboQuant olevat kosmeetiline parandus, vaid märk piirile lähenemisest. Kui KV cache’i kompressioon muutub tõesti near-optimal’iks, ei saa mälunõudluse kasvu enam modelleerida sama sirgjooneliselt kui varem. Turg ei kuule siit sõnumit „mälu pole enam vaja”, vaid „üks tugevamaid nõudlust tõukavaid tegureid ei pruugi olla nii põhjatu, kui paistis”.

Mida see tööstuse jaoks tegelikult muudab

Kõige tähtsam järeldus ei ole, et mälutootjad oleksid äkitselt kaotanud fundamentaalse nõudluse. Pigem vastupidi: TurboQuant rõhutab, kui kulukaks pudelikaelaks on mälu AI inference’is muutunud. Kui suurimad uurimisrühmad kulutavad ressursse sellele, et viia KV cache informatsiooniteoreetilise piirini, siis on bottleneck reaalne ja majanduslikult valus.

Aga see tähendab ka seda, et järgmise sammu võit võib nihkuda stack’i teistele tasanditele. Mingist hetkest ei piisa enam ainult kvantiseerimisest. Edasi otsivad turg ja insenerid kasu mudeliarhitektuurist, MoE routing’ust, sparsity’st, konteksti juhtimisest, cache eviction’ist, retrieval-kihist, scheduler’itest ja tarkvara tihedamast sidumisest riistvara memory hierarchy’ga.

Just seetõttu on TurboQuant oluline. See ei ole lihtsalt järjekordne tihendamise paper. See on marker, et lihtsamad reservid KV cache’is hakkavad otsa saama ning arutelu LLM-ide efektiivsuse üle nihkub lõplikult küsimuselt „kui palju mälu juurde lisada” küsimusele „millise osa memory wall’ist saab eemaldada algoritmidega ja kus tuleb juba muuta süsteemide enda arhitektuuri”.

Kui deklareeritud tulemused korduvad avatud implementatsioonides ja tootmisstekkides, võib TurboQuantist saada üks aasta tähtsamaid inference engineering’u uurimisväljalaskeid. Kuid isegi juhul, kui osa numbreid osutub päriselus tagasihoidlikumaks, on töö loogika juba arutelu raami muutnud: AI-võidujooks ei käi ainult võimsamate kiipide pärast, vaid ka selle nimel, kes õpib esimesena memory wall’i mööda minema matemaatiliselt, mitte pelgalt kapitalikuluga.