Xiaomi kiirendas AI tuhande tokenini sekundis: nüüd võistlevad mudelid mitte ainult tarkuse poolest

Xiaomi ja TileRT viisid MiMo-V2.5-Pro UltraSpeed-režiimi: Xiaomi ametliku dokumentatsiooni järgi on uus versioon arvestatud umbes 500–1000 output tokens/s peale, samas kui tavaline MiMo-V2.5-Pro on näidatud vahemikus 50–100 tokens/s. Techmeme tõstis uudise pärast Decrypti teadet: Xiaomi väidab, et 1T-klassi mudeli kiirendatud versioon töötab tavalisel 8-GPU sõlmel ega vaja spetsiaalset wafer-scale riistvara nagu Cerebras.

See ei tähenda, et kõigil tekib homme kodune „triljonimudel” hetkeliste vastustega. Jutt käib tootja deklareeritud jõudlusest enda API/playground-režiimis, piiratud mahutavuse ja käsitsi kinnitustega. Kuid eesmärk ise on kõnekas: mudelite turg hakkab võistlema mitte ainult parima tulemuse pärast võrdlustestis, vaid selle üle, kui kiiresti suur mudel suudab vastata reaalses tööstsenaariumis.

Mis täpselt käivitati

MiMo-V2.5-Pro on Xiaomi suur MoE-mudel. Varasemates materjalides MiMo-V2.5-Pro kohta märgiti 1,02 triljonit koguparameetrit, 42 miljardit aktiivset parameetrit ja konteksti kuni 1 miljon tokenit. Uus UltraSpeed versioon ei paista olevat eraldi „kõigist targem” mudel; see on pigem kiirendatud järeldamisrežiim samale ülesannete klassile: kodeerimine, pikad agendiahelad, tööriistakutsed, keeruline arutlemine ja voogedastusega genereerimine.

Xiaomi müüb seda otseselt premium-latentsusena. Hinnatabelis on UltraSpeed kolm korda kallim kui tavaline MiMo-V2.5-Pro: väljund on näidatud ¥18 miljoni tokeni eest võrreldes ¥6-ga standardrežiimis ehk $2,61 võrreldes $0,87-ga. Vastutasuks lubab ettevõte umbes kümnekordset väljundkiiruse kasvu. Juurdepääs on piiratud: dokumentatsioon räägib igapäevastest kinnitustest ja prioriteedist professionaalsetele organisatsioonidele.

Tavakasutaja jaoks kõlab number „1000 tokenit sekundis” nagu tehniline rekord. Arendaja jaoks on olulisem teine: kui suur mudel vastab peaaegu ilma nähtava pausita, muutuvad liidesed. Kodeerimisagent võib kiiremini parandusi pakkuda, interaktiivne analüütikatööriist — peaaegu kohe ümber arvutada pika hüpoteesi ning hääl- või operatiivassistent — vähem meenutada inimest, kes iga kord läheb kõrvaltuppa mõtlema.

Miks kiirus on saanud eraldi võidujooksu rindeks

Viimased kaks aastat on AI-turg harjunud vaatama intelligentsust: MMLU, SWE-bench, kodeerimistestid, agentide võrdlustestid, pikk kontekst. Kuid reaalses töös maksab kasutaja sageli mitte ainult õigsuse, vaid ka viivituse eest. Kui vastus tuleb 40 sekundiga, laguneb osa stsenaariume: dialoog kaotab rütmi, agent ootab sammude vahel, töötaja lülitub teisele ülesandele ja automaatne süsteem ei jõua otsust vastu võtta.

TileRT selgitab tehnilises postituses kiirendust kui mudeli ja runtime’i ühist tööd. Võtmetehnikate nimekirjas on FP4 mixed-precision quantization MoE-ekspertidele, DFlash speculative decoding ja süsteemne optimeerimine, mille puhul arvutuspipeline jääb GPU-le residendiks, mitte ei käivita operatsioonide ahelat üleliigsete mikropausidega. Lihtsamalt öeldes püüavad Xiaomi ja TileRT eemaldada mitte ühte suurt probleemi, vaid palju väikeseid kadusid mudeli, mälu, plaanuri ja GPU vahel.

See on oluline nihe. Varem seostus suure mudeli kõrge kiirus sageli kas väikeste dense-mudelitega või kalli spetsiaalse riistvaraga. Xiaomi ütleb nüüd: olulise osa võidust saab saavutada MoE-arhitektuuri, agressiivse järeldamise optimeerimise ja tavaliste GPU-de kaudu. Turul tuleb veel kontrollida, kui korratav see väljaspool nende infrastruktuuri on. Kuid isegi taotlusena avaldab see konkurentidele survet: kiire väljund muutub tooteomaduseks, mitte sisemiseks inseneridetailiks.

Kellele see on tõeliselt oluline

Esimene ilmselge turg on kodeerimisagendid. Koodis on viivitus eriti märgatav: agent loeb konteksti, pakub paranduse, ootab testi tulemust, parandab vea, genereerib uuesti. Kui genereerimine muutub peaaegu hetkeliseks, lüheneb üldine arendustsükkel mitte sellepärast, et mudel sai „geniaalsemaks”, vaid sellepärast, et pausid mikrotegevuste vahel kadusid.

Teine turg on rahandus, riskikontroll ja operatsioonisüsteemid, kus otsust on vaja kiiresti, kuid lihtsatest reeglitest enam ei piisa. Xiaomi ise toob näiteid kvantitatiivsest kauplemisest, reaalajas riskikontrollist ja teadusuuringutest. Siin on oluline mööndus: sellised stsenaariumid ei puuduta ilusaid demosid, vaid töökindlust, integratsioone, auditit ja vea hinda. Kiire vale vastus on ikka vale. Seetõttu on UltraSpeed huvitav mitte kontrolli asendajana, vaid võimalusena hoida suurt mudelit lühikeses otsustustsüklis sees.

Kolmas turg on inimliidesed. Mida väiksem on latentsusaeg, seda vähem tundub AI eraldiseisva teenusena ja seda rohkem meenutab ta kihti toote sees: automaattäiendus, elav analüütik, assistent IDE-s, assistent CRM-is, kiire tõlkija, mustandite generaator dokumendis. Sellistes kohtades ei pea mudel tingimata rabama iga vastuse sügavusega; ta peab olema piisavalt tugev ja piisavalt kiire, et kasutaja ei langeks tööst välja.

Kus on vaja kainet meelt

Kõige olulisem mööndus: need on Xiaomi ja TileRT deklareeritud andmed, mitte sõltumatu avalik võrdlev test. UltraSpeedil on ka hind, juurdepääsupiirangud ja tundmatud koormuse detailid: mitu paralleelset kasutajat, millised päringu pikkused, milline ülesannete profiil, kuidas muutub kvaliteet FP4 ja speculative decodingu korral. Number 1000 tokens/s avaldab muljet, kuid seda ei saa automaatselt üle kanda ükskõik millisele agendi töövoole.

Sellegipoolest on uudis tugev just suuna kaardina. Hiina tegijad nagu DeepSeek, Qwen, Kimi, Zhipu ja Xiaomi konkureerivad juba mitte ainult mudelite kaaludega, vaid ka API-majanduse, avatud lähtekoodi levitamise, pika konteksti, kodeerimisintegratsioonide ja nüüd latentsusajaga. Lääne laborite jaoks on see ebameeldivat tüüpi surve: ei piisa kõige targema mudeli omamisest, kui konkurent pakub veidi nõrgemat mudelit, kuid odavamalt, kiiremini ja mugavamalt integreerimiseks.

Lugeja jaoks on praktiline järeldus lihtne. Järgmist AI lainet ei hinnata ühe küsimusega „milline mudel on parim?”. Olulisemaks muutub kompromisside komplekt: intelligentsus, kiirus, hind, privaatsus, kättesaadavus, tööriistade kvaliteet ja prognoositavus koormuse all. Xiaomi UltraSpeed on värske näide sellest, kuidas üks neist parameetritest, kiirus, muutub tehnilisest joonealusest märkusest kogu võidujooksu pealkirjaks.