Ettevõtted hakkasid AI-d normeerima: tokeniarved jõudsid haibile järele
Ettevõtete AI jõudis kainestava küsimuseni: kes kõik need eksperimendid kinni maksab. Wall Street Journal kirjutab, et mõned ettevõtted on jõudnud aasta AI-eelarveni juba mõne kuuga, teistel aga on mudeliarved kasvanud kaks-kolm korda. Selle taustal hakkab äri ligipääsu normeerima, kasutust jälgima ja lahti võtma, millised stsenaariumid annavad päriselt tulu tagasi.
See ei tähenda AI-huvi kadumist. Vastupidi, just massiline kasutuselevõtt teeb probleemi nähtavaks. Viimased kaks aastat nõudsid juhid töötajatelt ChatGPT, Claude’i, Copiloti ja sisemiste AI-tööriistade aktiivsemat kasutamist, et konkurentidest mitte maha jääda. Nüüd selgub, et „las kõik proovivad“ sobib halvasti kokku agentülesannete, pikkade kontekstide, automaatsete päringuahelate ja tokenipõhise hinnastamisega.
Miks arved nii kiiresti kasvavad
Lihtsas vestlusbotis esitab töötaja küsimuse ja saab vastuse. Agentstsenaariumis võib mudel lugeda dokumente, kutsuda tööriistu välja, kirjutada koodi ümber, kontrollida tulemust, käivitada otsingu ja naasta uuesti ülesande juurde. Kasutaja jaoks näib see ühe päringuna, kuid sees võib olla kümneid mudelikõnesid ning suur hulk sisend- ja väljundteksti.
Siit tuleb ka termin tokenmaxxing, mida WSJ kasutab olukorra kohta, kus töötajad või tiimid kasvatavad tokenikulu kiiresti. Mida pikem on kontekst, mida rohkem faile ja mida autonoomsem on ülesanne, seda kõrgem on hind. Eriti selgelt paistab see arenduses, analüütikas, klienditoes ja sisemistes kontoriprotsessides, kus üks edukas AI-stsenaarium võib kergesti muutuda terve tiimi harjumuseks.
Probleem pole ainult absoluutses hinnas. Ettevõtted näevad halvasti seost kulu ja tulemuse vahel. Kui AI-tööriist aitab pileteid kiiremini sulgeda, koodi kirjutada või dokumente koostada, saab kulu kaitsta. Kui töötajad kasutavad mudeleid lihtsalt seetõttu, et „AI-d peab kasutama“, muutub eelarve eraldi riskiks.
Entusiasmist reegliteni
Ettevõtete AI järgmine etapp on vähem efektne, kuid päris juurutuse jaoks olulisem. Firmad peavad otsustama, kes saab ligipääsu kallitele mudelitele, milliseid ülesandeid võib agentidele anda, kus on vaja limiite ja kus säästmine tapab kasu. See meenutab pilveteenuste üleminekut varasest vaimustusest FinOpsini: alguses rõõmustasid kõik paindlikkuse üle, hiljem hakati lugema iga liigset serverit.
Töötajate jaoks muutuvad samuti reeglid. Üksnes oskus „neurovõrgult küsida“ ei ole enam piisav. Väärtuslikumaks muutub võime seada ülesanne nii, et mudel ei põletaks konteksti tühja, valida sobiv mudelitase, peatada agentne ahel õigel ajal ja näidata mõõdetavat tulemust. Ettevõtetesse tekib uus argine distsipliin: mitte ainult prompt engineering, vaid ka cost engineering.
Big Technology osutab eraldi olulisele trendile: vestlusbotid ja agendid sulavad järk-järgult kokku. Kui assistent mitte ainult ei vasta, vaid broneerib, ostab, saadab kirju, kirjutab koodi või töötab brauseris, kasvab ühe „vestluse“ hind koos vastutusega. Seetõttu muutub eelarveküsimus kiiresti kontrolli, turvalisuse ja usalduse küsimuseks.
Mida see turu jaoks tähendab
See lugu on tähtis, sest AI väljub esitlusrežiimist. Kuni ettevõtted näitasid pilote, sai kulud eksperimendiks kanda. Kui tööriistad jõuavad tuhandete töötajate igapäevatöösse, muutuvad need samasuguseks taristuks nagu pilv, CRM või ettevõtte side.
Mudelipakkujad tunnevad samuti survet. Kliendid hakkavad nõudma läbipaistvamat arveldust, odavamaid režiime lihtsate ülesannete jaoks, lokaalseid või spetsialiseeritud mudeleid ja korralikke arvestustööriistu. Võitjateks ei osutu ainult kõige võimsamad mudelid, vaid ka teenused, mis aitavad mõista ühe tehtud toimingu hinda.
Tavalugeja jaoks on järeldus lihtne: ajastu, kus „AI on tasuta, sest ta on kuskil vestluses“, hakkab lõppema. Päris kulu ilmub sinna, kus mudel hakkab tööd tegema. Ja just praegu õpivad ettevõtted eristama kasulikku automatiseerimist kallist progressi imitatsioonist.
- wsj.comCorporate America Is Starting to Ration AI as Cost Skyrockets
- techmeme.comAfter hitting their annual AI budget in months or seeing their AI bills double or triple due to “tokenmaxxing”, some companies are rationing or tracking AI use
- bigtechnology.comThe Chatbots and Agents Are Going To Merge
- commons.wikimedia.orgFile:Employees of Google at their office at Taipei 101 20190417.jpg - Wikimedia Commons
