Ka AI-agendid vananevad: uus test näitab, kuidas mälu pika töö käigus murdub
Agenti tuleb kontrollida mitte ainult esimesel päeval
University of Texas at Austini teadlaste tiim esitles AgingBenchi - benchmark’i, mis uurib, kuidas AI-agendid käituvad pika kasutuse järel. Idee on lihtne, kuid oluline: püsiv agent ei jää igavesti “värskeks” mudeliks. Ta tihendab ajalugu, salvestab fakte mällu, otsib sarnaseid kirjeid, uuendab vanu andmeid ja läbib vahel hooldust, näiteks puhastamist või konteksti uuesti kokkupanekut.
Tavalised testid vaatavad sageli day-one kvaliteeti: antakse ülesanne, saadakse vastus, võrreldakse etaloniga. Vestlusroboti puhul võib sellest vahel piisata. Agendi puhul, kes juhib nädalaid projekti, mäletab kokkuleppeid, loeb faile, haldab ülesandeid või aitab meeskonda, on sellest vähe. Töökindlusest saab kogu süsteemi omadus: mudeli, mälu, retrieval’i, konteksti tihendamise, tööriistade ja riketest taastumise reeglite omadus.
arXiv’i artiklis nimetavad autorid seda “agent lifespan engineering’uks” - agendi eluea inseneeriaks. AgingBench ei mõõda ainult kvaliteedi langust, vaid ka rikke mehhanismi: kus täpselt süsteem kvaliteeti kaotab ja mida tuleb parandada.
Neli viisi, kuidas agent halveneb
Teadlased eristavad nelja vananemistüüpi. Compression aging tekib siis, kui varasemate seansside lühikokkuvõte viskab välja detaili, mis osutub hiljem tähtsaks. Interference aging ilmub siis, kui mällu on kogunenud palju sarnaseid kirjeid ja vajalik fakt upub naabrite sekka. Revision aging tähendab uuendamisvigu: agent mäletab vana olekuversiooni või arvutab pärast muutusi järelduse valesti ümber. Maintenance aging on seotud süsteemi enda hooldusega: ajaloo puhastamise, korduva tihendamise, mälu ülekandmise või muu elutsükli sündmusega.
Testi ulatus on varajase benchmark’i kohta küllalt lai: 7 stsenaariumi, 14 mudelit, erinevad mälupoliitikad, runner-controlled ja autonoomsed agendid ning üle 400 jooksu pikkusega 8 kuni 200 seanssi. AgingBenchi saidil toob tiim välja mitu kõnekat arvu. Ühes stsenaariumis ulatus recall’i maksimaalne langus 10 seansiga 85 protsendini, kuigi kaalud ja scaffolding jäid samaks. Teises andis mälupoliitika half-life’is 4,5-kordse erinevuse. Flush-history stsenaariumis põhjustas hooldus 67% post-shock cliff’i ilma taastumiseta.
Eraldi oluline on see, et halvenemine ei näe alati välja nagu ilmne rumalus. Käitumistestid võivad püsida rohelised ajal, mil faktitäpsus juba langeb. Sama vale vastus võib nõuda erinevaid parandusi: mõnes kohas on probleem fakti kirjutamises, teises otsingus, kolmandas leitud konteksti kasutamises.
Miks see päris assistentide jaoks tähtis on
Agentide turu jaoks on see ebamugav, kuid kasulik pööre. Ettevõtted mõtlevad tihti nii: kui mudel tugevama vastu vahetada, muutub agent töökindlamaks. AgingBench näitab, et see ei pruugi nii olla. Projekti saidil on eraldi näide, kus Claude Code CLI sees Sonnet 4.6-lt Opus 4.7-le liikumine ei toonud pikas stsenaariumis automaatset paranemist: S7 mean recall langes 0,82-lt 0,79-le.
See ei tähenda, et uued mudelid oleksid kasutud. See tähendab muud: agentne süsteem ei vanane ainult mudeli “tarkuse” tõttu. Seda lõhuvad tihendatud märkmed, halb mälupoliitika, vastuolulised faktid, ebaõnnestunud ajaloo puhastus ja liiga usaldav vana konteksti kasutamine. Isikliku assistendi puhul võib see olla tüütu. Toe, arenduse, rahanduse, meditsiini või operatiivjuhtimise agendi puhul on see juba risk.
Praktiline järeldus tiimidele on üsna otsekohene. Kui agent peab töötama nädalaid, ei saa teda kontrollida ainult ühekordsete ülesannete kogumil. Vaja on longitudinal-teste: jooksu läbi seansside jada, hooldusjärgse taastumise kontrolli, mälu täpsuse mõõtmist, konfliktide kontrolli ja selget parandamisprotokolli. Vastasel juhul võib saada süsteemi, mis läbib demo suurepäraselt, kuid kaotab mõtte just siis, kui kasutaja hakkab seda usaldama.
- arxiv.orgYour Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems
- agingbench.github.ioAgingBench: AI Agents Age Too
- arxiv.orgYour Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems (PDF)
- reddit.comYour Agents Are Aging Too: Agent Lifespan Engineering for Deployed Systems [R]
- pexels.comPutting a Sticky Note on a Computer Monitor
