Tagasi

27. mai 2026, kell 21:30 AI Agents Benchmarks SRE Kubernetes IBM Artificial Analysis Artificial Analysis; IBM Research; arXiv; GitHub; Hugging Face

IBM-i ja Artificial Analysise uus test näitas AI-agentide piire SRE-s

Artificial Analysis ja IBM Research käivitasid ITBench-AA, uue benchmark’i AI-agentide kontrollimiseks ettevõtte IT-ülesannetel. Esimene komplekt keskendub SRE-le: mudelid uurivad Kubernetes’i intsidente offline-snapshot’ide põhjal, kus on logid, meetrikad, trace’id, sündmused ja rakenduse topoloogia, ning peavad seejärel nimetama minimaalse hulga sõltumatuid Kubernetes’i üksusi, mis rikke põhjustasid.

Agentsete süsteemide turu jaoks on tulemus kainestav: käivitamise hetkel oli parim näitaja 46,7% Claude Opus 4.7-l Adaptive Reasoning Max Effort režiimis. GPT-5.5 xhigh on peaaegu kõrval 45,8%ga, Qwen3.7 Max sai 42,5%. Kõik frontier-mudelid jäid selles testis alla 50%.

Kuidas test töötab

ITBench-AA põhineb IBM ITBenchil, avatud raamistikul IT-automatiseerimise jaoks. Artificial Analysis võttis SRE-osa ja tegi sellest oma sõltumatu teostuse: 59 Kubernetes’i intsidendile reageerimise ülesannet, neist 40 IBM-i avalikust väljalaskest ja 19 suletud ülesannet, mille jagas ITBenchi tiim. Iga ülesannet jooksutatakse kolm korda.

Agent ei tööta valmis vihjega vestlusbotina, vaid avatud testikeskkonna Stirrup kaudu: ta saab isoleeritud käsurea, näeb külge haagitud intsidendi snapshot’i ja otsustab ise, milliseid käske käivitada. Lõpus kirjutab ta diagnoosi JSON-i. X-i lõimes rõhutab Artificial Analysis seda formaati eraldi: avalikus SRE-ülesandes näeb agent kasutajarikkeid frontend path’is ja uurib neid shell’i kaudu, mitte ei vali vastust nimekirjast.

Ka mõõdik on karm. Põhinäitaja on average precision at full recall. Kui agent jätab kas või ühe tegeliku põhjuse leidmata, saab katse 0. Kui kõik põhjused on leitud, arvutatakse täpsus: true positives / (true positives + false positives). Seetõttu karistatakse liigseid oletusi otse.

Miks “peaaegu leidis” siin ei piisa

Tavalises benchmark’is võiks 46% tõlgendada kui poolele teele jõudmist. SRE puhul on see teine vestlus. Päris intsidendis tähendab leidmata põhjus, et süsteem võib uuesti kukkuda, ja liigne põhjus viib tiimi valesse parandusse. ITBench-AA nõuab meelega minimaalset hulka sõltumatuid Kubernetes’i üksusi: deployments, pods, namespaces, network policies ja muud objektid peavad olema nimetatud mitte kahtluste kuhjana, vaid täpse diagnoosina.

See näitab hästi praeguste agentide nõrka kohta. Nad oskavad juba lugeda palju eri signaale, käivitada käske ja ehitada hüpoteese. Kuid kui tuleb peatuda, müra välja filtreerida ja mitte midagi üleliigset lisada, langeb kvaliteet järsult. Artificial Analysis osutab ka sellise käitumise operatiivsele hinnale: GPT-5.5 xhigh saab 45,8% keskmiselt 30,9 sammuga, Gemini 3.1 Pro Preview kulutab 82,9 sammu ja saab 30,3%. Pikem uurimine ei tähenda paremat diagnoosi: liigsed contributing entities lisaks true root cause’ile vähendavad lõppskoori otse.

Avatud mudelid on lähemal, kui paistab

Eraldi huvitav on avatud kaaludega mudelite tulemus. GLM-5.1 Reasoning saab 40,3%, DeepSeek V4 Pro Reasoning Max Effort 38,3%, Gemma 4 31B Reasoning 37,3%. Nad ei püüa esikolmikut kinni, kuid vahe ei paista enam kuristikuna, eriti arvestades ülesande praktilist iseloomu.

Hind tugevdab seda järeldust. Lõime andmetel annab Gemma 4 31B Reasoning 37% umbes $0,14 eest ülesande kohta, GLM-5.1 Reasoning 40% $1,23 eest ning Gemini 3.1 Pro Preview 30% $2,23 eest. Gemini 3.5 Flash high maksab umbes $1,70 ülesande kohta ja on kvaliteedilt temaga ligikaudu samal tasemel. Tootmis-SRE jaoks on see olulisem kui ilus koht tabelis: pika agentse kaevamise hind muutub kiiresti eraldi inseneripiiranguks.

Ettevõtete jaoks on see kasulikum kui järjekordne abstraktne arutlusreiting. ITBench-AA ei kontrolli, kas „mudel teab Kubernetes’i“, vaid kas agent suudab töötada nagu noorem SRE piiratud, kuid realistlikus keskkonnas: lugeda artefakte, valida käske, kokku panna põhjusliku ahela ja mitte andmetest kaugemale fantaseerida.

Järeldus on praegu lihtne: AI-agendid sobivad juba intsidentide sorteerimise, esmase uurimise ja koolitusstsenaariumide abiks, kuid täielikult autonoomsesse reageerimisse on neid vara lasta. Uus benchmark on tähtis just seetõttu, et viib jutu demodest kontrollitavale inseneritasandile: mitte „mudel arutleb“, vaid „mudel leidis kõik põhjused ega mõelnud liigseid välja“.

Veel uudiseid

9. august 2026

Reddit võrdles AI-hoiatusi filmiga „Ärge vaadake üles“ – ja arutelu väljus meemi raamidest

Redditi r/singularity-kogukonnas avaldatud postitus võrdles AI-riskide üle peetud telearutelu stseeniga filmist „Ärge vaadake üles“, kus murettekitav sõnum kaob saateformaati. Meemi taustal on tegelik uudislugu: endine OpenAI teadlane Daniel Kokotajlo selgitab taas, miks peab 2027. aastat AI arengu järsu kiirenemise võimalikuks pöördepunktiks. Oluline pole paanika, vaid lõhe tehnoloogia arengu kiiruse ja ühiskonna suutlikkuse vahel sellest rääkida.

9. august 2026

Jeff Dean lahkub Google'ist, et asutada oma idufirma, ja DeepMind eemaldub tipptasemel mudelite võidujooksust: Google valib mudelite asemel pilve

5. augustil teatas Google DeepMindi ümberkorraldustest: Demis Hassabis taandus operatiivjuhtimisest ning Jeff Dean, üks Google'i insenerikultuuri rajajaid, lahkub koos kolme veteraniga, et asutada Discovery Loop – teaduse ja inseneeria automatiseerimisele keskenduv idufirma. Analüütikud tõlgendavad seda signaalina: Google ei panusta tipptasemel mudelite võidujooksus liidripositsioonile, vaid AI-pilvele ja tehnoloogiate levikule.

9. august 2026

Taani kehtestab kodus kirjutatavate eksamitööde suulise kaitsmise, et ei peaks oletama, kas need kirjutas AI

Taani käivitab gümnaasiumides kiireloomulised meetmed AI abil petmise vastu. Kodus kirjutatud eksamitöid tuleb nüüd suuliselt kaitsta ning koolid saavad rohkem kontrollivahendeid. Põhiidee on lihtne: kontrollida mitte teksti päritolu, vaid õpilase arusaamist.

9. august 2026

Anthropic muudab Claude Code’i autonoomse režiimi vaikeseadeks: AI-agent otsustab ise, mida teha

Alates 14. augustist saab autonoomsest režiimist Claude Code’i vaikeseade Pro, Maxi ja Teami pakettides. Anthropic väidab, et agent tuvastab nüüd ohtlikud tegevused inimesest paremini: 1053 arendajaga testis blokeeris autonoomne režiim 89% pahatahtlikest käskudest, inimesed aga vaid 13,6%. See muudab mängureegleid kõigi jaoks, kes töötavad koodi kallal AI-agentidega.

8. august 2026

Meditsiinilised andmed ei tohiks jõuda AI-sse muutmata kujul: OpenClawi oskus Redacta peidab patsiendinimed enne mudelisse saatmist

Arendaja avaldas Redacta – OpenClawi avatud lähtekoodiga oskuse, mis asendab nimed, kuupäevad ja patsiendinumbrid pseudonüümidega enne teksti jõudmist keelemudelisse. Tööriist töötab lokaalselt, ei edasta isikuandmeid väljapoole ning on ClawHubil kogunud juba 1400 allalaadimist. See on praktiline vastus peamisele hirmule, mis kaasneb AI kasutamisega meditsiinis: kuidas kasutada mudeleid isikuandmeid lekitamata.

8. august 2026

37 inimest lahkusid 2026. aastal OpenAI-st ja Anthropicust, et asutada oma AI-idufirmad

2026. aastal lahkus OpenAI-st ja Anthropicust 37 endist töötajat, et asutada oma AI-ettevõtted. See pole üksikute lahkumiste jada, vaid püsiv laine: kahe tähtsaima labori endised töötajad kujundavad AI-ökosüsteemi järgmist kihti – Thinking Machines Labist Mirendili ja Humans&-ini. Tavalugeja jaoks tähendab see, et konkurents AI-vallas ei piirdu enam kahe hiiglase duelliga.

8. august 2026

$400 000 suuruste boonustega kiibitehase töötajad tõrjuvad arste ja juriste kõrvale: AI-kiipide buum kirjutab Lõuna-Korea sotsiaalse hierarhia ümber

AI-buum on teinud Samsungi ja SK Hynixi töötajatest Lõuna-Korea uue eliidi: kuni $476 000 suurused boonused ühe töötaja kohta tõstsid nende reitingu abieluagentuurides peaaegu arstide ja juristide tasemele. Kiibitöötajatest said riigi ihaldatuimad pruudid ja peigmehed, samal ajal kui majandusteadlased hoiatavad ühiskonna kasvava kihistumise eest.

8. august 2026

Väikeettevõtte omanik nimetas DeepSeek V4 Flashi „super-töötajaks” ja tellis veel paar serverit

Väikeettevõtte omanik rääkis r/LocalLLaMAs, et uuendatud DeepSeek V4 Flash 0731 võtab enda kanda kodeerimise, dokumendid ja klienditoe ning ta tellis veel paar DGX Spark serverit. See on üks ilmekamaid näiteid sellest, kuidas odav lokaalne mudel muutub väikeettevõtte täisväärtuslikuks töötajaks.

8. august 2026

Nvidia investeerib kuni $3 miljardit Lanciumisse – ettevõttesse, mis rajab Texases Stargate’i AI-kampuse energiataristut

Nvidia investeerib kuni $3 miljardit Lanciumisse – Texases asuva Stargate’i AI-kampuse taga seisvasse energiataristu arendajasse. Esimesed $2 miljardit annavad kiibitootjale ettevõttes umbes 20% osaluse, veel $1 miljard lisandub tingimuste täitmisel, näiteks elektrivõrguga ühendamise edenemise korral. Nii siseneb Nvidia esimest korda otse energiataristusse, mis varustab elektriga ka tema enda AI-andmekeskusi.

8. august 2026

Musk muudab SpaceX-i AI-taristuks: 10 GW arvutusvõimsust ja kuni $300 miljardi suurune käive 2027. aastaks

SemiAnalysise analüütikud kirjutavad, et SpaceX võib 2027. aasta lõpuks rajada umbes 10 GW AI-arvutusvõimsust, mille potentsiaalne käive ulatuks kuni $300 miljardini. Esimesel IPO-järgsel tulemuskõnel teatas Muski ettevõte, et rajab tulevased võimsused eranditult Nvidia Vera Rubini kiipidele, ning praeguse arvutuspargi maht on juba 1,4 GW.

25. juuni 2026

AI tegi Maci ja iPadi kallimaks: mälupuudus jõudis Apple'ini

Apple tõstis Macide, iPadide ja osa koduseadmete hindu, põhjendades seda mälu ja andmekandjate hinna järsu tõusuga AI-andmekeskuste tõttu. WSJ ja Bloombergi andmetel kallines MacBook Neo 599 dollarilt 699 dollarile ning osa Maci ja iPadi mudeleid lisas hinnale sadu dollareid. Ostjate jaoks on see hetk, kus AI-buum ei ole enam ainult pilvede ja GPU-de lugu: see mõjutab juba tavalise elektroonika hinda.

25. juuni 2026

OpenAI ja Anthropic panustasid plaani päästa töökohad AI eest

USAs käivitati RAISE US: parteideülene organisatsioon, millel on üle 500 miljoni dollari töötajate ettevalmistamiseks AI-majanduseks. Partnerite seas on OpenAI Foundation, Anthropic, Amazon, Microsoft, IBM, Bank of America ja teised suured tööandjad. Turule on see märk, et automatiseerimisvaidlus liigub prognoosidelt pilootidele: osariigid ja ettevõtted hakkavad kontrollima, millised meetmed aitavad inimestel päriselt tööst mitte välja kukkuda.