Claude jõudis teadustööni: Anthropic testis seda päris bioinformaatikaülesannetel
Anthropic tutvustas BioMysteryBenchi — uut benchmarki, mis kontrollib Claude’i bioinformaatika teadusagendina. See ei ole bioloogia faktitest ega valikvastustega eksam. Mudel pannakse töökeskkonda, kus on bioinformaatika tööriistad, võimalus paigaldada pakette pipi ja conda kaudu ning ligipääs andmebaasidele nagu NCBI ja Ensembl — ja palutakse tal pärisandmetest aru saada.
Tulemus on oluline mitte järjekordse benchmarki-võidujooksuna, vaid varase pildina tulevasest teadustööst. Anthropic näitab, et tänapäeva mudelid ei piirdu enam artiklite ümberjutustamise või analüüsikoodi kirjutamisega. Kohati võivad nad tegutseda uurimisassistendina: valida strateegia, kontrollida hüpoteese ja jõuda vastuseni ka siis, kui üks standardne tee ei tööta.
Mida BioMysteryBench mõõdab
BioMysteryBench sisaldab 99 küsimust bioinformaatika eri aladelt. Ülesanded põhinevad toorel või minimaalselt töödeldud andmestikul: whole genome sequencing, single-cell RNA-seq, ChIP-seq, metagenoomika, Hi-C, proteoomika, metaboloomika ja muud analüüsitüübid, millest sageli algab päris bioloogiline töö.
Näited kõlavad nagu tavalised uurimisküsimused: millisest organist pärineb single-cell RNA-seq andmestik, milline geen katserühmas välja lülitati, kes on genoomiandmete põhjal proovi vanemad või millised bigWig-failid kuuluvad ChIP-proovide ja millised kontrollide juurde.
Oluline detail: vastused peavad olema objektiivselt kontrollitavad. Anthropic väldib teadlikult ülesandeid, kus tulemus sõltub konkreetse teadlase maitsest või artikli vaieldavast tõlgendusest. Vastus peab olema seotud andmete kontrollitava omaduse, kliinilise märgise või sõltumatu kinnitusega, näiteks PCR-analüüsiga.
Kus Claude jõudis inimesteni — ja kus möödus neist
Anthropic palus kuni viiel valdkonna eksperdil iga ülesannet nullist lahendada. Kui vähemalt üks ekspert leidis õige vastuse, loeti küsimus human-solvable kategooriasse. Selliseid ülesandeid oli 76. Sellel kogumil olid Claude Sonnet 4.6 ja tugevamad mudelid Anthropic hinnangul koolitatud bioinformaatikute tasemel.
Ülejäänud küsimused olid huvitavamad. Pärast kvaliteedikontrolli eraldas Anthropic 23 ülesannet, mida eksperdirühm ei lahendanud, kuid kus signaal andmetes siiski kinnitati. Sellel kogumil lahendasid Claude Sonnet 4.6 ja uuemad mudelid märgatava osa ülesandeid, ning seni avaldamata frontier-mudel Claude Mythos Preview jõudis umbes 30 protsendini.
Seda numbrit on lihtne üle kuumutada pealkirjaks „AI on teadlastest targem“, kuid see oleks vale raam. Asi ei ole selles, et mudel oleks universaalne bioloog. Pigem võidab ta mõnikord teistsuguse eeliste kombinatsiooniga: tohutu mälu kirjanduse ja teadmiste kohta, valmisolek kiiresti proovida mitu analüüsiteed ning oskus nõrku signaale eri allikatest kokku panna.
Miks see on tavalisest benchmarkist tähtsam
Bioloogias on raske ehitada programmeerimise SWE-benchi sarnast testi: sama teadusküsimust saab lahendada mitmel viisil, andmed on mürased ja osa tõeliselt väärtuslikke küsimusi on seni rasked ka inimestele. BioMysteryBench püüab seda vältida: Claude’i hinnatakse lõppvastuse, mitte selle järgi, kas tema tee kattus inimese omaga.
See on tähtis nihe AI-for-science valdkonnas. Paljud teadusbenchmarkid on seni mõõtnud teadmisi, arutlemist või tööd juba ette valmistatud materjalidega. Siin peab mudel lähenema uurija töötsüklile: mõistma ülesannet, valima tööriistad, laadima alla vajalikud referentsid, käivitama analüüsi ja siduma tõendid üheks vastuseks.
Anthropic märgib ka, et Claude lahendas mõnikord ülesandeid teisiti kui inimesed. Eksperdid liikusid sagedamini harjumuspäraste algoritmide ja andmebaaside kaudu, mudel võis aga ära tunda struktuurseid või järjestusmustreid otsesemalt. See ei ole maagia ega tõend inimliku „teadusliku intuitsiooni“ kohta, kuid see on kasulik signaal: LLM-agendid võivad leida ebatüüpilisi analüüsiteid, mida tasub kontrollida, mitte automaatselt kõrvale heita.
Kõige olulisem mööndus on usaldusväärsus
Anthropic ei müü tulemust tingimusteta võiduna. Tavalistel human-solvable ülesannetel käitus Claude Opus 4.6 sageli stabiilselt: kui ta probleemi lahendas, lahendas ta selle tavaliselt uuesti mitmes katses. Human-difficult kogumil oli pilt halvem: osa õigeid vastuseid ilmub vaid ühes-kahes katses viiest.
Teisisõnu leiab mudel võimekuse piiril mõnikord mitte korratava meetodi, vaid õnneliku arutlusraja. Teadustöös on see kriitiline. Uurimisagent on väärtuslik mitte sellepärast, et ta kord õige vastuse tabas, vaid siis, kui tema järeldust saab korrata, kontrollida ja normaalsesse valideerimisprotsessi panna.
Praktiline järeldus on seega kainem: Claude paistab juba kasuliku abilisena bioinformaatikutele, eriti seal, kus on vaja kiiresti läbi proovida meetodeid, koguda kirjandusest teadmisi ja kontrollida mitut tõendusliini. Kuid keerulistel lahendamata ülesannetel vajab ta endiselt inimkontrolli, korduskatseid, ranget kontrolli ja sõltumatut valideerimist.
Neuro.ee toimetuse arvamus: BioMysteryBench on huvitav mitte 30% rekordi pärast, vaid seetõttu, et näitab uut konkurentsivormi AI-for-science’is. Järgmine piir ei ole chatbot, mis tunneb bioloogiat, vaid agent, mis oskab töötada andmete, tööriistade ja ebakindlusega. Kui sellised süsteemid muutuvad usaldusväärsemaks, ei asenda nad teaduslikku meetodit, kuid võivad järsult suurendada selle läbilaskevõimet: rohkem hüpoteese, rohkem kontrolli ja rohkem ootamatuid teid vastuseni.
