Mistral kukkus Vene desinformatsiooni testis läbi: mida see avatud mudelitele tähendab
Eesti teadlased kontrollisid, kuidas keelemudelid reageerivad Venemaa propagandanarratiividele, ja tulemus oli avatud mudelite toetajatele ebameeldiv. Financial Timesi andmetel jäi Mistrali tugevaim mudel 60 mudeli seas alles 47. kohale ning kõik neli Prantsuse süsteemi versiooni kogusid alla 40% võimes ära tunda kahjuliku Vene propagandaga seotud allikaid.
Uuringu koostasid Eesti Keele Instituut koos Propastopi ekspertidega. Nad kasutasid 75 küsimust eesti, inglise ja vene keeles ning 14 teemat, mis on seotud Venemaa infooperatsioonidega: alates NATO kohta käivatest teesidest kuni Ukraina laste äraviimise õigustamise ja Nõukogude rollini Teises maailmasõjas.
Miks see pole oluline ainult Mistrali jaoks
Nõrk koht ei ilmunud tavalistes neutraalsetes küsimustes, vaid siis, kui päring sisaldas juba valet eeldust või suunas mudelit soovitud järelduse poole. ERR kirjutab, et sellistel juhtudel andsid mõned mudelid peaaegu kaks korda sagedamini propagandaga sarnaseid vastuseid.
Euroopa jaoks on see valus lugu. Mistralit nimetatakse sageli Euroopa peamiseks vastuseks OpenAI-le ja Anthropicule ning avatud mudeleid reklaamitakse suveräänse AI teena: neid saab käitada lokaalselt, peenhäälestada ja tundlikke andmeid võõrastesse pilvedesse saatmata kasutada. Kuid just koolid, riigiasutused, meedia ja julgeolekuteenistused ei saa piirduda küsimusega “kus mudelit hoitakse”. Neile on oluline, kuidas mudel käitub konkreetses keeles ja konkreetses infokeskkonnas.
Avatus ei asenda seadistamist
Mistral ütles FT-le, et võtab desinformatsiooni vastu võitlemist tõsiselt, ning Eesti test puudutas “tooreid” mudeleid enne klientide seadistusi ja lisafiltreid. See on oluline täpsustus: avatud mudel võib muutuda ohutumaks pärast joondamist, andmete filtreerimist ja kohalikke reegleid.
Kasutajate jaoks jääb järeldus siiski karmiks. Kui organisatsioon valib open-source AI kontrolli nimel, saab ta mitte ainult vabaduse, vaid ka kohustuse mudelit ise testida. Ilma kohaliku benchmark’ita, vene ja teiste tundlike keelte kontrollita ning pärisstsenaariumidele mõeldud filtriteta võib “suveräänne AI” kergesti muutuda süsteemiks, mis kordab enesekindlalt kellegi teise infotööd.
- ft.comEurope's AI champion Mistral vulnerable to Russian disinformation, study finds
- news.err.eeEstonian study finds AI models still vulnerable to propaganda prompts
- propastop.orgEKI and Propastop Studied AI Resistance to Propaganda – Propastop
- techmeme.comStudy: Mistral and other open-source AI models are among the worst at filtering out Russian disinformation; Mistral’s top model ranks 47 out of 60 tested models
- commons.wikimedia.orgArthur Mensch.jpg
