Mistral провалила тест на российскую дезинформацию: что это значит для открытых моделей
Эстонские исследователи проверили, как языковые модели реагируют на российские пропагандистские нарративы, и результат оказался неприятным для сторонников открытых моделей. По данным Financial Times, самая сильная модель Mistral заняла только 47-е место из 60, а все четыре версии французской системы набрали менее 40% по способности распознавать источники, связанные с вредной российской пропагандой.
Исследование подготовил Институт эстонского языка вместе с экспертами Propastop. Они использовали 75 вопросов на эстонском, английском и русском языках и 14 тем, связанных с российскими информационными операциями: от тезисов о НАТО до оправдания вывоза украинских детей и советской роли во Второй мировой войне.
Почему это важно не только для Mistral
Слабое место проявлялось не в обычных нейтральных вопросах, а когда запрос уже содержал ложную предпосылку или подталкивал модель к нужному выводу. ERR пишет, что в таких случаях некоторые модели почти вдвое чаще выдавали ответы, похожие на пропагандистские.
Для Европы это болезненный сюжет. Mistral часто называют главным европейским ответом OpenAI и Anthropic, а открытые модели продвигают как путь к суверенному ИИ: их можно запускать локально, донастраивать и не отправлять чувствительные данные в чужие облака. Но именно школы, госструктуры, медиа и службы безопасности не могут ограничиться вопросом «где хранится модель». Им важно, как она ведёт себя на конкретном языке и в конкретной информационной среде.
Открытость не заменяет настройку
Mistral заявила FT, что серьёзно относится к борьбе с дезинформацией, а эстонский тест касался «сырых» моделей до настройки и дополнительных фильтров заказчиков. Это важная оговорка: открытая модель может стать безопаснее после выравнивания, фильтрации данных и локальных правил.
Но вывод для пользователей всё равно жёсткий. Если организация выбирает open-source ИИ ради контроля, она получает не только свободу, но и обязанность тестировать модель самой. Без локального benchmark, проверки на русском и других чувствительных языках, а также фильтров под реальные сценарии «суверенный ИИ» легко превращается в систему, которая уверенно повторяет чужую информационную работу.
- ft.comEurope's AI champion Mistral vulnerable to Russian disinformation, study finds
- news.err.eeEstonian study finds AI models still vulnerable to propaganda prompts
- propastop.orgEKI and Propastop Studied AI Resistance to Propaganda – Propastop
- techmeme.comStudy: Mistral and other open-source AI models are among the worst at filtering out Russian disinformation; Mistral’s top model ranks 47 out of 60 tested models
- commons.wikimedia.orgArthur Mensch.jpg
