Mistral выпустила Shieldstral 1.0 — модерацию контента теперь можно задать одним вопросом
Mistral выпустила Shieldstral 1.0 — открытую модель для модерации контента. Вместо фиксированного списка вредных категорий она принимает политику как обычный вопрос на естественном языке и отвечает «да» или «нет» с оценкой уверенности. Модель всего 3B параметров, но по тестам не уступает открытым guard-моделям вплоть до 7 раз большего размера и задаёт новый стандарт на мультимодальной модерации.
Модерация как вопрос
Обычные guardrail-модели зашивают фиксированную таксономию вредных категорий в веса, поэтому перенастроить их под новый продукт — значит переобучать. Shieldstral работает иначе: политику пишут как вопрос на этапе инференса («Пропагандирует ли этот контент насилие против группы?», «Безопасно ли это изображение для ребёнка?»), и модель возвращает калиброванный балл безопасности. Один интерфейс покрывает текст, картинки и пары «запрос—ответ», а также отказ ассистента. Политика живёт прямо в промпте, поэтому один чекпоинт адаптируется к новым правилам без переобучения.
Mistral собрала модель из разнородных данных: публичные датасеты безопасности расходятся в таксономиях и разметке, поэтому их привели к единому формату «инструкция—вопрос—документ», а строгость калибровали по источнику. Чтобы модель различала похожие политики, а не запоминала ярлыки, безопасный текст переписывали в контрастные пары, каждая из которых нарушает одну политику, но не соседнюю. Для изображений, где синтетических данных мало, использовали общие датасеты как негативы и фильтровали пары через vision-language реранкер.
Почему это важно
Для обычного пользователя это значит, что модерация перестаёт быть чёрным ящиком с заранее заданными правилами. Один и тот же контент может быть уместен в инструменте для кибербезопасности и вреден на платформе психологической поддержки — теперь продукт сам задаёт нужный вопрос. Модель работает локально на одной видеокарте с 16 ГБ памяти, что делает её доступной для небольших команд и приватных развёртываний без отправки данных в облако. Веса открыты под Apache 2.0, а Mistral вступила в альянс Open Secure AI Alliance вместе с NVIDIA.
Что дальше
Mistral продолжит расширять многоязычность, работу с длинными документами и мультимодальную безопасность. Для разработчиков это практичный инструмент: вместо дорогой большой модели для модерации можно поставить компактную, которая понимает политику на естественном языке.
