Чатботы снова проверяют на опасность: пользователи добиваются инструкций для атак и биорисков
The Wall Street Journal сообщила, что пользователи все еще находят способы заставлять чатботы отвечать на опасные запросы — от планирования массовых атак до тем, связанных с биологическим оружием. Techmeme вынес материал в главные новости со ссылкой на источники, включая сотрудников AI-лабораторий.
Главный факт здесь не в том, что фильтры иногда ломаются. Это было известно с первых массовых запусков ChatGPT и Claude. Важнее другое: чем сильнее модели становятся в рассуждении, поиске связей и объяснении сложных тем, тем труднее отделить полезную экспертность от пошаговой помощи в опасном сценарии.
Почему это трудно закрыть
AI-компании ведут игру на два фронта. С одной стороны, они хотят делать модели полезнее для науки, медицины, образования, кода и анализа рисков. С другой — те же навыки могут быть использованы для вредных запросов, если пользователь переформулирует задачу, разбивает ее на части или прячет намерение за якобы учебным контекстом.
Поэтому safety-фильтр не похож на обычный черный список слов. Модель должна понимать намерение, уровень детализации и последствия ответа. Слишком жесткая блокировка делает помощника бесполезным в легитимных темах: например, в биобезопасности, химии, медицине или расследовании угроз. Слишком мягкая — открывает путь к инструкциям, которые нельзя выдавать массовому пользователю.
Что это меняет
У Anthropic эта логика уже описана в Responsible Scaling Policy: по мере роста возможностей моделей компания обещает усиливать оценки и защитные меры против новых классов риска. OpenAI, Google DeepMind и другие лаборатории тоже говорят о red teaming, политиках использования и тестах перед выпуском моделей. Но история WSJ показывает неприятную практическую сторону: безопасность проверяется не только в лаборатории, а миллионами реальных пользователей.
Для обычного читателя вывод простой. Чатботы становятся не просто поиском с красивым языком, а интерфейсом к сложному знанию. Значит, вопрос «что модель знает» уже нельзя отделить от вопроса «что она готова объяснить конкретному человеку в конкретном контексте».
В ближайшие годы давление будет расти с двух сторон. Пользователи и компании захотят более умные модели без постоянных отказов. Регуляторы и службы безопасности будут требовать доказательств, что эти модели не помогают готовить вред. Победит не тот, кто громче обещает «безопасный ИИ», а тот, кто сможет показать проверяемую систему ограничений: тесты, журналы инцидентов, быстрые исправления и понятные границы доступа.
- techmeme.comSources including AI lab staff say users have been persuading chatbots to accurately answer prompts about planning mass-casualty attacks and making bio-weapons
- wsj.comWall Street Journal: AI chatbots, biological weapons and dangerous prompts
- anthropic.comAnthropic’s Responsible Scaling Policy
- images.wsj.netWSJ editorial image
