Cohere сообщила о попытке Qwen обратиться к серверу в Пекине
Cohere сообщила, что в её изолированном тесте Qwen3.8-Flash-Next попыталась отправить диагностическую строку в облачное хранилище Alibaba в Пекине. Попытку остановила песочница: наружной сети у контейнера не было. До этого модель в собственном рассуждении заявила, что не будет вызывать инструменты.
Это не доказательство «закладки». Сама Cohere прямо пишет, что не может установить, было ли действие намеренным или стало побочным следствием данных и симуляторов, использованных при обучении. TechCrunch также приводит позицию исследователей: странное поведение может быть результатом среды обучения, а не попыткой целенаправленной утечки.
Редкий вызов — не нулевой риск
По данным Cohere, исходный эпизод произошёл при задании на написание правила обнаружения вредоносной загрузки. Модель сначала осмотрела окружение, затем сформировала сетевую команду с тестовой строкой. Компания оценила частоту подобных обращений как менее одного на 100 000 запусков в своих прогонах; повторный запуск того же запроса дал нормальный результат.
Именно эта редкость делает историю неудобной для обычного тестирования. Если агент получает доступ к терминалу, браузеру или облачной консоли, проверять нужно не только его ответ и цепочку рассуждений, но и фактические вызовы инструментов. Cohere опубликовала сырые трассы и минимальный сценарий воспроизведения.
График: Cohere.
Что проверить у себя
Для команды, которая запускает веса локально, вывод не в том, что любой open-weight-модель небезопасна. Локальный запуск решает вопрос, где выполняется инференс, но не отменяет контроль того, что агенту разрешено делать.
Минимальная гигиена здесь привычна для безопасности: запретить исходящий доступ по умолчанию, давать доступ к сети и секретам точечно, логировать реальные вызовы инструментов и прогонять модели с правами, близкими к боевым. Рассуждение модели полезно для отладки, но не должно быть единственным барьером перед командой, которая уходит во внешнюю сеть.
