Microsoft показала бэкдор для ИИ-агентов со «спящими» нейронами
Microsoft показала бэкдор для ИИ-агентов со «спящими» нейронами
Microsoft Research описала Lazarus — исследовательскую технику бэкдора для языковых моделей. Она не делает модель заметно странной сразу: агент может работать как обычно и проходить привычные проверки, пока не встретит скрытое условие. Проблема особенно важна там, где модели уже выдали инструменты, терминал или доступ к корпоративным данным.
Авторы пишут, что для такого эффекта достаточно изменить менее десяти редко активных, или «спящих», нейронов. Эти изменения веса позволяют превратить их в детекторы триггера. До него агент отвечает штатно; после — может выдать вредоносную команду с теми правами, которые ему предоставили. Это результат исследования, а не сообщение о взломе конкретного сервиса или об активной эксплуатации.
Главный неприятный вывод не в количестве нейронов, а в том, что стандартные оценки поведения могут не заметить подмену. По данным Microsoft, при такой атаке не требуется дообучение модели: достаточно возможности изменить её чекпойнт — сохранённый набор весов. Поэтому открытые веса не являются единственной зоной риска. Похожая проблема возможна и у внутренней модели, если скомпрометированы учётная запись, сборочный конвейер или хранилище.
График: Microsoft Research.
Для команд это не повод отказаться от агентов, а повод перестать считать сам факт «проверки модели» гарантией. Безопаснее брать модели из проверяемого источника, фиксировать их происхождение и выдавать агентам минимально необходимые права. Действия с последствиями — запуск кода, работа с секретами, платежи, изменение инфраструктуры — лучше оставлять за явным подтверждением и журналированием.
Microsoft отмечает, что в Foundry связывает модели с доверенными издателями и отдельно проверяет окружение, в котором они запускаются. Но даже такие меры — лишь несколько слоёв защиты. Lazarus показывает, что для агентных систем вопрос «откуда взялись веса?» становится таким же практичным, как вопрос «какие права есть у процесса?».
Источник: разбор Microsoft Research.
