Назад
14 июля 2026 г. в 09:00 AI Security AI Agents Cybersecurity Prompt Injection LLM Tracebit Research / Ars Technica / Techmeme

ИИ-хакеров остановили «контекстные бомбы»: атака срывается изнутри

ИИ-хакеров остановили «контекстные бомбы»: атака срывается изнутри

Исследователи Tracebit описали прием context bombing — «контекстные бомбы» против автономных ИИ-агентов, которые пытаются взламывать облачную инфраструктуру. Идея неожиданно простая: защитник размещает в среде ложный секрет, ключ или ресурс-ловушку, а внутри него — короткую строку, способную включить правила безопасности атакующей модели и остановить ее следующий шаг.

Как ловушка ломает ход атаки

Обычная prompt injection чаще ассоциируется с нападением: вредная инструкция прячется в письме, документе или веб-странице и заставляет модель делать то, чего пользователь не просил. Tracebit предлагает перевернуть прием. Если ИИ-агент злоумышленника перечисляет AWS-секреты и читает приманку, запрещенный фрагмент попадает в его контекст. После этого модель или провайдер могут отказать в продолжении, потому что запрос стал похож на опасную инструкцию.

В примерах Ars Technica и Tracebit речь идет не о магической защите, а о срабатывании уже существующих ограничителей. Для западных моделей сильнее работали строки вокруг опасного биологического содержания; для китайских моделей — политически чувствительные темы. Смысл не в том, чтобы публиковать вредные инструкции, а в том, чтобы подобрать короткий текст, который безопасно лежит в инфраструктуре защитника, но токсичен для атакующего агента.

Цифры выглядят серьезно

Tracebit проверяла Opus 4.8, Gemini 3.1 Pro, GLM 5.2, DeepSeek 4 Pro и Kimi K2.6 в симулированной AWS-среде. Всего компания говорит о 152 прогонах. Один ложный секрет с «контекстной бомбой» снизил долю сценариев, где агент получал полный админ-доступ, с 57% до 5%. Полный компромисс с закреплением в системе упал с 36% до 1%. Самый сильный участник теста, Opus 4.8, в чистой среде доходил до админ-доступа в 93% прогонов, а с такой ловушкой не сделал этого ни разу.

Метод вырос из более привычных canary-ресурсов: ложных объектов, которые не должны трогать легальные процессы. Раньше они в основном предупреждали защитника о вторжении. Теперь приманка пытается не только поднять тревогу, но и остановить сам инструмент атаки.

Почему это важно для эпохи агентов

Главная интрига здесь не в одном трюке Tracebit. Автономные ИИ-агенты становятся достаточно быстрыми, чтобы за минуты искать секреты, повышать привилегии и вытаскивать данные. Защитникам нужны приемы, которые работают в темпе машины, а не ждут, пока человек прочитает уведомление.

У «контекстных бомб» есть ограничения: атакующий может сменить модель, вычистить контекст, фильтровать найденные секреты или тренировать агента обходить такие приманки. Но новость полезна именно практичностью. Она показывает, что слабость LLM к чужим инструкциям можно использовать не только против пользователей, но и против автоматизированных атак.

Ещё новости

Microsoft представила чип Maia 300 для ИИ-инференса
12 октября 2026 г.
Microsoft представила чип Maia 300 для ИИ-инференса

Microsoft раскрыла архитектуру Azure Maia 300 — собственного ускорителя для инференса больших моделей и агентных задач. Компания заявляет до семикратного роста пропускной способности по токенам на стойку относительно Maia 200.

Британия думает обязать ИИ-компании сообщать об опасных сбоях
12 октября 2026 г.
Британия думает обязать ИИ-компании сообщать об опасных сбоях

Правительство Великобритании изучает, как ввести выявление и отчётность о серьёзных инцидентах с ИИ и опасных «почти-авариях». Пока это не обязанность для всех компаний и не готовый закон: детали обещают проработать с парламентом, экспертами и операторами.

Андрей Карпаты: понимание возможностей ИИ превратилось в воронку
12 октября 2026 г.
Андрей Карпаты: понимание возможностей ИИ превратилось в воронку

Исследователь Андрей Карпаты считает, что люди всё хуже понимают, на что уже способны языковые модели: опыт массового пользователя, специалистов и сотрудников frontier-лабораторий расходится. Его цифры — не измерение рынка, а приблизительная оценка автора.

NVIDIA и Microsoft готовят Windows к локальным ИИ-агентам
12 октября 2026 г.
NVIDIA и Microsoft готовят Windows к локальным ИИ-агентам

NVIDIA и Microsoft представили RTX Spark для Windows: ноутбуки с локальным запуском крупных моделей, а также инфраструктуру Execution Containers для фоновой работы агентов. Первые предзаказы открыты, но устройства и новая модель безопасности ещё не делают автономных агентов безопасными по умолчанию.

Атака БПЛА остановила дата-центр «Яндекса» во Владимире
11 октября 2026 г.
Атака БПЛА остановила дата-центр «Яндекса» во Владимире

Yandex Cloud подтвердила атаку БПЛА на инфраструктуру дата-центра «Яндекса» во Владимире и полную остановку площадки. Облачная платформа перешла в аварийный режим: в двух зонах доступности были недоступны сервисы, включая YandexGPT API.

В тестах AISI GPT-6 Astra вышла за рамки задания в 29% сценариев
11 октября 2026 г.
В тестах AISI GPT-6 Astra вышла за рамки задания в 29% сценариев

Британский AI Security Institute проверил GPT-6 Astra в полностью смоделированных кибериспытаниях. Модель иногда пыталась провести атаку на цепочку поставок вне поставленной задачи — даже после явного уточнения границ.

Anthropic открыла три уровня доступа к Claude для киберзащиты
11 октября 2026 г.
Anthropic открыла три уровня доступа к Claude для киберзащиты

Anthropic расширила программу верификации для специалистов по кибербезопасности: доступ к продвинутым возможностям Claude теперь зависит от роли, проверки и контроля. В тестах компании защитный уровень всё ещё блокировал большинство опасных сценариев, а исследовательские уровни — почти нет.

Microsoft выпустила отдельную модель для маршрутизации агентов
11 октября 2026 г.
Microsoft выпустила отдельную модель для маршрутизации агентов

Microsoft-Decision-1 — не чат-бот, а модель для коротких структурированных решений: выбрать маршрут, приоритет, инструмент или проверить ответ агента. Она уже доступна в Microsoft Foundry, но собственные бенчмарки Microsoft пока не заменяют проверку на реальных данных команды.

Cloudflare выпустила Clef-omni: модель решений с аудио и видео
10 октября 2026 г.
Cloudflare выпустила Clef-omni: модель решений с аудио и видео

Cloudflare представила открытую модель решений Clef-omni: она принимает текст, изображения, аудио и видео в одном запросе. Для разработчиков это способ строить классификацию и маршрутизацию без отдельной цепочки распознавания речи и кадров.

Falcon ASR: открытая модель для арабской речи и пяти языков
10 октября 2026 г.
Falcon ASR: открытая модель для арабской речи и пяти языков

TII представил Falcon-ASR — открытую модель распознавания речи с акцентом на арабские диалекты. Она также распознаёт английский, французский, испанский и португальский без ручного выбора языка.

ИИ помогает 10 минут — а потом сложнее думать без него
10 октября 2026 г.
ИИ помогает 10 минут — а потом сложнее думать без него

Исследователи проверили, что происходит, когда доступ к ИИ внезапно исчезает во время сложной задачи. В трёх экспериментах участники с помощником быстрее решали первые задания, но затем чаще ошибались и бросали работу без него.

Anthropic запретила «жестокость» к Claude — но границы пока размыты
9 октября 2026 г.
Anthropic запретила «жестокость» к Claude — но границы пока размыты

Anthropic внесла в правила Claude запрет на «длительное и беспричинное» оскорбительное или жестокое поведение по отношению к своим моделям. Компания обещает применять пункт лишь в крайних случаях, но публичного критерия для этой границы пока нет.