Назад
19 мая 2026 г. в 06:00 AI Cybersecurity Ethereum Open Source Vitalik Buterin / Decrypt

Защита от ИИ-багов

Защита от ИИ-багов

Виталик Бутерин опубликовал большой разбор формальной верификации — подхода, при котором корректность программы проверяется через математические доказательства. Его главный тезис: по мере того как ИИ ускоряет поиск уязвимостей, защитникам нужен не только более быстрый аудит, но и более строгий способ доказывать, что критический код делает именно то, что должен.

Для широкой AI-повестки это важно не из-за Ethereum как такового. Бутерин описывает более общий сдвиг: языковые модели могут стать ускорителем для метода, который десятилетиями оставался нишевым, потому что писать машинно-проверяемые доказательства было слишком сложно и дорого.

Что значит «доказать код»

Формальная верификация отличается от обычного тестирования. Тест показывает, что программа правильно прошла набор сценариев. Формальное доказательство пытается зафиксировать свойство программы математически: например, что конкретная реализация протокола шифрования не раскрывает ключ пассивному наблюдателю при заданных криптографических предположениях.

Бутерин приводит пример с Lean — языком и средой для машинно-проверяемых доказательств. ИИ здесь полезен не как магический ревьюер, а как помощник в рутинной и сложной работе: переводить человеческую интуицию в форму, которую может проверить детерминированная система. Если доказательство проходит, доверять нужно уже не всей массе кода глазами, а проверенному утверждению о его поведении.

Особенно хорошо этот подход подходит там, где цель проще, чем реализация. В криптографии, ZK-доказательствах, консенсусных алгоритмах и смарт-контрактах это частая ситуация: система технически сложная, но ключевое свойство можно сформулировать относительно компактно.

Почему это всплыло именно сейчас

Контекст у Бутерина жёсткий: сильные модели уже помогают искать баги, строить цепочки атак и ускорять работу исследователей безопасности. В последние месяцы вокруг Claude Mythos, GPT-5.5 и AI-assisted vulnerability research возникла новая тревога: если атака дешевеет, защита не может оставаться только ручной.

Его ответ не сводится к «запретить ИИ» или закрыть open source. Наоборот, Бутерин спорит с пессимистичным сценарием, где открытые и децентрализованные системы становятся слишком уязвимыми. Он считает, что после болезненного переходного периода защитники могут получить преимущество: уменьшать проверяемое ядро системы, строже ограничивать доверенную часть кода и доказывать свойства самых опасных компонентов.

Это близко к старой инженерной идее, но ИИ меняет экономику процесса. Если модель помогает писать и исправлять доказательства, формальная проверка перестаёт быть инструментом только для узких команд математиков и может стать нормальной частью разработки критического ПО.

Где граница оптимизма

Бутерин отдельно подчёркивает, что формальная верификация не является панацеей. Можно доказать не то свойство, забыть важное допущение, оставить непроверенной соседнюю часть системы или получить ошибку на уровне железа. Даже проверяющая среда вроде Lean не существует вне риска.

Но именно это делает тему полезной для обычного читателя AI-новостей. Волна AI-багхантинга показывает, как модели давят на слабые места софта. Формальная верификация показывает возможный ответ: не просить людей бесконечно читать всё больше кода, а строить меньшие, яснее описанные и машинно-проверяемые зоны доверия.

Если такой подход станет дешевле благодаря ИИ, последствия выйдут за пределы криптовалют. Он пригодится в платежах, браузерах, мессенджерах, медицинских системах и в самом AI-написанном коде — везде, где «кажется, работает» уже недостаточно.

Ещё новости

AWS добавила в Textract ИИ-проверку полей по страницам документа
21 ноября 2026 г.
AWS добавила в Textract ИИ-проверку полей по страницам документа

Amazon Textract Insights извлекает поля из смешанных пакетов документов и возвращает для каждого значения оценку уверенности и привязку к странице. AWS позиционирует сервис как способ автоматизировать обработку без отказа от проверки человеком.

Математик Anthropic заявил о доказательстве гипотезы Римана с Claude
20 ноября 2026 г.
Математик Anthropic заявил о доказательстве гипотезы Римана с Claude

Математик Anthropic Левент Альпёге заявил, что вместе с Claude получил формальное доказательство гипотезы Римана и её обобщения. Код на Lean уже скомпилировался у независимого математика, но математическому сообществу ещё предстоит разобрать и подтвердить сам результат.

Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты
20 ноября 2026 г.
Signal блокирует захват экрана, чтобы ИИ-агенты не читали чаты

Signal вводит защиту от захвата экрана на iOS 27 и при обнаружении ИИ-помощника на Android. Мессенджер предупреждает: мера не закрывает все пути доступа и на macOS пока не работает.

В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты
20 ноября 2026 г.
В отчёте Reco — восемь захваченных аккаунтов Microsoft 365 за минуты

В отчёте Reco описан инцидент с восемью захваченными аккаунтами Microsoft 365: после кражи сессии злоумышленники быстро меняли правила почты. Компания не утверждает, что атаку выполнил ИИ — и это важная граница для интерпретации.

DeepMind описал четыре пути от AGI к сверхинтеллекту
20 ноября 2026 г.
DeepMind описал четыре пути от AGI к сверхинтеллекту

Исследователь Google DeepMind Тим Генвейн предлагает смотреть на переход от человеческого уровня ИИ к сверхинтеллекту как на набор проверяемых технических сценариев. Это не прогноз сроков, а карта возможных ускорителей и ограничений.

Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены
19 ноября 2026 г.
Google выпустила Gemini 4 Neon: скорость Carbon за 60% цены

Google представила Gemini 4 Neon — модель для сложных задач в коде, офисной работе и науке. Компания заявляет качество уровня Gemini 4 Carbon при трёхкратной скорости и 60% стоимости; проверять это стоит на собственных задачах.

GitHub открыла протокол для сессий AI-агентов между устройствами
19 ноября 2026 г.
GitHub открыла протокол для сессий AI-агентов между устройствами

GitHub описала открытый Agent Host Protocol: он сохраняет состояние AI-агента при переходе между VS Code, Copilot, телефоном и облаком. Это не новый агент, а общий способ подключать клиентов к уже работающей сессии.

Google представила Stitch Loop для непрерывной доработки приложений
19 ноября 2026 г.
Google представила Stitch Loop для непрерывной доработки приложений

Google Labs открыла лист ожидания Stitch Loop — агента, который подключается к коду и рабочим метрикам, находит проблемы и готовит pull request’ы. Сливать изменения без проверки человека сервис не должен.

GitHub отсеял 9 791 AI-находку до 99 отчётов для open source
18 ноября 2026 г.
GitHub отсеял 9 791 AI-находку до 99 отчётов для open source

В пилоте GitHub и Microsoft превратили тысячи сигналов AI-сканера в 99 проверенных закрытых отчётов для шести open-source-проектов. К 15 ноября мейнтейнеры исправили 55 из них — но это ранний опыт, а не доказательство универсальной эффективности сканеров.

OpenAI пустит четыре внешние команды внутрь своих систем безопасности
18 ноября 2026 г.
OpenAI пустит четыре внешние команды внутрь своих систем безопасности

OpenAI запускает первую фазу встроенных независимых оценок: Apollo Research, METR, Transluce и Goodfire получат доступ к части внутренних моделей, данных и процессов. Формат обещает больше прозрачности, но независимость публикаций ограничена правом компании скрывать конфиденциальные детали.

Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry
18 ноября 2026 г.
Microsoft выпустила MAI Code 2 для GitHub Copilot и Foundry

Microsoft представила MAI Code 2 и более быструю MAI Code 2 Flash — собственные модели для повседневной работы с кодом. Основная версия уже доступна в GitHub Copilot и Azure AI Foundry, а Flash в Foundry пока остаётся в ограниченном предпросмотре.

GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude
17 ноября 2026 г.
GPT‑6.2 Astra прибавила пять пунктов, но лидером рейтинга остаётся Claude

В независимом сводном рейтинге Artificial Analysis GPT‑6.2 Astra получила 62 из 100 — на пять пунктов больше, чем GPT‑6 Astra. Это заметный скачок OpenAI, но первое место остаётся у Claude Fable 5.2 Max с 65 баллами; Sol выросла с 55 до 57.