OpenAI и Anthropic просят проверять заказы ДНК из-за риска AI-биооружия

Руководители крупнейших AI-компаний поддержали письмо к американским законодателям с просьбой ужесточить контроль за продажей синтетической ДНК и РНК. Среди подписантов, по данным Wired, — Сэм Альтман из OpenAI, Дарио Амодеи из Anthropic, Демис Хассабис из Google DeepMind и Мустафа Сулейман из Microsoft AI. Они призывают принять правила, которые обяжут поставщиков генетических последовательностей проверять не только клиентов, но и сами заказы.

Смысл инициативы не в том, что чат-бот уже сам создаёт биологическое оружие. Опасение тоньше: сильные модели могут снизить барьер для поиска опасных биологических идей, подсказать, где заказать фрагменты, или помочь переформулировать запрос так, чтобы он хуже ловился обычными фильтрами. Тогда слабым местом становится не один API, а вся цепочка между моделью, человеком и коммерческой лабораторией.

Что хотят изменить

Синтетическая ДНК давно используется в нормальной науке: исследованиях, диагностике, разработке лекарств и биотехнологических продуктах. Коммерческие компании могут «печатать» нужные последовательности и отправлять их заказчику. Многие поставщики уже проверяют клиентов и ищут в заказах «последовательности, вызывающие опасения», но такие практики остаются неодинаковыми и не везде обязательными.

Письмо, организованное Institute for Progress и Foundation for American Innovation, предлагает сделать контроль более системным. Речь идёт о проверке покупателей, заказов синтетической ДНК и РНК, а также о правилах для компаний, которые продают такие материалы в США. Wired напоминает и старый тревожный пример: в 2017 году канадские исследователи восстановили вымерший вирус horsepox, заказав ДНК по почте примерно на $100 000. Критики тогда предупреждали, что похожий подход теоретически может приблизить восстановление куда более опасных вирусов.

Почему здесь появился ИИ

До недавнего времени одним из барьеров была экспертиза: чтобы придумать и собрать опасную биологическую конструкцию, нужны знания, оборудование и доступ к материалам. AI-модели меняют именно первую часть барьера. Даже если для реальной работы всё ещё требуется биологическая подготовка, модель может ускорить поиск идей, объяснить процедуру или помочь обойти плохо настроенный контроль.

В статье Wired эксперт по биобезопасности Дэвид Релман из Stanford University говорит, что AI-инструменты могут быстро подсказать, где заказать последовательности без проверки, а при правильном запросе — как изменить заказ, чтобы существующие системы хуже понимали, что именно пытается сделать пользователь. Это не сценарий из фантастики, а обычная проблема безопасности: фильтр становится бесполезен, если система не видит цель за изменённой формой.

Отдельный риск показала работа Microsoft, опубликованная в Science: инструменты AI-дизайна белков могли генерировать потенциально опасные последовательности, которые проходили мимо некоторых screening-систем. Это не значит, что такие модели автоматически создают рабочий патоген. Но для регуляторов важен другой вывод: проверять только известные опасные фрагменты уже недостаточно, если модели умеют предлагать похожие структуры.

Что это значит для AI-безопасности

История важна тем, что переносит разговор об AI-рисках из привычной зоны «запретить плохой ответ чат-бота» в физическую инфраструктуру. Если модель помогает с биодизайном, последняя линия обороны может оказаться у поставщика синтетической ДНК, платёжной системы, лаборатории или регулятора, а не только у разработчика модели.

В США уже есть федеральная рамка: получатели федерального финансирования должны заказывать синтетические генетические последовательности у поставщиков, которые проводят screening. В Сенате также обсуждался двухпартийный законопроект о более широких правилах для поставщиков. Новое письмо делает ставку на то, что добровольных практик будет мало, если доступ к продвинутым AI-инструментам расширяется быстрее, чем обновляются биобезопасность и закупочные процедуры.

Для обычного читателя вывод простой: безопасность ИИ всё чаще будет выглядеть не как один большой выключатель, а как набор проверок в разных местах реального мира. Модель может быть одной частью риска, но заказ материалов, проверка клиента, лабораторная дисциплина и ответственность поставщика становятся не менее важными.