Codex теперь может управлять вашим компьютером

OpenAI вывела Codex за пределы привычного сценария «агент работает с кодом, файлами и терминалом». В документации приложения Codex появился режим Computer Use: он позволяет агенту видеть и управлять графическими интерфейсами на macOS — нажимать кнопки, печатать, пользоваться окнами, меню, браузером и другими настольными приложениями, если пользователь дал соответствующие разрешения.

Это не просто ещё одна эффектная демка «ИИ двигает мышкой». Важная новость в том, что OpenAI описала Computer Use как штатную часть Codex app с отдельной моделью разрешений, сценариями применения и ограничениями безопасности. И именно эти границы делают функцию интересной для рынка: desktop-агенты начинают переходить из видео в рабочий продукт, но им приходится встраиваться в реальные правила операционной системы и корпоративной безопасности.

Что реально умеет Computer Use

По документации OpenAI, Computer Use нужен там, где командной строки, файлового анализа или структурированной интеграции недостаточно. Типовые случаи: проверить macOS-приложение или iOS Simulator, пройти браузерный сценарий, изменить настройки через интерфейс, воспроизвести баг, который возникает только в GUI, посмотреть данные в приложении без отдельного плагина или выполнить цепочку действий между несколькими программами.

Запускается это через Codex app: пользователь устанавливает Computer Use plugin, затем macOS запрашивает два системных разрешения. Разрешение Screen Recording нужно, чтобы Codex видел целевое приложение; Accessibility — чтобы он мог кликать, печатать и перемещаться по интерфейсу. После этого задача формулируется явно: например, открыть конкретное приложение, пройти конкретный сценарий, воспроизвести ошибку в первом запуске и после правки снова проверить тот же путь.

OpenAI отдельно подчёркивает: если у приложения есть специализированный плагин или MCP-сервер, для доступа к данным и повторяемых операций лучше использовать его. Computer Use — это вариант для визуального контроля и работы с интерфейсом, а не универсальная замена API.

Где проходят разрешения и стоп-линии

Самая важная часть документации — не список возможностей, а список ограничений. Системные разрешения macOS отделены от подтверждений внутри Codex. Первые позволяют приложению видеть экран и управлять интерфейсом; вторые определяют, какие именно приложения пользователь разрешил Codex использовать. При этом чтение файлов, изменения в проекте и команды оболочки по-прежнему подчиняются песочнице и настройкам подтверждений конкретного треда.

Во время задачи Codex должен запросить разрешение на работу с приложением. Пользователь может выбрать Always allow, но OpenAI советует использовать это только для приложений, которым он действительно готов доверить автоматические действия в будущем. Список таких приложений можно убрать в настройках Computer Use.

Есть и жёсткие запреты. Computer Use не может автоматизировать терминальные приложения и сам Codex, потому что это могло бы обходить политики безопасности Codex. Он также не может аутентифицироваться как администратор и подтверждать системные запросы безопасности и приватности на компьютере. Для аккаунтов, платежей, сетевых и приватных настроек, а также действий с учётными данными OpenAI советует оставаться рядом и подтверждать каждый шаг.

Почему это важно для рынка агентов

До сих пор большая часть AI-автоматизации держалась на трёх опорах: текстовом чате, IDE/CLI и API-интеграциях. Это удобно там, где задача хорошо описывается файлами, командами или структурированными вызовами. Но значительная часть реальной работы по-прежнему живёт в интерфейсах: внутренние панели, десктопные приложения, браузеры с активной сессией, настройки, симуляторы, старые системы без API.

Computer Use показывает следующий слой конкуренции: кто сможет безопасно посадить агента за обычный компьютер пользователя. Это особенно важно для разработчиков, тестировщиков и небольших команд. Агент, который может не только предложить правку, но и сам открыть приложение, пройти нужный сценарий и проверить результат, сокращает разрыв между «код написан» и «работа действительно выполнена».

Но вместе с этим растёт цена доверия. Если Codex использует браузер, он может взаимодействовать со страницами, где пользователь уже вошёл в аккаунт. Сайты будут воспринимать клики, формы и действия как действия самого пользователя. Видимые окна, скриншоты, открытые файлы и содержимое приложений становятся контекстом, который агент может обработать во время задачи. Поэтому OpenAI прямо советует держать задачи узкими, закрывать чувствительные приложения, не давать агенту работать с секретами без присутствия человека и останавливать задачу, если он взаимодействует не с тем окном.

Важно отделить факты от демо

Официально подтверждённая часть выглядит так: Computer Use доступен в Codex app на macOS, но на старте не доступен в Европейской экономической зоне, Великобритании и Швейцарии; функция требует плагин Computer Use, разрешения Screen Recording и Accessibility; Codex может работать только с разрешёнными приложениями; отдельные действия с файлами и командами оболочки остаются под песочницей и подтверждениями; терминалы, сам Codex и системные запросы безопасности не автоматизируются.

OpenAI в апрельском анонсе описывала это шире — как переход Codex к работе с большим числом инструментов и приложений на компьютере. MacStories в независимом практическом обзоре отдельно отмечал сильную сторону реализации на Mac: Codex может работать с несколькими приложениями и, по наблюдениям автора, точнее управлять интерфейсами, чем многие решения, которые опираются в основном на скриншоты и координатные клики. Но это уже пользовательский опыт и интерпретация, а не гарантия для всех сценариев.