Codex oskab nüüd teie arvutit juhtida

OpenAI viis Codexi välja tavapärasest stsenaariumist, kus agent töötab koodi, failide ja terminaliga. Codexi rakenduse dokumentatsiooni ilmus Computer Use — režiim, mis lubab agendil macOS-is graafilisi liideseid näha ja juhtida: klõpsata, kirjutada, akende ja menüüde vahel liikuda, kasutada brauserit ning töölauarakendusi, kui kasutaja on andnud vastavad õigused.

See pole lihtsalt järjekordne demo „AI liigutab hiirt”. Oluline on, et OpenAI kirjeldab Computer Use’i Codexi rakenduse tavapärase osana, millel on oma õiguste mudel, kasutusjuhud ja turvapiirid. Just need piirid teevad funktsiooni turu jaoks huvitavaks: töölauaagendid liiguvad videodest töötootesse, kuid peavad sobituma operatsioonisüsteemi ja ettevõtte turvareeglitega.

Mida Computer Use päriselt teeb

OpenAI dokumentatsiooni järgi on Computer Use mõeldud olukordadesse, kus käsurida, failianalüüs või struktureeritud integratsioon ei ole piisav. Näited: macOS-i rakenduse või iOS Simulatori kontroll, brauseristsenaariumi läbimine, seadete muutmine liidese kaudu, ainult GUI-s tekkiva vea kordamine, andmete vaatamine rakenduses ilma eraldi pluginata või tegevuste ahel mitme programmi vahel.

Käivitamine käib Codexi rakenduses: kasutaja paigaldab Computer Use’i plugina ning macOS küsib kahte süsteemiõigust. Screen Recording lubab Codexil sihtrakendust näha; Accessibility lubab klõpsata, kirjutada ja liideses liikuda. Seejärel antakse ülesanne selgelt: avada konkreetne rakendus, läbida kindel stsenaarium, taastoota viga ja pärast parandust sama tee uuesti kontrollida.

OpenAI rõhutab ka, et kui rakendusel on spetsiaalne plugin või MCP-server, tuleks korduvate ja andmepõhiste toimingute jaoks eelistada seda. Computer Use on visuaalse kontrolli ja liidesega töötamise kiht, mitte universaalne API asendus.

Õigused ja stop-jooned

Dokumentatsiooni kõige olulisem osa pole võimete loetelu, vaid piirangud. macOS-i süsteemiõigused on eraldi Codexi sisemistest kinnitustest. Esimesed lubavad ekraani näha ja liidest juhtida; teised määravad, milliseid rakendusi kasutaja lubab Codexil kasutada. Failide lugemine, projekti muutmine ja shell-käsud alluvad endiselt sandbox’ile ja konkreetse lõime kinnitustele.

Ülesande ajal peab Codex küsima luba rakendusega töötamiseks. Kasutaja võib valida Always allow, kuid OpenAI soovitab seda ainult rakendustele, millele ollakse valmis ka tulevikus automaatseid tegevusi usaldama. Lubatud rakenduste nimekirja saab seadetes eemaldada.

On ka ranged keelud. Computer Use ei automatiseeri terminalirakendusi ega Codexit ennast, sest see võiks turvapoliitikatest mööda minna. Samuti ei saa see administraatorina autentida ega kinnitada arvuti süsteemseid turva- ja privaatsuspäringuid. Kontode, maksete, võrgu- ja privaatsusseadete ning volitustega seotud tegevuste puhul soovitab OpenAI jääda kõrvale ja kinnitada iga samm ise.

Miks see agentide turul loeb

Seni toetus suur osa AI-automatiseerimisest kolmele kihile: tekstivestlus, IDE/CLI ja API-integratsioonid. Need sobivad hästi, kui ülesanne on kirjeldatav failide, käskude või struktureeritud kutsetena. Aga suur osa päristööst elab endiselt liidestes: sisepaneelides, töölauarakendustes, aktiivse sessiooniga brauserites, seadetes ja vanades süsteemides ilma API-ta.

Computer Use näitab järgmist konkurentsikihti: kes suudab agendi turvaliselt kasutaja tavalise arvuti taha istutada. Arendajatele, testijatele ja väikestele tiimidele on see eriti tähtis. Agent, kes ei paku ainult parandust, vaid avab rakenduse, läbib stsenaariumi ja kontrollib tulemuse, vähendab vahet „kood on kirjutatud” ja „töö on päriselt tehtud” vahel.

Samas tõuseb usalduse hind. Kui Codex kasutab brauserit, võib ta tegutseda lehtedel, kus kasutaja on juba sisse logitud. Veebisaidid näevad klikke, vorme ja toiminguid kasutaja enda tegevusena. Nähtavad aknad, ekraanipildid, avatud failid ja rakenduste sisu muutuvad kontekstiks, mida agent ülesande ajal töötleb. Seetõttu soovitab OpenAI hoida ülesanded kitsad, sulgeda tundlikud rakendused, mitte anda agendile saladustega töötamist ilma inimese kohalolekuta ja peatada töö, kui ta suhtleb vale aknaga.

Faktid ja demo tuleb lahus hoida

Ametlikult kinnitatud osa on selge: Computer Use on Codexi macOS-i rakenduses, kuid alguses mitte Euroopa Majanduspiirkonnas, Ühendkuningriigis ega Šveitsis; see nõuab pluginit, Screen Recording’u ja Accessibility õigusi; Codex töötab ainult lubatud rakendustega; failid ja shell-käsud jäävad sandbox’i alla; terminale, Codexit ennast ja süsteemseid turvapäringuid ei automatiseerita.

Aprillikuises aнонsis kirjeldas OpenAI seda laiemalt kui Codexi liikumist paljude tööriistade ja arvutirakenduste juurde. MacStories märkis praktilises ülevaates, et Maci teostus võib mitme rakenduse vahel hästi liikuda ja juhtida liideseid täpsemalt kui lahendused, mis tuginevad peamiselt ekraanipiltidele ja koordinaatidele. See on siiski kasutajakogemus, mitte garantii kõigile olukordadele.