Google esitles D4RT-d: AI õppis nägema maailma neljas mõõtmes

Google DeepMind esitles D4RT-d: revolutsiooniline läbimurre AI 4D-nägemises

Google DeepMindi teadlased esitlesid D4RT-d (Direct 4D Reconstruction and Tracking) – ühtset tehisintellekti mudelit, mis muudab radikaalselt viisi, kuidas närvivõrgud videot tajuvad. Erinevalt varasematest süsteemidest, mis analüüsivad kaadreid eraldi, taastab D4RT hetkega dünaamilise kolmemõõtmelise stseeni ajas, töötades kuni 300 korda kiiremini kui praegused tippmeetodid.

deepmind.google

Arendajate peamiseks saavutuseks sai arvutuste optimeerimine: testide käigus töötles D4RT minutilist videot vaid viie sekundiga ühel TPU kiibil. Võrdluseks, olemasolevatel analoogidel kulus sama ülesande lahendamiseks kuni kümme minutit. See avab tee sügava ruumilise mõistmise integreerimiseks mobiilsetesse seadmetesse ja autonoomsetesse süsteemidesse reaalajas.

Kuidas töötab „päringupõhine“ arhitektuur

deepmind.google

D4RT-i aluseks on Transformer arhitektuur, mis asendab kohmaka konveieri mitmest närvivõrgust ühe elegantse mehhanismiga. Varem oli video analüüsimiseks vaja eraldi mudeleid sügavuse hindamiseks, objektide jälgimiseks ja kaamera asendi määramiseks. D4RT ühendab kõik selle ühtsesse päringute liidesesse.

Mudel vastab ühele fundamentaalsele küsimusele: “Kus täpselt 3D-ruumis paikneb konkreetne pildi piksel igal ajahetkel ja mis tahes vaatenurgast?”

“Iga kord, kui me maailma vaatame, sooritame me erakordse mälu ja ennustamise vägiteo,” märgivad Google DeepMindi esindajad. “Me mõistame asju sellistena, nagu need on praegusel hetkel, millised need olid sekund tagasi ja milliseks need muutuvad järgmisel hetkel. D4RT annab tehisintellektile sarnase võime.”

Võtmetähtsusega tehnilised võimalused

Mudel demonstreerib paremust mitmes arvutinägemise kriitilises valdkonnas:

Läbiv jälgimine: Süsteem ennustab piksli liikumise trajektoori isegi siis, kui objekt varjub ajutiselt takistuse taha või väljub kaadrist.
Välkkiire 3D-rekonstrueerimine: D4RT genereerib stseeni täieliku struktuuri ilma iteratiivse optimeerimise vajaduseta, mis varem protsessi aeglustas.
Kaamera asendi hindamine: Mudel ehitab automaatselt üles AI „silmade“ liikumise trajektoori, kõrvutades erinevate ajahetkede kolmemõõtmelisi pilte.

huggingface.co

Testides keerulistel sünteetilistel stseenidel kiire liikumise ja deformatsioonidega näitas D4RT poole väiksemat viga punktipilve ehitamisel võrreldes parimate olemasolevate lahendustega.

Robootika ja „maailmamudelite“ tulevik

D4RT-i arendamine on strateegilise tähtsusega selliste süsteemide nagu VEO ja Genie edasiseks arendamiseks. Võime tõhusalt eristada kaamera liikumist, objektide dünaamikat ja staatilist geomeetriat viib tööstust lähemale tehisintellekti loomisele, millel on tõeline füüsilise reaalsuse “maailmamudel”.

Robootika jaoks tähendab see ohutut navigeerimist dünaamilises keskkonnas, kus robot peab hetkega reageerima inimeste liikumisele. Liitreaalsuse (AR) valdkonnas võimaldab tehnoloogia prillidel asetada digitaalseid objekte reaalsesse maailma ilma viivitusteta, tuginedes ideaalsele arusaamale ümbruse geomeetriast.

💬 Neuro.ee toimetuse arvamus

D4RT lahendab tegelikult tehisintellekti „fragmentaarse nägemisega“ seotud probleemid. Kui varem nägid närvivõrgud lamedate piltide komplekti, siis nüüd hakkavad need tajuma reaalsust kui ühtset ruumilis-ajalist kontiinumit. See on kriitiline samm teel AGI poole, mis suudab mõista meie maailma füüsikat.