NVIDIA sihib AI-agentide kitsaskohta: uus Nemotron ühendab nägemise, heli ja teksti
NVIDIA sihib AI-agentide kitsaskohta: uus Nemotron ühendab nägemise, heli ja teksti
NVIDIA avaldas Nemotron 3 Nano Omni — avatud multimodaalse mudeli AI-agentidele. Mudel ühendab video, heli, piltide ja teksti mõistmise ühte kihti. Mõte on praktiline: paljud tänased agendid oskavad juba üsna hästi planeerida ja vastata, kuid neil on kallis ja habras tajuda keskkonda, kus töö päriselt toimub — ekraane, kõnesid, PDF-e, tabeleid, videoid ja rakendusliideseid.
Miks agent vajab ühtset tajukihti
Ettevõttes ei saa agent enamasti puhast tekstipäringut. Ta peab lugema dokumenti, kuulama kliendikõnet, vaatama ekraanisalvestust ja siduma selle logide või tabelitega. Praegu ehitatakse sellised süsteemid sageli mitme mudeli ahelana: üks tunneb kõnet, teine pilti, kolmas dokumente, neljas teeb järelduse.
See on kallis ja konteksti kaotav arhitektuur. Iga üleminek lisab latentsust, inferentsikulu ja vea riski. Nemotron 3 Nano Omni lubab olla suurema agentse süsteemi sees „perception and context sub-agent” — moodul, mis hoiab nähtut, kuuldut ja loetut samas kontekstis.
Tehniline panus
Mudel on hübriidne Mixture-of-Experts arhitektuur umbes 31 miljardi parameetriga, millest aktiivne on ainult osa eksperte. Sisemuses on Nemotron 3 Nano LLM, visuaalne enkooder C-RADIOv4-H ja kõneenkooder Parakeet. Sisendiks sobivad video, heli, pildid ja tekst; väljund on tekst.
NVIDIA lubab kuni 9,2 korda suuremat efektiivset süsteemiläbilaset video reasoning’u jaoks ning kuni 7,4 korda multi-document reasoning’u jaoks võrreldes alternatiivsete avatud omni-mudelitega. Ettevõtte keeles tähendab see rohkem samaaegseid agente sama raha eest ja väiksemat viivitust seal, kus kasutaja ootab vastust kohe.
Piirangud jäävad siiski alles: Hugging Face’i kaardi järgi on põhitugi inglise keelele, video kuni 2 minutit, heli kuni 1 tund ja kontekst kuni 256k tokenit. See on arendajatele mõeldud tootekiht, mitte maagiline universaalmudel kõigile keeltele ja igale olukorrale.
NVIDIA äriloogika
Avatud kaalud ei tähenda äriloogika puudumist. Mudel on saadaval Hugging Face’is, OpenRouteris ja build.nvidia.com-is NIM microservice’ina ning töötab läbi vLLM-i, TensorRT-LLM-i, SGLang’i, llama.cpp, Ollama ja teiste runtime’ide. Tugi ulatub Jetsonist ja DGX Sparkist andmekeskuste ning NVIDIA GPU-pilvedeni.
Neuro.ee toimetuse arvamus: Nemotron 3 Nano Omni on huvitav mitte sellepärast, et multimodaalsus oleks taas trendikas sõna. Sügavam trend on see, et töötavad AI-agendid takerduvad lisaks mõtlemisele ka reaalse digimaailma tajumise hinda. Kui NVIDIA muudab selle kihi odavaks, avatuks ja juurutatavaks, muutuvad agentrakendused vähem kalliks demoks ja rohkem tavaliseks ettevõttetaristuks.
