NVIDIA välja antud materjalide kohaselt on Cosmos 3 maailma esimene täielikult avatud omnimodaalne füüsiline AI alussüsteemi mudel. Ehitatud NVIDIA patenteeritud hübriidtransformeerija arhitektuuri baasil, integreerib mudel nii mõtlemise kui ka genereerimise harud, võimaldades visuaalset mõtlemist, maailma genereerimist ja tegevuse ennustamist ühes mudelis. See suudab täpselt taastada reaalmaailma füüsikalisi reegleid, nagu gravitatsioon, kokkupõrge ja hõõrdumine. Erinevalt üldistest multimodaalsetest mudelitest, mis on peamiselt mõeldud meelelahutuse sisu genereerimiseks, toetab Cosmos 3 algselt viit moodalit: tekst, pildid, video, keskkonnaheli ja inim- ning robotiliikumine. Suure mastaabiga füüsiliselt annotatsioonitud andmestike peal eeltreenitud mudel suudab iseseisvalt genereerida realistlikku stseenidata ja liikumistrajektoore, mis järgivad reaalmaailma füüsikaseadusi.
Ametlikud andmed näitavad, et Cosmos 3 on planeeritud mitmeks mudeli kihiks. Super versioon, millel on suuremad parameetrid, on mõeldud automüüjatele ja humanoidrobotikaettevõtetele, et luua suures mahus andmete sünteesi ja arendada edasi algoritme. Baasversioon on suunatud väikestele ja keskmise suurusega teadus- ja arendusmeeskondadele erinevates valdkondades, samas kui Tiny versioon on optimeeritud kohalikuks rakendamiseks ääre- ja sisse ehitatud riistvara peal. NVIDIA on täielikult avanud mudeli kaalu, lähtekoodi ja toetavad hindamisandmestikud, samas kui seotud ressursid on saadaval avatud platvormidel nagu Hugging Face ja GitHub. Ülemaailmsed arendajad saavad neid ressursse tasuta kasutada ja vajadusel kohandada. Rakendamise tõhususe osas ütleb NVIDIA, et mudel suudab tihendada traditsioonilisi simulatsiooni- ja silumisprotsesse robotika, isesõitmise ja tööstuslike digitaalsete kaksikprojektide jaoks mitmest kuust vaid paaripäevaks, aidates vähendada füüsilise AI arendamise jaoks andmete kogumise ja testimise kulusid.
Koos toote teadaandmisega tutvustas NVIDIA ka oma ökosüsteemi strateegiat, moodustades NVIDIA Cosmos Coalition'i, ülemaailmse koostööalliansi. Asutajad sisaldavad juhtivaid AI laboreid ja robotikaettevõtteid nagu Agile Robots, Black Forest Labs, Runway, LTX ja Skild AI. Koalitsiooni koostööraamis saavad liikmesorganisatsioonid jagada kogu Cosmos 3 tehnoloogia vastuvõttu, pääseda vajadusel NVIDIA DGX Cloud'i arvutusressurssidele ning vahetada algoritme, mõõdikuid ja reaalse maailma tööstustestimise andmeid. Alliansi eesmärk on ühiselt arendada avatud maailma mudelite ühiseid standardeid ning kiirendada järgmise põlvkonna füüsilise AI tehnoloogiate iteratsiooni ja kommertsialiseerimist.
Avalikult kättesaadavad andmed viitavad sellele, et mitmed autotootjad ja automatiseerimise seadmete tootjad on juba alustanud projekti siseteste, mis põhinevad Cosmos 3-l. Potentsiaalsed rakendamise stsenaariumid hõlmavad humanoidsete robotite arendamist, isesõitmise simulatsioone, tööstuslikku visuaalset kontrolli ja realistlikku digitaalset sisu loomist.