Fremtidens polaroid: NVIDIAs nye nevrale nettverk gjør 2D-bilder til 3D-modeller

NVIDIA-selskapet introdusert sitt nye nevrale nettverk, kalt Instant NeRF. Hun limer øyeblikkelig en serie 2D-bilder og fullfører bildet til en tredimensjonal scene. Som et resultat blir et objekt fra et flatt bilde tredimensjonalt.

Dette nevrale nettverket har blitt kalt "Fremtidens Polaroid" fordi den ferdige 3D-modellen oppnås i løpet av sekunder. Som en hyllest til Polaroid-merket har NVIDIA Research gjenskapt Andy Warhols ikoniske fotografi i 3D.

Utviklerne merker seg: Instant NeRF bruker invers gjengivelse for å tilnærme oppførselen til lys i den virkelige verden, slik at en 3D-scene kan rekonstrueres fra flere 2D-bilder tatt under forskjellige hjørner.

Det tar bare noen få sekunder for en modell å lære av dusinvis av stillbilder. Også nevrale nettverket bør ta hensyn til dataene om kameravinklene som bildene ble tatt fra.

Teknologien fungerer best med rammer der det er minimum bevegelse og kun ett hovedobjekt. Ellers kan 3D-scenen skapt av kunstig intelligens være uskarp.

Instant NeRF kan brukes til å lage avatarer eller scener for virtuelle verdener, fange videokonferansedeltakere og deres miljø i 3D, og ​​rekonstruere scener for digitale 3D-kart. Selv om det er umulig å teste teknologien, men i fremtiden kan NVIDIA godt åpne tilgang til den.