NeRFs
Neural Radiance Fields
Postet 12. januar 2025
Neural Radiance Field (NeRF), er et nevralt nettverk trent til å modellere en volumetrisk representasjon av en 3D-scene. Visninger av scenen kan gjengis via raytracing, dvs representere naturlig refleksjon av lys. Slik oppnår en høy grad av visuell realisme.
NeRF har vist seg å være et effektivt verktøy for oppgaver som visuell syntese, generative medier, robotikk (NERF-supervision) og databasert fotografering. Teknikken synes å være velegnet for prosjektet Fysiske og virtuelle visningsrom.
Resultatet er en ganske hederlig 3D-modell. Selv om dette neppe er noe som egner seg for å måle opp detaljer, er det supert for dokumentasjon og for å lage modeller der det ikke er kritisk om noe ikke blir helt presist.
En interessant aktør er Lumalabs.ai, som ved bruk av Neural Radiance Field (NeRF) lar oss produsere ganske imponerende resultater med (for brukeren) enkle midler. Denne videoen er laget på grunnlag av en 3D-modell, som igjen er basert på et kort videoopptak fra et forskningsopphold i sommer, gjort med en 6-7 år gammel mobiltelefon.
Fra sfærisk video til NERF, til 3D-modell
Utgangspunktet er den sfæriske videoen nederst i denne posten. Jeg tar turen rundt epletreet to ganger, først med kameraet 2-3 meter over bakken, deretter ca halvannen meter- Dermed blir både toppen og det meste av undersiden av treet dekket.
Den sfæriske videoen er så lastet opp til Lumalabs.ai – her kan du navigere den tredimensjonale modellen som denne tjenesten genererer.
Neste skritt er å sette en bane i modellen og lage en helt ny video med utgangspunkt i modellen: