NVIDIA Instant NeRF transforme des photos 2D en scènes 3D en ‘quelques secondes’

NVIDIA Research rend hommage aux premiers jours de polaroïds à sa manière en mettant en avant sa technologie Instant NeRF. La première photo instantanée prise avec un appareil Polaroid date d’il y a 75 ans ; elle “a permis de capturer le monde en 3D dans une image 2D réaliste”. NVIDIA explique qu’aujourd’hui, ses “chercheurs en IA travaillent sur l’inverse : transformer une collection d’images fixes en une scène numérique 3D en quelques secondes”.

NVIDIA Research a recréé une photo emblématique d’Andy Warhol prenant une photo instantanée, la transformant en une scène 3D. L’entreprise rapporte que la technologie à l’origine de cette démonstration (Instant NeRF) “est un modèle de champs de radiance neuronaux le plus rapide à ce jour” ; qu’il “peut atteindre une accélération de plus de X1000”.

NVIDIA lance l’Omniverse pour les développeurs de jeux

Diverses applications

David Luebke, vice président de la recherche graphique chez NVIDIA, explique : “Si les représentations 3D traditionnelles, comme les maillages polygonaux, s’apparentent à des images vectorielles, les NeRF sont comme des images bitmap : ils capturent de façon dense la façon dont la lumière rayonne d’un objet ou dans une scène. En ce sens, Instant NeRF pourrait être aussi important pour la 3D que les appareils photo numériques et la compression JPEG l’ont été pour la photographie 2D, en augmentant considérablement la vitesse, la facilité et la portée de la capture et du partage 3D”.

NVIDIA souligne que cette technologie peut être utilisée pour entraîner les robots et les voitures autonomes à comprendre la taille et la forme des objets du monde réel en capturant des images 2D ou des séquences vidéo de ces objets. Elle peut aussi servir dans les domaines de l’architecture et du divertissement pour générer rapidement des représentations numériques d’environnements réels que les créateurs pourraient modifier et développer.

N’hésitez pas à consulter le blog NVIDIA consacré à Instant NeRF pour en apprendre davantage.