Leading Lights : Les chercheurs de NVIDIA présentent des avancées révolutionnaires dans le domaine des graphiques en temps réel.

le 15/08/2021 08:31

Leading Lights : Les chercheurs de NVIDIA présentent des avancées révolutionnaires dans le domaine des graphiques en temps réel.

L'infographie et l'IA sont les pierres angulaires de NVIDIA. Ensemble, ils rapprochent les créateurs de l'objectif d'images 3D de qualité cinéma rendues en temps réel.

Lors d'une série de conférences graphiques cet été, NVIDIA Research partage des travaux révolutionnaires en matière de traçage de chemin en temps réel et de création de contenu, en grande partie basés sur des techniques d'IA de pointe. Ces projets s'attaquent aux problèmes graphiques non résolus les plus difficiles avec de nouveaux outils qui font progresser l'état de l'art en matière de rendu en temps réel.

L'un des objectifs est d'améliorer le réalisme de la lumière rendue lorsqu'elle traverse des matériaux complexes comme la fourrure ou le brouillard. Une autre consiste à aider les artistes à transformer plus facilement leurs visions créatives en modèles et scènes réalistes.

Présentés lors du SIGGRAPH 2021 de cette semaine, ainsi que lors de la récente conférence High-Performance Graphics et du Symposium Eurographics sur le rendu, ces avancées de la recherche montrent comment les GPU NVIDIA RTX permettent de repousser les frontières des graphiques photoréalistes en temps réel.

Le rendu d'images photoréalistes en temps réel nécessite une simulation précise de la lumière, modélisant les mêmes lois qui régissent la lumière dans le monde physique. L'approche la plus efficace connue à ce jour, le traçage de chemin, nécessite des ressources de calcul massives mais peut fournir des images spectaculaires.

La plate-forme NVIDIA RTX, avec du matériel de lancer de rayons dédié et des cœurs Tensor hautes performances pour une évaluation efficace des modèles d'IA, est conçue sur mesure pour cette tâche. Pourtant, il existe encore des situations où la création d'images rendues haute fidélité reste un défi.

Considérez, par exemple, un tigre rôdant dans les bois.

Voir la lumière : traçage de chemin en temps réel

Pour rendre une scène complètement réaliste, les créateurs doivent restituer des effets d'éclairage complexes tels que des reflets, des ombres et une brume visible.

Dans une scène de forêt, la lumière du soleil tachetée filtre à travers les feuilles des arbres et devient brumeuse parmi les molécules d'eau en suspension dans l'air brumeux. Le rendu d'images réalistes en temps réel de nuages, de surfaces poussiéreuses ou de brume comme celle-ci était autrefois hors de portée. Mais les chercheurs de NVIDIA ont développé des techniques qui calculent souvent l'effet visuel de ces phénomènes 10 fois plus efficacement.

Le tigre lui-même est à la fois éclairé par la lumière du soleil et ombragé par les arbres. Alors qu'il marche à travers les bois, son reflet est visible dans l'étang en contrebas. L'éclairage de ce type de visuels riches avec des réflexions directes et indirectes peut nécessiter le calcul de milliers de chemins pour chaque pixel de la scène.

C'est une tâche beaucoup trop gourmande en ressources pour être résolue en temps réel. Notre équipe de recherche a donc créé un algorithme d'échantillonnage de chemins qui priorise les chemins lumineux et les réflexions les plus susceptibles de contribuer à l'image finale, en restituant les images plus de 100 fois plus rapidement qu'auparavant.

L'IA du Tigre : la mise en cache de l'éclat neuronal

Un autre groupe de chercheurs de NVIDIA a réalisé une percée dans l'illumination globale avec une nouvelle technique appelée mise en cache de la radiance neuronale. Cette méthode utilise à la fois des cœurs NVIDIA RT pour le lancer de rayons et des cœurs Tensor pour l'accélération de l'IA pour entraîner un petit réseau de neurones en direct tout en restituant une scène dynamique.

Le réseau de neurones apprend comment la lumière est distribuée dans toute la scène. Il évalue plus d'un milliard de requêtes d'éclairage global par seconde lors de l'exécution sur un GPU NVIDIA GeForce RTX 3090, décrivant la fourrure dense du tigre avec des détails d'éclairage riches auparavant inaccessibles à des fréquences d'images interactives.

Création transparente de textures dures

Au fur et à mesure que les algorithmes de rendu ont progressé, il est crucial que le contenu 3D disponible reste à la hauteur de la complexité et de la richesse dont les algorithmes sont capables.

Les chercheurs de NVIDIA plongent dans ce domaine en développant une variété de techniques qui aident les créateurs de contenu dans leurs efforts pour modéliser des environnements 3D riches et réalistes. L'un des domaines d'intérêt est les matériaux avec une complexité géométrique riche, qui peuvent être difficiles à simuler à l'aide de techniques traditionnelles.

Le tissage d'un polo, la texture d'un tapis ou les brins d'herbe ont des caractéristiques souvent beaucoup plus petites que la taille d'un pixel, ce qui rend difficile leur stockage et leur rendu efficace. Les chercheurs de NVIDIA s'attaquent à ce problème avec NeRF-Tex, une approche qui utilise des réseaux de neurones pour représenter ces matériaux difficiles et coder leur réaction à l'éclairage.

Voir la forêt pour les arbres

Les objets géométriques complexes varient également dans leur apparence en fonction de leur proximité avec le spectateur. Un arbre feuillu en est un exemple : de près, il y a d'énormes détails dans ses branches, ses feuilles et son écorce. De loin, cela peut sembler être un peu plus qu'une tache verte.

Ce serait une perte de temps de rendre l'écorce et les feuilles détaillées d'un arbre qui se trouve à l'autre bout de la forêt dans une scène. Mais lors d'un zoom avant pour un gros plan, le modèle doit être aussi réaliste que possible.

C'est un problème classique en infographie connu sous le nom de niveau de détail. Les artistes ont souvent été confrontés à ce défi, modélisant manuellement plusieurs versions de chaque objet 3D pour permettre un rendu efficace.

Les chercheurs de NVIDIA ont développé une nouvelle approche qui génère automatiquement des modèles simplifiés basés sur une méthode de rendu inverse. Avec lui, les créateurs peuvent générer des modèles simplifiés qui sont optimisés pour apparaître indiscernables des originaux, mais avec des réductions drastiques de leur complexité géométrique.

NVIDIA au SIGGRAPH 2021

Plus de 200 scientifiques du monde entier composent l'équipe de recherche de NVIDIA, se concentrant sur l'IA, l'infographie, la vision par ordinateur, les voitures autonomes, la robotique et plus encore. Au SIGGRAPH, qui se déroule du 9 au 13 août, nos chercheurs présentent les articles suivants :

  • Mise en cache de la radiance neuronale en temps réel pour le traçage de chemin
  • Rendu de graphe de scène neuronale
  • Un estimateur de transmittance par Ray-Marching non biaisé
  • StrokeStrip : paramétrisation conjointe et ajustement des clusters d'AVC

Ne manquez pas l'allocution spéciale de NVIDIA au SIGGRAPH le 10 août à 8 h 00 du Pacifique, révélant nos dernières technologies, démos et plus encore. Regardez notre démo en direct en temps réel le 10 août à 16 h 30, Pacifique, pour découvrir comment NVIDIA Research crée des avatars numériques basés sur l'IA.

Nous discutons également d'esports en tant que défi graphique en temps réel lors d'un panel le 11 août. Une démo interactive d'esports est disponible sur demande via le programme SIGGRAPH Emerging Technologies.

Pour en savoir plus, consultez la programmation complète des événements NVIDIA au SIGGRAPH 2021.

High tech