NVIDIA NeMo SteerLM est une technique qui permet de personnaliser la personnalité des PNJ grâce à l’IA. Découvrez comment NVIDIA NeMo SteerLM s’intègre à la technologie NVIDIA ACE pour créer des PNJ plus humains dans les jeux vidéo.
Les jeux vidéo sont de plus en plus réalistes, mais les PNJ, ou personnages non jouables, sont souvent mis de côté. Ils sont limités par des scripts pré-écrits, qui les rendent peu crédibles, monotones ou inadaptés au contexte du jeu, mais pour créer des PNJ plus intelligents et plus émotifs, NVIDIA a développé une technologie basée sur l’intelligence artificielle (IA) : NVIDIA ACE.
NVIDIA ACE, pour Avatar Cloud Engine, est un service de création de modèles d’IA personnalisés qui permet aux développeurs de jeux de créer des personnages virtuels capables de converser avec le joueur sans avoir besoin d’un script pré-écrit. Le joueur peut utiliser sa voix pour interagir avec les PNJ, qui lui répondent de manière réaliste et adaptée au contexte du jeu.
NVIDIA ACE utilise plusieurs technologies d’IA développées par NVIDIA :
- NVIDIA NeMo, qui fournit des modèles de langage pré-entraînés et des outils de personnalisation des modèles pour que les développeurs puissent adapter les modèles aux personnages du jeu. Ce modèle de langage génératif (LLM) permet de créer des histoires et des personnalités spécifiques pour les PNJ qui correspondent à l’univers du jeu.
- NVIDIA Riva, qui fournit des capacités de reconnaissance automatique de la parole (ASR) et de synthèse vocale (TTS) pour permettre une conversation en direct avec NVIDIA NeMo. L’ASR transcrit la voix du joueur en texte avec une grande précision dans 14 langues, dont le français et l’anglais. Le TTS synthétise une voix naturelle à partir du texte brut sans aucune information supplémentaire.
- NVIDIA Omniverse Audio2Face, qui crée instantanément une animation faciale expressive pour les personnages du jeu à partir d’une source audio. Audio2Face dispose de connecteurs Omniverse pour Unreal Engine 5, ce qui permet aux développeurs d’ajouter une animation faciale directement aux personnages MetaHuman.
Ajout de NVIDIA NeMo SteerLM, qui rend la personnalité des PNJ plus réaliste
Mais ce n’est pas tout : NVIDIA a annoncé une nouvelle avancée pour sa technologie NVIDIA ACE lors du salon Gamescom 2023 : l’ajout de NVIDIA NeMo SteerLM, une nouvelle technique qui permet aux développeurs de personnaliser la personnalité des PNJ pour des interactions plus émotionnelles, réalistes et mémorables. En plus de ça, la compagnie a également présenté le DLSS 3.5 qui introduit une nouvelle technologie de Ray Tracing, le projet RTX Remix du jeu Half-Life 2, mais également l’arrivée jeudi de plusieurs titres Xbox Game Pass dans GeForce Now.
La plupart des LLM (Large Language Models) sont conçus pour fournir des réponses idéales, sans personnalité ni émotion, comme on peut le constater en interagissant avec des chatbots. Avec la technique SteerLM, en revanche, les LLM sont entraînés à fournir des réponses alignées sur des attributs particuliers, allant de l’humour à la créativité, en passant par la toxicité. Ces attributs peuvent être configurés rapidement grâce à des curseurs simples.
NVIDIA a montré un exemple de cette technique dans sa dernière démonstration NVIDIA Kairos : en modifiant les attributs d’humour et de toxicité de Jin, le propriétaire d’un restaurant de ramen rendu dans Unreal Engine 5 avec RTX ON, on peut obtenir des réponses très différentes, allant du sarcasme à l’insulte. Avec NVIDIA NeMo SteerLM, les développeurs peuvent modifier davantage ces attributs, et ajouter, supprimer ou entraîner de nouveaux modèles, personnalités et attributs, ce qui leur permet de créer le PNJ interactif parfait pour une scène ou un lieu spécifique.
Le PNJ pourra être influencé dynamiquement par un monde ouvert en évolution
La technique SteerLM ne sert pas seulement à donner une réponse émotionnelle aux PNJ. Elle permet également aux développeurs d’utiliser un seul LLM pour créer plusieurs personnages en infusant des attributs de personnalité dans le modèle SteerLM. De plus, les développeurs peuvent créer des attributs de faction pour aligner les réponses sur l’histoire du jeu, permettant ainsi au personnage d’être influencé dynamiquement par un monde ouvert en évolution.
La technique SteerLM permet donc de transformer des chatbots polis en personnages émotifs qui vont permettre aux développeurs de créer des jeux plus immersifs et réalistes. NVIDIA NeMo SteerLM est très certainement une innovation majeure pour la technologie NVIDIA ACE, qui devrait révolutionner les personnages non jouables dans les jeux vidéo.
Source : NVIDIA
