Imaginez que vous jouiez au classique jeu de tir à la première personne DOOM, mais avec une particularité : le jeu ne s'exécute pas à partir d'un code écrit par des programmeurs ; il est généré en temps réel par un système d'intelligence artificielle.
C'est ainsi que l'on peut décrire GameNGen, un modèle d'IA révolutionnaire récemment dévoilé par Google et des chercheurs de l'université de Tel Aviv.
GameNGen peut simuler DOOM à plus de 20 images par seconde en utilisant une seule Tensor Processing Unit (TPU).
Au sein de cette unité de traitement, nous assistons à la naissance de jeux capables de penser et de créer eux-mêmes.
Au lieu que des programmeurs humains définissent chaque aspect du comportement d'un jeu, un système d'IA apprend à générer l'ensemble de l'expérience de jeu à la volée.
À la base, GameNGen utilise un type d'IA appelé modèle de diffusion, similaire à ceux utilisés dans les outils de génération d'images tels que DALL-E ou Stable Diffusion. Les chercheurs ont toutefois adapté cette technologie à la simulation de jeux en temps réel.
Le système est formé en deux phases. Tout d'abord, un agent d'apprentissage par renforcement (RL) - un autre type d'IA - apprend à jouer à DOOM. Au fur et à mesure que cet agent IA joue, ses sessions de jeu sont enregistrées, ce qui crée un vaste ensemble de données sur les états, les actions et les résultats du jeu.
Dans la deuxième phase, cet ensemble de données est utilisé pour former GameNGen lui-même. Le modèle apprend à prédire l'image suivante du jeu en fonction des images précédentes et des actions du joueur.
Il s'agit d'apprendre à l'IA à imaginer comment le monde du jeu réagirait aux mouvements de chaque joueur.
L'un des plus grands défis consiste à maintenir la cohérence au fil du temps. L'IA générant image après image, les petites erreurs peuvent s'accumuler et conduire à des états de jeu bizarres ou impossibles.
Pour y remédier, les chercheurs ont mis en œuvre une technique astucieuse d'"augmentation du bruit" au cours de la formation. Ils ont intentionnellement ajouté des niveaux variables de bruit aléatoire aux données d'entraînement, apprenant ainsi au modèle à corriger et à éliminer ce bruit.
Cela permet à GameNGen de maintenir la qualité visuelle et la cohérence logique, même sur de longues sessions de jeu.
Si GameNGen se concentre actuellement sur la simulation d'un jeu existant, son architecture sous-jacente laisse entrevoir des possibilités encore plus intéressantes.
En théorie, des systèmes similaires pourraient générer à la volée des environnements et des mécanismes de jeu entièrement nouveaux, ce qui permettrait de créer des jeux qui s'adaptent et évoluent en fonction des actions du joueur, d'une manière qui va bien au-delà des techniques actuelles de génération procédurale.
La voie vers les moteurs de jeu pilotés par l'IA
GameNGen n'apparaît pas isolément. C'est la dernière d'une série d'avancées qui nous rapprochent d'un monde où l'IA ne se contente pas d'assister le développement des jeux, mais devient le processus de développement lui-même. En voici un exemple :
- Modèles mondiauxprésenté en 2018, a démontré comment une IA pouvait apprendre à jouer à des jeux vidéo en construisant un modèle interne de l'univers du jeu.
- AlphaStarAlphaStar est une IA développée par DeepMind spécifiquement pour jouer au jeu de stratégie en temps réel StarCraft II. AlphaStar utilise l'apprentissage par renforcement et des réseaux neuronaux complexes pour maîtriser le jeu, atteindre une excellente compétence et rivaliser avec les meilleurs joueurs humains.
- GameGANdéveloppé par Nvidia en 2020, a montré comment les réseaux adversaires génératifs pouvaient recréer des jeux simples comme Pac-Man sans avoir accès au moteur sous-jacent.
- DeepMind's Géniedévoilé en début d'année, va encore plus loin en générant des environnements de jeu jouables à partir de clips vidéo.
- DeepMind's LMSISIMA, également présenté cette année, est un agent d'IA avancé conçu pour comprendre et agir sur la base d'instructions humaines dans divers environnements 3D. Grâce à des modèles de vision et de prédiction vidéo pré-entraînés, SIMA peut naviguer, interagir et effectuer des tâches dans divers jeux sans avoir accès à leur code source.
Tout cela laisse présager un avenir alléchant dans lequel les mondes pourront s'étendre et réagir aux actions des joueurs avec réalisme et profondeur.
Imaginez des jeux de rôle où chaque partie est vraiment unique, ou des jeux de stratégie avec des adversaires IA qui s'adaptent d'une manière qu'aucun concepteur humain n'aurait pu prévoir. Des mondes qui se plient et s'adaptent au parcours de votre personnage. Des dialogues et des interactions qui ressemblent à s'y méprendre à la réalité.
Au milieu de l'excitation, nous devons nous pencher sur l'éléphant qui se trouve dans la pièce. Les technologies de l'IA qui sont à l'origine des jeux futuristes menacent également d'évincer les développeurs et les concepteurs.
GameNGen laisse entrevoir un avenir potentiellement autonome pour la conception et le développement des jeux. Et bien avant d'en arriver là, l'IA menace déjà de réduire les équipes de développement dans l'ensemble de l'industrie du logiciel, y compris les jeux.
Les optimistes affirment que cette évolution pourrait libérer les développeurs des tâches manuelles et leur permettre de se concentrer sur la conception et la narration de haut niveau dans ces nouveaux cadres pilotés par l'IA.
Par exemple, Marcus Holmström, PDG du studio de développement de jeux The Gang, expliqué à MITAu lieu de s'asseoir et de faire les choses à la main, on peut maintenant tester différentes approches". en soulignant la capacité de la technologie à permettre un prototypage et une itération rapides.
Holmström poursuit : "Par exemple, si vous allez construire une montagne, vous pouvez créer différents types de montagnes et les modifier à la volée. Nous pourrions ensuite l'ajuster et la corriger manuellement pour qu'elle corresponde à la réalité. Cela va nous faire gagner beaucoup de temps".
Borislav Slavov, compositeur lauréat d'un BAFTA et connu pour son travail sur Baldur's Gate 3, a fait de même. estime que l'IA pourrait poussent les compositeurs à sortir de leur zone de confort et leur permettent de "se concentrer davantage sur l'essentiel - s'inspirer et composer des thèmes forts et profondément émotionnels".
Mais pour chaque voix qui vante les avantages de la conception de jeux pilotée par l'IA, il y en a une autre qui n'est pas aussi enthousiaste que cela.
Jess Hyland, artiste de jeux vétéran et membre de la branche des travailleurs de jeux de l'Independent Workers Union of Great Britain (Union des travailleurs indépendants de Grande-Bretagne), a déclaré à la BBCJe suis tout à fait conscient que je pourrais me réveiller demain et que mon emploi pourrait disparaître.
Pour certains, la crainte d'un déplacement d'emploi est dans le collimateur, tout comme la nature fondamentale de la créativité dans le développement de jeux.
"Ce n'est pas pour cela que je me suis lancé dans la création de jeux", ajoute M. Hyland, qui craint que les artistes ne soient réduits à de simples éditeurs de contenu généré par l'IA. "Les choses que l'IA génère, vous devenez la personne dont le travail consiste à les réparer.
En outre, si les studios AAA considèrent l'IA comme un outil permettant de repousser les limites du possible, la situation pourrait être très différente pour les développeurs indépendants.
Si le développement de jeux par l'IA pourrait abaisser les barrières à l'entrée et permettre à un plus grand nombre de personnes de donner vie à leurs idées, il risque également d'inonder le marché de contenus générés par l'IA, ce qui rendra plus difficile pour les œuvres réellement originales de se détacher du lot.
Chris Knowles, ancien développeur principal de moteurs pour la société de jeux britannique Jagex, prévient que l'IA peut potentiellement exacerber le clonage de jeux, en particulier sur le marché mobile.
"Tout ce qui rend le modèle économique des studios clones encore moins cher et plus rapide rend encore plus difficile la gestion d'un studio indépendant financièrement viable", a-t-il averti.
Une résistance se prépare. Le syndicat américain SAG-AFTRA, qui a lancé la grève historique d'Hollywood contre les l'année dernière, les studios de production a déclenché une nouvelle grève sur les droits des jeux vidéo.
Bien qu'elle n'affecte pas strictement les développeurs, la grève vise à empêcher les studios de jeux d'utiliser l'IA pour déplacer les artistes, comme les acteurs vocaux et les interprètes de mouvements, en utilisant l'IA sans compensation équitable.
La question est de savoir comment équilibrer les risques de l'IA pour l'industrie et les avantages potentiels pour les joueurs et l'ensemble de l'écosystème des jeux vidéo. Peut-on vraiment empêcher l'IA de révolutionner un secteur qui s'enorgueillit de repousser les limites technologiques ?
Après tout, le jeu est un secteur qui s'est véritablement appuyé sur la technologie pour progresser.
Plus tôt dans l'année, nous nous sommes entretenus avec Chris Benjaminsen, cofondateur de la startup de jeux d'IA FRVRqui nous a expliqué:
"Je ne pense pas que le monde ait encore connu des jeux véritablement générés par l'utilisateur. Nous avons eu des plateformes de jeux générés par l'utilisateur où les gens généraient des CGU, mais cela a toujours été limité par certaines des capacités de la plateforme en question, n'est-ce pas ? Si vous avez une plateforme avec un tas de modèles pour les jeux de puzzle, vous obtenez un tas de jeux de puzzle, mais vous ne pouvez pas créer des jeux uniques sur une plateforme qui ne prend en charge que les modèles. Je pense que l'IA peut tout changer.
Benjaminsen affirme que cela permet aux gens de diriger la création de jeux à partir de la base. Il s'agit d'un antidote aux développeurs à grande échelle qui sélectionnent les projets en fonction de leur rentabilité financière.
"Plutôt que de laisser un petit nombre de personnes décider des jeux auxquels les gens devraient être autorisés à jouer, nous voulons permettre à chacun de créer ce qu'il veut et laisser les utilisateurs déterminer ce qui est amusant. Je ne crois pas que la plupart des acteurs de l'industrie du jeu vidéo sachent ce que veulent les gens. Ils s'intéressent seulement à ce qui peut leur rapporter le plus d'argent".
C'est un point pertinent. Au milieu de toutes les perturbations du secteur, nous ne pouvons pas perdre de vue la partie prenante la plus importante : les joueurs.
Les progrès en matière de personnalisation du jeu, combinés à la possibilité pour les joueurs de choisir leurs expériences de jeu, pourraient ouvrir une nouvelle ère d'expériences de jeu axées sur le jeu.
Oui, les emplois de développeurs seront probablement réduits, comme beaucoup d'autres dans les industries créatives. Il n'est jamais idéal que des personnes perdent leur emploi, mais la blessure est encore plus vive lorsque ces changements compromettent également la qualité des produits qu'elles aimaient créer.
On peut toutefois espérer que le rôle de l'IA dans les jeux aura plus de chances d'aboutir à des résultats sains que dans les arts visuels ou le cinéma et la télévision. Les développeurs de jeux pourraient également trouver plus facile de s'adapter aux outils d'IA et de travailler avec eux plutôt que d'être remplacés par eux.
Cela contraste avec des domaines tels que la musique, où l'IA peut générer des produits qui concurrencent directement les artistes humains. La complexité technique du développement des jeux peut également créer une relation plus complémentaire entre l'IA et la créativité humaine qu'une relation purement compétitive.
En fin de compte, l'impact de l'IA sur le développement des jeux sera débattu pendant des années. Comme tout outil puissant, son impact dépendra d'une variété de parties prenantes, des joueurs aux studios.
L'IA va-t-elle continuer à repousser les limites du divertissement interactif ? Or allons-nous lui permettre d'homogénéiser le développement des jeux, en sacrifiant les visions uniques des créateurs humains sur l'autel de l'efficacité ?
La réponse, comme l'avenir du jeu lui-même, et même celui de nombreuses autres industries créatives, reste à écrire. Mais une chose est sûre : la manette est entre nos mains pour l'instant.
La façon dont nous jouerons ce prochain niveau déterminera le cours de l'industrie du jeu pour les générations à venir.
