Runway a dévoilé son dernier générateur de texte-vidéo (T2V), appelé Gen 3 Alpha, et les démonstrations laissent penser qu'il pourrait s'agir du meilleur générateur de vidéo AI à ce jour.
L'équipe d'OpenAI Sora nous a séduits il y a quelques mois, mais nous ne savons toujours pas quand (ou si) il sortira. Runway permet déjà un accès gratuit et payant à son outil T2V Gen 2 de la génération précédente.
Gen 2 produit quelques vidéos décentes, mais il est un peu aléatoire et génère souvent des anatomies bizarres ou des mouvements maladroits lorsqu'il génère des personnes.
Gen 3 Alpha fournit des vidéos hyperréalistes avec des mouvements fluides et des modèles humains cohérents.
Selon Runway, "Gen-3 Alpha excelle à générer des personnages humains expressifs avec une large gamme d'actions, de gestes et d'émotions, ce qui ouvre de nouvelles perspectives en matière de narration".
Présentation de Gen-3 Alpha : Le nouveau modèle de base de Runway pour la génération de vidéos.
Gen-3 Alpha peut créer des vidéos très détaillées avec des changements de scène complexes, un large éventail de choix cinématographiques et des directions artistiques détaillées.https://t.co/YQNE3eqoWf
(1/10) pic.twitter.com/VjEG2ocLZ8
- Runway (@runwayml) 17 juin 2024
L'amélioration de la fidélité s'accompagne également d'une amélioration de la vitesse, les clips d'une longueur maximale de 10 secondes étant générés en seulement 90 secondes. La limite de 10 secondes est identique à celle de Sora, deux fois supérieure à celle de Luma et trois fois supérieure à celle de Runway Gen 2.
Outre l'amélioration des représentations humaines, la précision physique des vidéos est vraiment impressionnante.
Et quand on pense que cette vidéo est 100% générée par l'IA, c'est complètement fou les nouvelles que nous avons sur les vidéos d'IA ces jours-ci. #Runway Gen-3 🔥🔥🔥🔥 pic.twitter.com/FLC5TGfYzr
- Pierrick Chevallier | IA (@CharaspowerAI) 17 juin 2024
Selon Runway, la Gen 3 Alpha offrira des modes de contrôle améliorés qui permettront à l'utilisateur de sélectionner des éléments spécifiques pour qu'ils soient animés, ainsi que des contrôles détaillés des mouvements de caméra, avec "des outils à venir pour un contrôle plus fin de la structure, du style et du mouvement".
Le degré de contrôle de la caméra vous donne une idée du degré de proximité avec l'image. fin de la production cinématographique traditionnelle.
Prompt : Caméra portable se déplaçant rapidement, lumière de la lampe de poche, sur un vieux mur blanc dans une vieille ruelle, la nuit, un graffiti noir qui écrit 'Runway'.
(10/10) pic.twitter.com/xRreX33g0r
- Runway (@runwayml) 17 juin 2024
OpenAI a déjà laissé entendre que les problèmes d'alignement étaient l'une des raisons pour lesquelles Sora n'était pas encore disponible. Runway affirme que Gen 3 Alpha est accompagné d'un nouvel ensemble de garanties et de C2PA, qui permet de suivre la provenance des vidéos générées.
Modèles mondiaux généraux
L'idée de transformer du texte en vidéos séduira la plupart des utilisateurs, mais Runway affirme que Gen 3 Alpha représente une étape vers un objectif différent.
Runway déclare : "Nous pensons que la prochaine avancée majeure dans le domaine de l'IA viendra des systèmes qui comprennent le monde visuel et sa dynamique, c'est pourquoi nous entamons un nouvel effort de recherche à long terme autour de ce que nous appelons les modèles du monde général".
La formation d'une intelligence artificielle incarnée à la navigation et à l'interaction avec un environnement est beaucoup plus rapide et moins coûteuse lorsqu'elle est simulée. Pour que la simulation soit utile, elle doit représenter avec précision la physique et les mouvements des environnements réels.
Runway explique que ces modèles de monde général "doivent capturer non seulement la dynamique du monde, mais aussi celle de ses habitants, ce qui implique également de construire des modèles réalistes de comportement humain".
La cohérence des mouvements, de la physique, des caractéristiques humaines et des émotions dans les vidéos de démonstration de la génération 3 témoigne d'un grand pas en avant vers la réalisation de cet objectif.
OpenAI a certainement travaillé sur une version améliorée de Sora, mais avec l'Alpha Gen 3 de Runway, la course au meilleur générateur vidéo d'IA vient de devenir beaucoup plus compétitive.
Nous ne savons pas encore quand la Gen 3 Alpha sera disponible, mais vous pouvez déjà l'utiliser. Voir d'autres démonstrations ici ou expérimenter la génération 2 ici pour l'instant.
