Adobe a présenté en avant-première des outils expérimentaux d'IA générative pour le montage vidéo et audio lors de sa conférence Adobe Max.
Adobe utilise ses présentations "Sneaks" pour présenter les dernières technologies sur lesquelles ses ingénieurs travaillent et il semble que l'IA générative soit sur le point de changer radicalement le montage vidéo.
Firefly Image 2 et Projet Stardust ont fait la une d'Adobe Max pour l'utilisation de l'IA générative dans l'édition d'images, mais jusqu'à présent il n'y avait pas d'outils similaires pour la vidéo.
Project Fast Fill permet à un monteur d'ajouter ou de supprimer des éléments à des scènes vidéo aussi facilement que s'il s'agissait d'une image fixe. Cette fonctionnalité est optimisée par Adobe Firefly. L'utilisateur peut modifier une seule image à l'aide de simples invites textuelles, puis Project Fast Fill répercute la modification sur les autres images.
L'un des exemples présentés par Adobe montre à quel point il est facile de supprimer des personnes marchant à l'arrière-plan d'une scène.
Et après l'édition, voici le résultat :
Dans le deuxième exemple, une zone de la chemise d'un homme a été sélectionnée et la saisie de l'invite de texte "cravate" a permis de générer 4 images de l'homme portant une cravate. En sélectionnant l'une des options, la vidéo montre maintenant l'homme portant une cravate.
Une fois généré, voici le résultat :
Imaginez le temps et l'argent que cela permettra d'économiser en matière de production et de montage.
Si une scène est gâchée par l'entrée d'une personne dans le plan, il n'est pas nécessaire de refaire une prise. Si le réalisateur décide qu'il n'aime pas les vêtements portés par un acteur dans le plan, il n'est pas nécessaire de changer de garde-robe et de refaire une prise.
Les Présentation en catimini propose également d'autres fonctions d'édition vidéo puissantes.
Le projet Changement de scène permet à un monteur vidéo de prendre deux vidéos filmées sous des angles différents et de créer une scène composite avec des mouvements de caméra synchronisés.
Le projet Dub Dub Dub utilise l'IA pour automatiser le processus de doublage, qui est un processus coûteux et exigeant en main-d'œuvre. La fonction crée automatiquement des fichiers audio traduits dans toutes les langues prises en charge, tout en préservant la voix de l'orateur.
Vous aimeriez pouvoir regarder votre vieux film préféré dans une meilleure résolution ? Le projet Res Up utilise une technologie de suréchantillonnage basée sur la diffusion pour convertir une vidéo basse résolution en une vidéo haute résolution.
Voyez comme cela fonctionne bien.
Si vous avez déjà essayé de monter ne serait-ce qu'une simple vidéo pour YouTube, vous savez à quel point cela peut prendre du temps. Les outils de montage vidéo par IA qui ne nécessitent guère plus que des invites textuelles vont changer la donne.
Si Hollywood finit par trouver un accord avec les acteurs et les scénaristes, espérons que ces outils nous aideront à regarder nos émissions préférées un peu plus tôt.
