VideoGigaGAN d'Adobe améliore les vidéos floues pour les rendre 8 fois plus nettes

25 avril 2024

  • Des chercheurs d'Adobe ont mis au point un convertisseur vidéo IA qui rend les vidéos floues jusqu'à 8 fois plus nettes.
  • VideoGigaGAN surmonte le manque de détails, le scintillement et l'aliasing qui affectent les upscalers vidéo.
  • Il existe des applications significatives pour VideoGigaGAN mais Adobe n'a pas mentionné de date de sortie.

Les chercheurs d'Adobe ont dévoilé VideoGigaGAN, un modèle d'IA générative capable de convertir des vidéos floues en vidéos nettes et fluides d'une netteté jusqu'à 8 fois supérieure.

Nous disposons depuis un certain temps de très bons upscalers d'image, mais il est exponentiellement plus difficile de fabriquer un bon upscaler vidéo.

La super résolution vidéo (VSR) est le processus qui consiste à prendre des images individuelles d'une vidéo, à augmenter la résolution et les détails, et à ajuster les images ensemble pour recréer la vidéo.

Pour y parvenir, il faut résoudre deux problèmes contradictoires. Les VSR actuels génèrent des vidéos soit fluides et floues, soit nettes et irrégulières.

VideoGigaGAN d'Adobe suréchantillonne les vidéos floues pour produire une vidéo qui est à la fois cohérente dans le temps (transitions d'images fluides) et qui présente des détails à haute fréquence.

Voici un exemple de ce que VideoGigaGAN peut faire.

Comme son nom l'indique, la méthode d'Adobe s'appuie sur GigaGAN, un réseau accusatoire génératif (GAN) avancé.

Les GANs sont excellents pour suréchantillonner les images, et GigaGAN est l'un des meilleurs pour la super-résolution d'images. Alors pourquoi ne pas simplement utiliser GigaGAN sur chaque image pour augmenter l'échelle de l'image et ensuite les assembler pour faire la vidéo ?

Lorsque les chercheurs d'Adobe ont essayé cette méthode, ils ont obtenu une excellente résolution vidéo, mais la vidéo résultante était incohérente dans le temps et scintillait.

En ajoutant des couches convolutives temporelles et des couches d'attention au GigaGAN, l'incohérence temporelle a été corrigée, mais le scintillement restait un problème.

VideoGigaGAN résout ce problème en séparant les éléments à basse et à haute fréquence dans chaque image et en les traitant différemment.

La carte des caractéristiques à basse fréquence est lissée pour supprimer les détails à haute fréquence, qui peuvent être des sources de bruit et de scintillement.

En utilisant les connexions "Skip", les détails les plus fins des composantes à haute fréquence sont conservés en contournant les couches intermédiaires du modèle qui seraient autrement perdues lors du traitement.

Pour en savoir plus sur les détails techniques, consultez le site Document d'Adobe.

Les démos sur le GitHub d'Adobe sont très impressionnants. Adobe n'a pas indiqué de date de sortie, mais espérons qu'il nous permettra de l'utiliser bientôt.

Imaginez ce qu'un tel outil pourrait faire pour les images d'archives historiques, les films classiques, ou même pour convertir en HD vos anciennes émissions de télévision préférées.

Rejoindre l'avenir


SOUSCRIRE AUJOURD'HUI

Clair, concis, complet. Maîtrisez les développements de l'IA avec DailyAI

Eugène van der Watt

Eugene a une formation d'ingénieur en électronique et adore tout ce qui touche à la technologie. Lorsqu'il fait une pause dans sa consommation d'informations sur l'IA, vous le trouverez à la table de snooker.

×

PDF GRATUIT EXCLUSIF
Gardez une longueur d'avance avec DailyAI

Inscrivez-vous à notre newsletter hebdomadaire et recevez un accès exclusif au dernier eBook de DailyAI : 'Mastering AI Tools : Your 2024 Guide to Enhanced Productivity" (Maîtriser les outils de l'IA : votre guide 2024 pour une meilleure productivité).

*En vous abonnant à notre lettre d'information, vous acceptez nos conditions d'utilisation. Politique de confidentialité et notre Conditions générales d'utilisation