Adobes VideoGigaGAN skaliert unscharfe Videos bis zu 8x schärfer

25. April 2024

  • Adobe-Forscher haben einen KI-Video-Upscaler entwickelt, der unscharfe Videos bis zu 8 Mal schärfer macht
  • VideoGigaGAN überwindet den Mangel an Details, Flimmern und Aliasing, die Video-Hochskalierer plagen
  • Es gibt bedeutende Anwendungen für VideoGigaGAN, aber Adobe hat kein Veröffentlichungsdatum genannt

Die Forscher von Adobe haben VideoGigaGAN vorgestellt, ein generatives KI-Modell, das unscharfe Videos in scharfe, glatte Videos hochskalieren kann, die bis zu 8-mal schärfer aussehen.

Wir haben schon seit einiger Zeit wirklich gute Bild-Upscaler, aber einen guten Video-Upscaler zu entwickeln ist exponentiell schwieriger.

Bei der Video-Super-Resolution (VSR) werden Einzelbilder eines Videos aufgenommen, die Auflösung und die Details hochskaliert und die Bilder zusammengefügt, um das Video wiederherzustellen.

Um dies zu erreichen, müssen zwei gegensätzliche Herausforderungen gelöst werden. Aktuelle VSRs erzeugen entweder glatte und unscharfe oder scharfe und störende Videos.

Adobes VideoGigaGAN führt ein Upsampling von unscharfem Video durch, um ein Video zu erzeugen, das sowohl zeitlich konsistent ist (weiche Bildübergänge) als auch Details in hohen Frequenzen enthält.

Hier ist ein Beispiel dafür, was VideoGigaGAN tun kann.

Wie der Name schon sagt, basiert Adobes Methode auf GigaGAN, einem fortschrittlichen generativen adversarischen Netzwerk (GAN).

GANs sind großartig beim Upsampling von Bildern, und GigaGAN ist einer der besten bei der Superauflösung von Bildern. Warum also nicht einfach GigaGAN für jedes Einzelbild verwenden, um das Bild hochzuskalieren und dann alle Bilder zu einem Video zusammenzufügen?

Als die Forscher von Adobe dies versuchten, erreichten sie zwar eine hohe Videoauflösung, aber das resultierende Video war zeitlich inkonsistent und flimmerte.

Durch Hinzufügen von temporalen Faltungsschichten und Aufmerksamkeitsschichten zum GigaGAN wurde die zeitliche Inkonsistenz behoben, aber das Flackern war immer noch ein Problem.

VideoGigaGAN löst dieses Problem, indem es niederfrequente und hochfrequente Elemente in jedem Bild trennt und diese unterschiedlich verarbeitet.

Die Karte der niederfrequenten Merkmale wird geglättet, um hochfrequente Details zu entfernen, die zu Rauschen und Flimmern führen können.

Durch die Verwendung von Skip-Verbindungen bleiben die feineren Details in den Hochfrequenzkomponenten erhalten, indem die mittleren Schichten des Modells umgangen werden, die sonst bei der Verarbeitung verloren gehen würden.

Mehr über die technischen Details erfahren Sie in Adobes Papier.

Die Demos auf Adobes GitHub sind sehr beeindruckend. Adobe hat noch kein Veröffentlichungsdatum angedeutet, aber hoffen wir, dass sie es uns bald zur Verfügung stellen.

Stellen Sie sich vor, was ein solches Tool für historisches Archivmaterial, klassische Filme oder sogar für die Hochskalierung Ihrer alten Lieblingssendungen in HD leisten könnte.

Join The Future


HEUTE ABONNIEREN

Klar, prägnant, umfassend. Behalten Sie den Überblick über KI-Entwicklungen mit DailyAI

Eugene van der Watt

Eugene kommt aus der Elektronikbranche und liebt alles, was mit Technik zu tun hat. Wenn er eine Pause vom Konsum von KI-Nachrichten einlegt, findet man ihn am Snookertisch.

×

KOSTENLOSES PDF EXKLUSIV
Mit DailyAI immer einen Schritt voraus

Melden Sie sich für unseren wöchentlichen Newsletter an und erhalten Sie exklusiven Zugang zum neuesten eBook von DailyAI: 'Mastering AI Tools: Ihr Leitfaden für mehr Produktivität im Jahr 2024".

*Mit der Anmeldung zu unserem Newsletter akzeptieren Sie unsere Datenschutzbestimmungen und unsere Bedingungen und Konditionen