Die Forscher von Adobe haben VideoGigaGAN vorgestellt, ein generatives KI-Modell, das unscharfe Videos in scharfe, glatte Videos hochskalieren kann, die bis zu 8-mal schärfer aussehen.
Wir haben schon seit einiger Zeit wirklich gute Bild-Upscaler, aber einen guten Video-Upscaler zu entwickeln ist exponentiell schwieriger.
Bei der Video-Super-Resolution (VSR) werden Einzelbilder eines Videos aufgenommen, die Auflösung und die Details hochskaliert und die Bilder zusammengefügt, um das Video wiederherzustellen.
Um dies zu erreichen, müssen zwei gegensätzliche Herausforderungen gelöst werden. Aktuelle VSRs erzeugen entweder glatte und unscharfe oder scharfe und störende Videos.
Adobes VideoGigaGAN führt ein Upsampling von unscharfem Video durch, um ein Video zu erzeugen, das sowohl zeitlich konsistent ist (weiche Bildübergänge) als auch Details in hohen Frequenzen enthält.
Hier ist ein Beispiel dafür, was VideoGigaGAN tun kann.
Adobe Forschung lässt VideoGigaGAN fallen
Sie ermöglicht ein 8-faches Upsampling von Videos mit verbesserten Details.
Papier in Kommentaren 👇 pic.twitter.com/7uEiU7bYqw
- Kris Kashtanova (@icreatelife) 22. April 2024
Wie der Name schon sagt, basiert Adobes Methode auf GigaGAN, einem fortschrittlichen generativen adversarischen Netzwerk (GAN).
GANs sind großartig beim Upsampling von Bildern, und GigaGAN ist einer der besten bei der Superauflösung von Bildern. Warum also nicht einfach GigaGAN für jedes Einzelbild verwenden, um das Bild hochzuskalieren und dann alle Bilder zu einem Video zusammenzufügen?
Als die Forscher von Adobe dies versuchten, erreichten sie zwar eine hohe Videoauflösung, aber das resultierende Video war zeitlich inkonsistent und flimmerte.
Durch Hinzufügen von temporalen Faltungsschichten und Aufmerksamkeitsschichten zum GigaGAN wurde die zeitliche Inkonsistenz behoben, aber das Flackern war immer noch ein Problem.
VideoGigaGAN löst dieses Problem, indem es niederfrequente und hochfrequente Elemente in jedem Bild trennt und diese unterschiedlich verarbeitet.
Die Karte der niederfrequenten Merkmale wird geglättet, um hochfrequente Details zu entfernen, die zu Rauschen und Flimmern führen können.
Durch die Verwendung von Skip-Verbindungen bleiben die feineren Details in den Hochfrequenzkomponenten erhalten, indem die mittleren Schichten des Modells umgangen werden, die sonst bei der Verarbeitung verloren gehen würden.
Mehr über die technischen Details erfahren Sie in Adobes Papier.
Die Demos auf Adobes GitHub sind sehr beeindruckend. Adobe hat noch kein Veröffentlichungsdatum angedeutet, aber hoffen wir, dass sie es uns bald zur Verfügung stellen.
Stellen Sie sich vor, was ein solches Tool für historisches Archivmaterial, klassische Filme oder sogar für die Hochskalierung Ihrer alten Lieblingssendungen in HD leisten könnte.
