Onderzoekers van Adobe hebben VideoGigaGAN onthuld, een generatief AI-model dat wazige video's kan opwaarderen tot heldere, vloeiende video's die er tot 8x scherper uitzien.
We hebben nu al een tijdje echt goede beeldupscalers, maar een goede video-upscaler maken is exponentieel moeilijker.
Video Super Resolution (VSR) is het proces waarbij afzonderlijke frames van een video worden genomen, de resolutie en details worden opgeschaald en de frames worden samengevoegd om de video weer te geven.
Om dit goed te doen moeten twee tegenstrijdige uitdagingen worden opgelost. De huidige VSR's genereren ofwel video die vloeiend en wazig is, of video die scherp en haperig is.
Adobe's VideoGigaGAN upsamples wazige video om een video te produceren die zowel tijdsconsistent is (vloeiende frame-overgangen) als hoogfrequente details heeft.
Hier is een voorbeeld van wat VideoGigaGAN kan doen.
Adobe onderzoek laat VideoGigaGAN vallen
Hiermee kun je video 8x upsamplen met verbeterde details.
Papier in opmerkingen 👇 pic.twitter.com/7uEiU7bYqw
- Kris Kasjtanova (@icreatelife) 22 april 2024
Zoals de naam al doet vermoeden, maakt Adobe's methode gebruik van GigaGAN, een geavanceerd generative adversarial network (GAN).
GAN's zijn geweldig in het upsamplen van afbeeldingen en GigaGAN is een van de beste in het superresolueren van afbeeldingen. Dus waarom niet gewoon GigaGAN gebruiken op elk frame om de afbeelding op te schalen en ze dan allemaal samenvoegen om de video te maken?
Toen de onderzoekers van Adobe dat probeerden, bereikten ze een geweldige videoresolutie, maar de resulterende video was tijdelijk inconsistent en flikkerde.
Door temporele convolutie- en aandachtslagen toe te voegen aan het GigaGAN werd de temporele inconsistentie verholpen, maar het flikkeren bleef een probleem.
VideoGigaGAN pakt dit aan door laagfrequente en hoogfrequente elementen in elk frame te scheiden en deze verschillend te verwerken.
De laagfrequente kenmerkenkaart wordt afgevlakt om hoogfrequente details, die bronnen van ruis en flikkering kunnen zijn, te verwijderen.
Door Skip-verbindingen te gebruiken, worden de fijnere details in hoogfrequente componenten behouden door de middelste lagen in het model te omzeilen die anders verloren zouden gaan bij de verwerking.
Je kunt meer lezen over de technische details in Adobe-papier.
De demo's op Adobe's GitHub zijn erg indrukwekkend. Adobe heeft nog geen releasedatum genoemd, maar laten we hopen dat ze ons er snel gebruik van laten maken.
Stel je voor wat een tool als deze zou kunnen doen voor historisch archiefmateriaal, klassieke films of zelfs het upscalen van je favoriete oude tv-programma's naar HD.
