Adobe's VideoGigaGAN verbetert wazige video's zodat ze er 8x scherper uitzien

25 april 2024

  • Adobe-onderzoekers ontwikkelden een AI-video-upscaler die wazige video's tot 8x scherper maakt
  • VideoGigaGAN overwint het gebrek aan detail, flikkering en aliasing waar video-upscalers last van hebben
  • Er zijn belangrijke toepassingen voor VideoGigaGAN, maar Adobe heeft geen releasedatum genoemd

Onderzoekers van Adobe hebben VideoGigaGAN onthuld, een generatief AI-model dat wazige video's kan opwaarderen tot heldere, vloeiende video's die er tot 8x scherper uitzien.

We hebben nu al een tijdje echt goede beeldupscalers, maar een goede video-upscaler maken is exponentieel moeilijker.

Video Super Resolution (VSR) is het proces waarbij afzonderlijke frames van een video worden genomen, de resolutie en details worden opgeschaald en de frames worden samengevoegd om de video weer te geven.

Om dit goed te doen moeten twee tegenstrijdige uitdagingen worden opgelost. De huidige VSR's genereren ofwel video die vloeiend en wazig is, of video die scherp en haperig is.

Adobe's VideoGigaGAN upsamples wazige video om een video te produceren die zowel tijdsconsistent is (vloeiende frame-overgangen) als hoogfrequente details heeft.

Hier is een voorbeeld van wat VideoGigaGAN kan doen.

Zoals de naam al doet vermoeden, maakt Adobe's methode gebruik van GigaGAN, een geavanceerd generative adversarial network (GAN).

GAN's zijn geweldig in het upsamplen van afbeeldingen en GigaGAN is een van de beste in het superresolueren van afbeeldingen. Dus waarom niet gewoon GigaGAN gebruiken op elk frame om de afbeelding op te schalen en ze dan allemaal samenvoegen om de video te maken?

Toen de onderzoekers van Adobe dat probeerden, bereikten ze een geweldige videoresolutie, maar de resulterende video was tijdelijk inconsistent en flikkerde.

Door temporele convolutie- en aandachtslagen toe te voegen aan het GigaGAN werd de temporele inconsistentie verholpen, maar het flikkeren bleef een probleem.

VideoGigaGAN pakt dit aan door laagfrequente en hoogfrequente elementen in elk frame te scheiden en deze verschillend te verwerken.

De laagfrequente kenmerkenkaart wordt afgevlakt om hoogfrequente details, die bronnen van ruis en flikkering kunnen zijn, te verwijderen.

Door Skip-verbindingen te gebruiken, worden de fijnere details in hoogfrequente componenten behouden door de middelste lagen in het model te omzeilen die anders verloren zouden gaan bij de verwerking.

Je kunt meer lezen over de technische details in Adobe-papier.

De demo's op Adobe's GitHub zijn erg indrukwekkend. Adobe heeft nog geen releasedatum genoemd, maar laten we hopen dat ze ons er snel gebruik van laten maken.

Stel je voor wat een tool als deze zou kunnen doen voor historisch archiefmateriaal, klassieke films of zelfs het upscalen van je favoriete oude tv-programma's naar HD.

Doe mee met de toekomst


SCHRIJF JE VANDAAG NOG IN

Duidelijk, beknopt, uitgebreid. Krijg grip op AI-ontwikkelingen met DailyAI

Eugene van der Watt

Eugene heeft een achtergrond in elektrotechniek en houdt van alles wat met techniek te maken heeft. Als hij even pauzeert van het consumeren van AI-nieuws, kun je hem aan de snookertafel vinden.

×

GRATIS PDF EXCLUSIEF
Blijf voorop met DailyAI

Meld je aan voor onze wekelijkse nieuwsbrief en ontvang exclusieve toegang tot DailyAI's nieuwste eBook: 'Mastering AI Tools: Your 2024 Guide to Enhanced Productivity'.

* Door u aan te melden voor onze nieuwsbrief accepteert u onze Privacybeleid en onze Algemene voorwaarden