Adobes forskere afslørede VideoGigaGAN, en generativ AI-model, der kan opskalere slørede videoer til skarp, jævn video, der ser op til 8 gange skarpere ud.
Vi har haft rigtig gode billedopskalerere i et stykke tid nu, men det er eksponentielt sværere at lave en god videoopskalerer.
Video Super Resolution (VSR) er en proces, hvor man tager individuelle billeder af en video, opskalerer opløsningen og detaljerne og sætter billederne sammen for at genskabe videoen.
For at gøre det godt skal man løse to modstridende udfordringer. Nuværende VSR'er genererer enten video, der er glat og sløret, eller skarp og fejlbehæftet.
Adobes VideoGigaGAN opsamler sløret video for at producere en video, der både er tidsmæssigt konsistent (jævne billedovergange) og har højfrekvente detaljer.
Her er et eksempel på, hvad VideoGigaGAN kan gøre.
Adobe-forskning dropper VideoGigaGAN
Det giver dig mulighed for at upsample video med 8x med forbedrede detaljer.
Papir i kommentarer 👇 pic.twitter.com/7uEiU7bYqw
- Kris Kashtanova (@icreatelife) 22. april 2024
Som navnet antyder, bygger Adobes metode på GigaGAN, et avanceret generativt kontradiktorisk netværk (GAN).
GAN'er er gode til at opskalere billeder, og GigaGAN er en af de bedste til superopløsning af billeder. Så hvorfor ikke bare bruge GigaGAN på hver frame til at opskalere billedet og så sætte dem alle sammen til en video?
Da Adobes forskere prøvede det, opnåede de en fantastisk videoopløsning, men den resulterende video var tidsmæssigt inkonsekvent og flimrede.
Ved at tilføje temporale konvolutions- og opmærksomhedslag til GigaGAN blev den temporale inkonsekvens løst, men flimren var stadig et problem.
VideoGigaGAN løser dette ved at adskille lavfrekvente og højfrekvente elementer i hvert billede og behandle dem forskelligt.
Det lavfrekvente funktionskort udglattes for at fjerne højfrekvente detaljer, som kan være kilder til støj og flimmer.
Ved hjælp af Skip-forbindelser bevares de finere detaljer i højfrekvente komponenter ved at gå uden om de midterste lag i modellen, som ellers ville gå tabt i behandlingen.
Du kan læse mere om de tekniske detaljer i Adobes papir.
Den demoer på Adobes GitHub er meget imponerende. Adobe har ikke antydet en udgivelsesdato, men lad os håbe, at vi snart får lov til at bruge den.
Forestil dig, hvad et værktøj som dette kunne gøre for historiske arkivoptagelser, klassiske film eller endda opskalering af dine gamle yndlings-tv-programmer til HD.
