Adobes forskere har avduket VideoGigaGAN, en generativ AI-modell som kan oppskalere uskarpe videoer til skarpe, jevne videoer som ser opptil 8 ganger skarpere ut.
Vi har hatt virkelig gode bildeoppskalerere en stund nå, men det er mye vanskeligere å lage en god videooppskalerer.
Video Super Resolution (VSR) er en prosess der man tar individuelle bilder av en video, oppskalerer oppløsningen og detaljene, og setter bildene sammen for å gjenskape videoen.
For å få til dette på en god måte må vi løse to motstridende utfordringer. Dagens VSR-er genererer enten video som er jevn og uskarp, eller skarp og feilaktig.
Adobes VideoGigaGAN oppsamler uskarp video for å produsere en video som både er tidsmessig konsistent (jevne bildeoverganger) og har høyfrekvente detaljer.
Her er et eksempel på hva VideoGigaGAN kan gjøre.
Adobe Research dropper VideoGigaGAN
Den lar deg oppsamle video med 8x med forbedrede detaljer.
Papir i kommentarfeltet 👇 pic.twitter.com/7uEiU7bYqw
- Kris Kashtanova (@icreatelife) 22. april 2024
Som navnet antyder, baserer Adobes metode seg på GigaGAN, et avansert generativt adversarisk nettverk (GAN).
GAN er gode til å oppskalere bilder, og GigaGAN er en av de beste på superoppløsning av bilder. Så hvorfor ikke bare bruke GigaGAN på hvert bilde for å oppskalere bildet, og deretter sette dem sammen til en video?
Da Adobes forskere forsøkte dette, oppnådde de god videooppløsning, men den resulterende videoen var tidsmessig inkonsekvent og flimret.
Ved å legge til temporale konvolusjons- og oppmerksomhetslag i GigaGAN ble den temporale inkonsistensen løst, men flimringen var fortsatt et problem.
VideoGigaGAN løser dette ved å skille mellom lavfrekvente og høyfrekvente elementer i hvert bilde og behandle disse på forskjellige måter.
Lavfrekvenskartet glattes for å fjerne høyfrekvente detaljer, som kan være kilder til støy og flimring.
Ved hjelp av Skip connections beholdes de finere detaljene i høyfrekvente komponenter ved å omgå de midterste lagene i modellen, som ellers ville gått tapt i prosesseringen.
Du kan lese mer om de tekniske detaljene i Adobes artikkel.
Den demoer på Adobes GitHub er veldig imponerende. Adobe har ikke antydet noen lanseringsdato, men la oss håpe de lar oss bruke den snart.
Tenk deg hva et slikt verktøy kan gjøre for historiske arkivopptak, klassiske filmer eller til og med oppskalering av gamle TV-programmer til HD.
