Adobes VideoGigaGAN oppskalerer uskarp video slik at den ser 8 ganger skarpere ut

25. april 2024

  • Adobe-forskere har utviklet en AI-videooppskalerer som gjør uskarpe videoer opptil 8 ganger skarpere
  • VideoGigaGAN overvinner mangelen på detaljer, flimring og aliasing som plager videooppskalere
  • Det finnes mange bruksområder for VideoGigaGAN, men Adobe har ikke oppgitt noen lanseringsdato

Adobes forskere har avduket VideoGigaGAN, en generativ AI-modell som kan oppskalere uskarpe videoer til skarpe, jevne videoer som ser opptil 8 ganger skarpere ut.

Vi har hatt virkelig gode bildeoppskalerere en stund nå, men det er mye vanskeligere å lage en god videooppskalerer.

Video Super Resolution (VSR) er en prosess der man tar individuelle bilder av en video, oppskalerer oppløsningen og detaljene, og setter bildene sammen for å gjenskape videoen.

For å få til dette på en god måte må vi løse to motstridende utfordringer. Dagens VSR-er genererer enten video som er jevn og uskarp, eller skarp og feilaktig.

Adobes VideoGigaGAN oppsamler uskarp video for å produsere en video som både er tidsmessig konsistent (jevne bildeoverganger) og har høyfrekvente detaljer.

Her er et eksempel på hva VideoGigaGAN kan gjøre.

Som navnet antyder, baserer Adobes metode seg på GigaGAN, et avansert generativt adversarisk nettverk (GAN).

GAN er gode til å oppskalere bilder, og GigaGAN er en av de beste på superoppløsning av bilder. Så hvorfor ikke bare bruke GigaGAN på hvert bilde for å oppskalere bildet, og deretter sette dem sammen til en video?

Da Adobes forskere forsøkte dette, oppnådde de god videooppløsning, men den resulterende videoen var tidsmessig inkonsekvent og flimret.

Ved å legge til temporale konvolusjons- og oppmerksomhetslag i GigaGAN ble den temporale inkonsistensen løst, men flimringen var fortsatt et problem.

VideoGigaGAN løser dette ved å skille mellom lavfrekvente og høyfrekvente elementer i hvert bilde og behandle disse på forskjellige måter.

Lavfrekvenskartet glattes for å fjerne høyfrekvente detaljer, som kan være kilder til støy og flimring.

Ved hjelp av Skip connections beholdes de finere detaljene i høyfrekvente komponenter ved å omgå de midterste lagene i modellen, som ellers ville gått tapt i prosesseringen.

Du kan lese mer om de tekniske detaljene i Adobes artikkel.

Den demoer på Adobes GitHub er veldig imponerende. Adobe har ikke antydet noen lanseringsdato, men la oss håpe de lar oss bruke den snart.

Tenk deg hva et slikt verktøy kan gjøre for historiske arkivopptak, klassiske filmer eller til og med oppskalering av gamle TV-programmer til HD.

Bli med i fremtiden


ABONNER I DAG

Tydelig, kortfattet og omfattende. Få et grep om AI-utviklingen med DagligAI

Eugene van der Watt

Eugene har bakgrunn som elektroingeniør og elsker alt som har med teknologi å gjøre. Når han tar en pause fra AI-nyhetene, finner du ham ved snookerbordet.

×

GRATIS PDF EKSKLUSIV
Hold deg i forkant med DailyAI

Meld deg på vårt ukentlige nyhetsbrev og få eksklusiv tilgang til DailyAIs nyeste e-bok: "Mastering AI Tools: Din 2024-guide til økt produktivitet".

*Ved å abonnere på vårt nyhetsbrev aksepterer du vår Retningslinjer for personvern og vår Vilkår og betingelser