O VideoGigaGAN da Adobe melhora a qualidade de vídeos desfocados para que pareçam 8x mais nítidos

25 de abril de 2024

  • Os investigadores da Adobe desenvolveram um upscaler de vídeo com IA que torna os vídeos desfocados até 8x mais nítidos
  • O VideoGigaGAN supera a falta de detalhe, a cintilação e o aliasing que afectam os upscalers de vídeo
  • Existem aplicações significativas para o VideoGigaGAN, mas a Adobe não mencionou uma data de lançamento

Os investigadores da Adobe revelaram o VideoGigaGAN, um modelo de IA generativo que pode transformar vídeos desfocados em vídeos nítidos e suaves que parecem até 8x mais nítidos.

Já há algum tempo que temos bons upscalers de imagem, mas fazer um bom upscaler de vídeo é exponencialmente mais difícil.

A super-resolução de vídeo (VSR) é o processo que consiste em pegar em fotogramas individuais de um vídeo, aumentar a resolução e o detalhe e encaixar os fotogramas para recriar o vídeo.

Para fazer isso bem, é preciso resolver dois desafios conflitantes. Os actuais VSRs geram vídeos suaves e desfocados ou nítidos e com falhas.

O VideoGigaGAN da Adobe faz o upsample de vídeos desfocados para produzir um vídeo que seja temporalmente consistente (transições de quadros suaves) e tenha detalhes de alta freqüência.

Aqui está um exemplo do que o VideoGigaGAN pode fazer.

Tal como o nome sugere, o método da Adobe baseia-se no GigaGAN, uma rede adversária generativa avançada (GAN).

Os GANs são óptimos a fazer upsampling de imagens, e o GigaGAN é um dos melhores a fazer super-resolução de imagens. Então, porque não utilizar simplesmente o GigaGAN em cada fotograma para melhorar a imagem e depois juntá-los todos para criar o vídeo?

Quando os investigadores da Adobe tentaram isso, obtiveram uma excelente resolução de vídeo, mas o vídeo resultante era temporalmente inconsistente e tremeluzia.

Ao adicionar camadas convolucionais temporais e de atenção ao GigaGAN, a inconsistência temporal foi corrigida, mas a cintilação continuou a ser um problema.

O VideoGigaGAN resolve este problema separando os elementos de baixa e alta frequência em cada fotograma e processando-os de forma diferente.

O mapa de características de baixa frequência é suavizado para remover detalhes de alta frequência, que podem ser fontes de ruído e cintilação.

Utilizando as ligações Skip, os detalhes mais finos nos componentes de alta frequência são retidos, contornando as camadas intermédias do modelo que, de outra forma, se perderiam no processamento.

Pode ler mais sobre os pormenores técnicos em O documento da Adobe.

O demos no GitHub da Adobe são muito impressionantes. A Adobe ainda não indicou uma data de lançamento, mas esperemos que nos deixem utilizá-lo em breve.

Imagine o que uma ferramenta como esta poderia fazer para imagens de arquivo históricas, filmes clássicos ou até mesmo para melhorar os seus programas de televisão antigos favoritos para HD.

Junte-se ao futuro


SUBSCREVER HOJE

Claro, conciso e abrangente. Fique a par dos desenvolvimentos da IA com DailyAI

Eugene van der Watt

Eugene vem de uma formação em engenharia eletrónica e adora tudo o que é tecnologia. Quando faz uma pausa no consumo de notícias sobre IA, pode encontrá-lo à mesa de snooker.

×

PDF GRATUITO EXCLUSIVO
Fique à frente com o DailyAI

Subscreva a nossa newsletter semanal e receba acesso exclusivo ao último livro eletrónico do DailyAI: 'Mastering AI Tools: Seu guia 2024 para aumentar a produtividade'.

*Ao subscrever a nossa newsletter, aceita a nossa Política de privacidade e o nosso Termos e condições