A Adobe ofereceu uma antevisão das ferramentas experimentais de IA generativa para edição de vídeo e áudio na sua conferência Adobe Max.
A Adobe utiliza as suas apresentações "Sneaks" para mostrar a tecnologia mais recente em que os seus engenheiros estão a trabalhar e parece que a IA generativa está prestes a mudar a edição de vídeo em grande.
Firefly Image 2 e Projeto Stardust foram os actos principais do Adobe Max para utilizar a IA generativa para editar imagens, mas até agora não existiam ferramentas semelhantes para vídeo.
O Preenchimento rápido do projeto permite a um editor adicionar ou remover elementos de cenas de vídeo tão facilmente como editar uma imagem fixa. A funcionalidade é activada pelo Adobe Firefly. Um utilizador pode editar um único fotograma através de simples comandos de texto e, em seguida, o Project Fast Fill transporta a edição para os restantes fotogramas.
Um exemplo demonstrado pela Adobe mostrava como era fácil remover pessoas a caminhar no fundo de uma cena.
E depois da edição, aqui está o resultado:
No segundo exemplo, foi selecionada uma área na camisa de um homem e, em seguida, foi introduzida a mensagem de texto "gravata", o que resultou na geração de 4 imagens do homem com gravata. Ao selecionar uma das opções, o vídeo passa a mostrar o homem de gravata.
Uma vez gerado, eis o resultado:
Imagine o tempo e o dinheiro que isto poupará na produção e na edição.
Se uma cena for estragada pelo facto de alguém entrar na cena, não há necessidade de fazer outra tomada. Se o realizador decidir que não gostou da roupa que um ator usou na cena, não há necessidade de mudar o guarda-roupa e refazer a filmagem.
O Apresentação de Sneaks também inclui algumas outras funcionalidades poderosas de edição de vídeo.
A Mudança de cena de projeto permite a um editor de vídeo pegar em dois vídeos filmados de ângulos diferentes e criar uma cena composta com movimento de câmara sincronizado.
O Projeto Dub Dub Dub utiliza a IA para automatizar o processo de dobragem, que é um processo dispendioso e trabalhoso. A funcionalidade cria automaticamente áudio traduzido em todas as línguas suportadas, preservando a voz do orador.
Gostava de poder ver o seu filme antigo favorito numa resolução melhor? O Project Res Up utiliza a tecnologia de upsampling baseada na difusão para converter um vídeo de baixa resolução num de alta resolução.
Veja como isto funciona bem.
Se alguma vez tentou editar um simples vídeo para o YouTube, sabe o tempo que pode demorar. As ferramentas de edição de vídeo com IA, que requerem pouco mais do que instruções de texto, serão um fator de mudança.
Se Hollywood acabar por chegar a um acordo com actores e escritores, esperemos que estas ferramentas nos ajudem a ver os nossos programas favoritos um pouco mais cedo.
