Adobe bood een preview van experimentele generatieve AI-tools voor het bewerken van video en audio tijdens de Adobe Max-conferentie.
Adobe gebruikt zijn "Sneaks"-presentaties om de nieuwste technologie te laten zien waar zijn technici aan werken en het lijkt erop dat generatieve AI op het punt staat om videobewerking ingrijpend te veranderen.
Firefly Image 2 en Project Stardust waren Adobe Max headline acts voor het gebruik van generatieve AI om afbeeldingen te bewerken, maar tot nu toe waren er geen vergelijkbare tools voor video.
Met Project Fast Fill kan een editor net zo gemakkelijk elementen toevoegen aan of verwijderen uit videoscènes als het bewerken van een stilstaand beeld. De functie wordt aangestuurd door Adobe Firefly. Een gebruiker kan een enkel frame bewerken met behulp van eenvoudige tekstaanwijzingen, waarna Project Fast Fill de bewerking doorvoert naar de rest van de frames.
Een voorbeeld dat Adobe demonstreerde liet zien hoe eenvoudig het was om mensen die op de achtergrond van een scène liepen te verwijderen.
En na de bewerking is hier het resultaat:
In het tweede voorbeeld werd een gebied op het shirt van een man geselecteerd en door vervolgens de tekst "das" in te voeren, werden 4 afbeeldingen van de man met een das gegenereerd. Het selecteren van een van de opties resulteerde in de video waarin de man nu een stropdas droeg.
Eenmaal gegenereerd, zie je hier het resultaat:
Stel je eens voor hoeveel tijd en geld dit bespaart bij de productie en bewerking.
Als een scène wordt verpest doordat iemand de opname binnenloopt, is het niet nodig om een nieuwe opname te maken. Als de regisseur besluit dat de kleding die een acteur in de opname draagt hem niet bevalt, is het niet nodig om van kleding te wisselen en een nieuwe opname te maken.
De Stiekeme presentatie bevat ook enkele andere krachtige functies voor videobewerking.
Met Project Scene Change kan een videobewerker twee video's nemen die vanuit verschillende hoeken zijn opgenomen, en een samengestelde scène maken met gesynchroniseerde camerabewegingen.
Project Dub Dub maakt gebruik van AI om het nasynchronisatieproces te automatiseren, wat een kosten- en arbeidsintensief proces is. De functie maakt automatisch vertaalde audio in alle ondersteunde talen met behoud van de stem van de spreker.
Zou je je favoriete oude film in een betere resolutie willen bekijken? Project Res Up gebruikt op diffusie gebaseerde upsampling-technologie om een video met een lage resolutie om te zetten in een video met een hoge resolutie.
Kijk eens hoe goed dit werkt.
Als je ooit hebt geprobeerd om zelfs een eenvoudige video voor YouTube te bewerken, dan weet je hoeveel tijd dat kan kosten. AI-videobewerkingsprogramma's die weinig meer dan tekstinstructies vereisen, zullen een revolutie betekenen.
Als Hollywood uiteindelijk een deal sluit met acteurs en schrijvers, laten we dan hopen dat deze tools ons helpen om onze favoriete programma's wat sneller te bekijken.
