Runway heeft zijn nieuwste tekst-naar-video (T2V) generator onthuld, Gen 3 Alpha genaamd, en de demo's laten doorschemeren dat dit wel eens de beste AI-video generator tot nu toe zou kunnen zijn.
OpenAI's Sora heeft ons een paar maanden geleden versteld doen staan, maar er is nog steeds niets bekend over wanneer (of) het zal worden uitgebracht. Runway biedt al gratis en betaalde toegang tot de Gen 2 T2V tool van de vorige generatie.
Gen 2 maakt een aantal fatsoenlijke video's, maar het is een beetje hit-or-miss en genereert vaak vreemde anatomie of onhandige bewegingen bij het genereren van mensen.
Gen 3 Alpha levert hyperrealistische video met vloeiende bewegingen en samenhangende menselijke modellen.
Runway zegt: "Gen-3 Alpha blinkt uit in het genereren van expressieve menselijke personages met een breed scala aan acties, gebaren en emoties, waardoor nieuwe mogelijkheden voor het vertellen van verhalen worden ontsloten."
Maak kennis met Gen-3 Alpha: Runway's nieuwe basismodel voor het genereren van video's.
Gen-3 Alpha kan zeer gedetailleerde video's maken met complexe scènewisselingen, een breed scala aan filmische keuzes en gedetailleerde art directions.https://t.co/YQNE3eqoWf
(1/10) pic.twitter.com/VjEG2ocLZ8
- Startbaan (@startbaanml) 17 juni 2024
De verbeterde natuurgetrouwheid gaat ook gepaard met een snelheidsupgrade, waarbij clips van maximaal 10 seconden in slechts 90 seconden worden gegenereerd. De cliplimiet van 10 seconden is gelijk aan die van Sora, twee keer die van Luma en drie keer die van Gen 2 van Runway.
Naast de verbeterde menselijke voorstellingen is de accurate fysica van de video's echt indrukwekkend.
En dan te bedenken dat deze video 100% is gegenereerd door AI, het is totale waanzin het nieuws dat we tegenwoordig over AI-video's hebben. #Runway Gen-3 🔥🔥 Pic.twitter.com/FLC5TGfYzr
- Pierrick Chevallier | IA (@CharaspowerAI) 17 juni 2024
Runway zegt dat Gen 3 Alpha verbeterde besturingsmodi zal bevatten waarmee een gebruiker specifieke elementen kan selecteren om te laten bewegen en gedetailleerde besturingselementen voor camerabewegingen met "aankomende tools voor meer fijnkorrelige controle over structuur, stijl en beweging".
De mate van cameracontrole geeft je een idee van hoe dicht we bij de einde van de traditionele filmproductie.
Prompt: Handcamera snel bewegend, flitslicht, in een witte oude muur in een oud steegje 's nachts een zwarte graffiti met de tekst 'Runway'.
(10/10) pic.twitter.com/xRreX33g0r
- Startbaan (@startbaanml) 17 juni 2024
OpenAI heeft eerder laten doorschemeren dat de bezorgdheid over de uitlijning een van de redenen is waarom het Sora nog niet heeft uitgebracht. Runway zegt dat Gen 3 Alpha wordt geleverd met een nieuwe set beveiligingen en C2PA waarmee de herkomst van gegenereerde video kan worden getraceerd.
Algemene wereldmodellen
Het idee om tekst in video's om te zetten zal de meeste gebruikers aanspreken, maar Runway zegt dat Gen 3 Alpha een stap in de richting van een ander doel is.
Runway zegt: "We geloven dat de volgende grote vooruitgang in AI zal komen van systemen die de visuele wereld en de dynamiek ervan begrijpen, daarom starten we een nieuw langetermijnonderzoek rond wat we algemene wereldmodellen noemen."
Het trainen van een AI met belichaming om te navigeren en te interageren met een omgeving is veel sneller en goedkoper als het gesimuleerd wordt. Om bruikbaar te zijn moet de simulatie de fysica en beweging van echte omgevingen nauwkeurig weergeven.
Runway zegt dat deze algemene wereldmodellen "niet alleen de dynamiek van de wereld moeten vastleggen, maar ook de dynamiek van haar bewoners, wat inhoudt dat er ook realistische modellen van menselijk gedrag moeten worden gebouwd."
De coherente beweging, fysica, menselijke kenmerken en emoties in de Gen 3-demovideo's zijn het bewijs dat we een grote stap hebben gezet om dit mogelijk te maken.
OpenAI heeft bijna zeker gewerkt aan een verbeterde Sora, maar met de Gen 3 Alpha van Runway is de race om de beste AI-videogenerator een stuk competitiever geworden.
Er is nog niets bekend over wanneer Gen 3 Alpha wordt uitgebracht, maar je kunt Bekijk hier meer demo's of experimenteren met Gen 2 hier voor nu.
