Runway avduket sin nyeste tekst-til-video-generator (T2V), kalt Gen 3 Alpha, og demonstrasjonene antyder at dette kan være den beste AI-videogeneratoren hittil.
OpenAIs Sora imponerte oss for noen måneder siden, men det er fortsatt ikke noe ord om når (eller om) det vil bli utgitt. Runway gir allerede gratis og betalt tilgang til forrige generasjon Gen 2 T2V-verktøy.
Gen 2 lager noen greie videoer, men det er litt tilfeldig og genererer ofte merkelig anatomi eller klønete bevegelser når du genererer personer.
Gen 3 Alpha leverer hyperrealistisk video med jevne bevegelser og sammenhengende menneskemodeller.
Runway sier: "Gen-3 Alpha utmerker seg ved å generere uttrykksfulle menneskelige karakterer med et bredt spekter av handlinger, gester og følelser, noe som åpner opp for nye muligheter for historiefortelling."
Vi introduserer Gen-3 Alpha: Runways nye basismodell for videogenerering.
Gen-3 Alpha kan lage svært detaljerte videoer med komplekse sceneskift, et bredt spekter av filmatiske valg og detaljerte kunstanvisninger.https://t.co/YQNE3eqoWf
(1/10) pic.twitter.com/VjEG2ocLZ8
- Runway (@runwayml) 17. juni 2024
Den forbedrede troverdigheten kommer også med en hastighetsoppgradering, med maksimal lengde på 10 sekunders klipp generert på bare 90 sekunder. Grensen på 10 sekunder er den samme som for Sora, dobbelt så høy som for Luma og tre ganger så høy som for Runways Gen 2.
I tillegg til de forbedrede menneskelige representasjonene, er den nøyaktige fysikken i videoene virkelig imponerende.
Og å tro at denne videoen er 100% generert av AI, det er total galskap nyhetene vi har om AI-videoer i disse dager. #Runway Gen-3 🔥🔥🔥 pic.twitter.com/FLC5TGfYzr
- Pierrick Chevallier | IA (@CharaspowerAI) 17. juni 2024
Runway sier at Gen 3 Alpha vil gi forbedrede kontrollmoduser som gjør det mulig for brukeren å velge spesifikke elementer som skal ha bevegelse og detaljert kamerabevegelseskontroll med "kommende verktøy for mer finkornet kontroll over struktur, stil og bevegelse".
Graden av kamerakontroll gir deg et inntrykk av hvor nær vi er slutten på tradisjonell filmproduksjon.
Oppfordring: Håndholdt kamera beveger seg raskt, lommelyktlys, i en hvit gammel vegg i et gammelt smug om natten en svart graffiti som staver 'Runway'.
(10/10) pic.twitter.com/xRreX33g0r
- Runway (@runwayml) 17. juni 2024
OpenAI har tidligere antydet at bekymringer om justering er en av grunnene til at de ikke har gitt ut Sora ennå. Runway sier at Gen 3 Alpha kommer med et nytt sett med sikkerhetstiltak og C2PA som gjør det mulig å spore opprinnelsen til generert video.
Generelle verdensmodeller
Ideen om å gjøre tekst om til videoer vil appellere til de fleste brukere, men Runway sier at Gen 3 Alpha representerer et skritt mot et annet mål.
Runway sier: "Vi tror at det neste store fremskrittet innen AI vil komme fra systemer som forstår den visuelle verden og dens dynamikk, og derfor starter vi en ny langsiktig forskningsinnsats rundt det vi kaller generelle verdensmodeller."
Det er mye raskere og billigere å lære opp en innebygd AI til å navigere og samhandle med omgivelsene når den er simulert. For at simuleringen skal være nyttig, må den representere fysikken og bevegelsene i virkelige omgivelser på en nøyaktig måte.
Runway sier at disse generelle verdensmodellene "ikke bare må fange opp dynamikken i verden, men også dynamikken til innbyggerne, noe som også innebærer å bygge realistiske modeller av menneskelig atferd".
Den sammenhengende bevegelsen, fysikken, de menneskelige trekkene og følelsene i Gen 3-demovideoene er bevis på et stort skritt i retning av å gjøre dette mulig.
OpenAI har nesten helt sikkert jobbet med en oppgradert Sora, men med Runways Gen 3 Alpha ble kappløpet om å bli den beste AI-videogeneratoren nettopp mye mer konkurransepreget.
Det er ikke kjent når Gen 3 Alpha vil bli lansert, men du kan se flere demoer her eller eksperimentere med Gen 2 her for nå.
