Runway presenterade sin senaste text-till-video-generator (T2V), kallad Gen 3 Alpha, och demonstrationerna antyder att detta kan vara den bästa AI-videogeneratorn hittills.
OpenAI:s Sora imponerade på oss för några månader sedan men det finns fortfarande inget ord om när (eller om) det kommer att släppas. Runway tillåter redan gratis och betald tillgång till sin tidigare generation Gen 2 T2V-verktyg.
Gen 2 gör några hyfsade videor, men det är lite si och så med det och genererar ofta konstig anatomi eller klumpiga rörelser när man genererar människor.
Gen 3 Alpha ger hyperrealistisk video med mjuka rörelser och konsekventa människomodeller.
Runway säger: "Gen-3 Alpha utmärker sig genom att generera uttrycksfulla mänskliga karaktärer med ett brett spektrum av handlingar, gester och känslor, vilket öppnar upp för nya möjligheter att berätta historier."
Vi introducerar Gen-3 Alpha: Runways nya basmodell för videogenerering.
Gen-3 Alpha kan skapa mycket detaljerade videor med komplexa scenförändringar, ett brett utbud av filmiska val och detaljerade art directions.https://t.co/YQNE3eqoWf
(1/10) pic.twitter.com/VjEG2ocLZ8
- Runway (@runwayml) 17 juni 2024
Den förbättrade återgivningen innebär också en hastighetsuppgradering, med maximalt 10 sekunder långa klipp som genereras på bara 90 sekunder. Gränsen på 10 sekunder är densamma som för Sora, dubbelt så hög som för Luma och tre gånger så hög som för Runways Gen 2.
Förutom de förbättrade mänskliga representationerna är den exakta fysiken i videorna verkligen imponerande.
Och att tänka att den här videon är 100% genererad av AI, det är total galenskap de nyheter vi har om AI-videor idag. #Runway Gen-3 🔥🔥🔥 pic.twitter.com/FLC5TGfYzr
- Pierrick Chevallier | IA (@CharaspowerAI) 17 juni 2024
Runway säger att Gen 3 Alpha kommer att ha förbättrade kontrollägen som gör det möjligt för en användare att välja specifika element som ska ha rörelse och detaljerade kamerarörelser med "kommande verktyg för mer finkornig kontroll över struktur, stil och rörelse".
Graden av kamerakontroll ger dig en uppfattning om hur nära vi är kameran. slutet för traditionell filmproduktion.
Uppmaning: Handhållen kamera rör sig snabbt, ficklampa lyser, i en vit gammal vägg i en gammal gränd på natten en svart graffiti som stavar "Runway".
(10/10) pic.twitter.com/xRreX33g0r
- Runway (@runwayml) 17 juni 2024
OpenAI antydde tidigare att anpassningsfrågor är en av anledningarna till att de inte har släppt Sora ännu. Runway säger att Gen 3 Alpha kommer med en ny uppsättning skyddsåtgärder och C2PA som gör det möjligt att spåra ursprunget för genererad video.
Generella världsmodeller
Tanken på att omvandla text till videor kommer att tilltala de flesta användare, men Runway säger att Gen 3 Alpha representerar ett steg mot ett annat mål.
Runway säger: "Vi tror att nästa stora framsteg inom AI kommer från system som förstår den visuella världen och dess dynamik, vilket är anledningen till att vi startar en ny långsiktig forskningsinsats kring vad vi kallar allmänna världsmodeller."
Det går mycket snabbare och är billigare att träna en AI att navigera och interagera med en miljö när den simuleras. För att simuleringen ska vara användbar måste den på ett korrekt sätt representera fysiken och rörelserna i verkliga miljöer.
Runway säger att dessa generella världsmodeller "inte bara måste fånga dynamiken i världen, utan även dynamiken hos dess invånare, vilket innebär att man också måste bygga realistiska modeller av mänskligt beteende".
Den sammanhängande rörelsen, fysiken, de mänskliga dragen och känslorna i Gen 3-demovideorna är bevis på ett stort steg mot att göra detta möjligt.
OpenAI har nästan säkert arbetat på en uppgraderad Sora, men med Runways Gen 3 Alpha blev tävlingen om bästa AI-videogenerator just mycket mer konkurrenskraftig.
Det finns inga uppgifter om när Gen 3 Alpha kommer att släppas, men du kan se fler demos här eller experimentera med Gen 2 här för tillfället.
