Runway hat seinen neuesten Text-to-Video (T2V)-Generator mit dem Namen Gen 3 Alpha vorgestellt, und die Demos deuten darauf hin, dass dies der bisher beste KI-Videogenerator sein könnte.
OpenAIs Sora hat uns vor ein paar Monaten begeistert, aber es gibt immer noch kein Wort darüber, wann (oder ob) es veröffentlicht werden wird. Runway ermöglicht bereits den kostenlosen und kostenpflichtigen Zugang zu seinem T2V-Tool der vorherigen Generation Gen 2.
Mit Gen 2 lassen sich ein paar gute Videos erstellen, aber es ist ein wenig schwierig und erzeugt oft eine seltsame Anatomie oder klobige Bewegungen beim Erstellen von Personen.
Gen 3 Alpha liefert hyperrealistische Videos mit flüssigen Bewegungen und kohärenten menschlichen Modellen.
Runway sagt: "Gen-3 Alpha zeichnet sich dadurch aus, dass es ausdrucksstarke menschliche Charaktere mit einer großen Bandbreite an Aktionen, Gesten und Emotionen erzeugt und damit neue Möglichkeiten für die Erzählung von Geschichten eröffnet."
Wir stellen vor: Gen-3 Alpha: Runway's neues Basismodell für die Videoerstellung.
Gen-3 Alpha kann hochdetaillierte Videos mit komplexen Szenenwechseln, einer großen Auswahl an filmischen Möglichkeiten und detaillierten Regieanweisungen erstellen.https://t.co/YQNE3eqoWf
(1/10) pic.twitter.com/VjEG2ocLZ8
- Startbahn (@runwayml) 17. Juni 2024
Die verbesserte Wiedergabetreue geht auch mit einem Geschwindigkeits-Upgrade einher: Die maximale Länge von 10-Sekunden-Clips wird in nur 90 Sekunden erzeugt. Die 10-Sekunden-Clipgrenze ist die gleiche wie bei Sora, doppelt so lang wie bei Luma und dreimal so lang wie bei Runway Gen 2.
Neben den verbesserten menschlichen Darstellungen ist auch die genaue Physik der Videos wirklich beeindruckend.
Und wenn man bedenkt, dass dieses Video 100% von einer künstlichen Intelligenz generiert wurde, ist es der totale Wahnsinn, was wir heutzutage über KI-Videos hören. 1TP5Startbahn Gen-3 🔥🔥 pic.twitter.com/FLC5TGfYzr
- Pierrick Chevallier | IA (@CharaspowerAI) 17. Juni 2024
Runway sagt, dass Gen 3 Alpha verbesserte Steuerungsmodi bieten wird, die es dem Benutzer ermöglichen, bestimmte Elemente auszuwählen, die sich bewegen sollen, sowie detaillierte Kamerabewegungssteuerungen mit "zukünftigen Werkzeugen für eine feinere Kontrolle über Struktur, Stil und Bewegung".
Der Grad der Kamerakontrolle gibt Ihnen einen Eindruck davon, wie nah wir am Geschehen sind. Ende der traditionellen Filmproduktion.
Aufforderung: Schnell bewegte Handkamera, Taschenlampenlicht, in einer weißen alten Mauer in einer alten Gasse bei Nacht ein schwarzes Graffiti, das "Runway" buchstabiert.
(10/10) pic.twitter.com/xRreX33g0r
- Startbahn (@runwayml) 17. Juni 2024
OpenAI hat bereits angedeutet, dass Bedenken bezüglich der Ausrichtung einer der Gründe sind, warum Sora noch nicht veröffentlicht wurde. Runway sagt, dass Gen 3 Alpha mit einer neuen Reihe von Sicherheitsvorkehrungen und C2PA ausgestattet ist, die es ermöglichen, die Herkunft der generierten Videos nachzuvollziehen.
Allgemeine Weltmodelle
Die Idee, Text in Videos umzuwandeln, wird den meisten Nutzern gefallen, aber Runway sagt, dass Gen 3 Alpha einen Schritt in Richtung eines anderen Ziels darstellt.
Runway sagt: "Wir glauben, dass der nächste große Fortschritt in der KI von Systemen kommen wird, die die visuelle Welt und ihre Dynamik verstehen, weshalb wir ein neues langfristiges Forschungsprojekt zu so genannten allgemeinen Weltmodellen starten."
Das Training einer verkörperten KI für die Navigation und Interaktion mit einer Umgebung ist viel schneller und billiger, wenn sie simuliert wird. Damit die Simulation nützlich ist, muss sie die Physik und die Bewegung realer Umgebungen genau darstellen.
Runway sagt, dass diese allgemeinen Weltmodelle "nicht nur die Dynamik der Welt, sondern auch die Dynamik ihrer Bewohner erfassen müssen, was auch die Erstellung realistischer Modelle des menschlichen Verhaltens beinhaltet".
Die kohärenten Bewegungen, die Physik, die menschlichen Züge und die Emotionen in den Gen 3-Demovideos sind ein Beweis für einen großen Schritt in diese Richtung.
OpenAI hat mit ziemlicher Sicherheit an einem verbesserten Sora gearbeitet, aber mit Runways Gen 3 Alpha ist das Rennen um den besten KI-Videogenerator noch viel härter geworden.
Es ist noch nicht bekannt, wann die Gen 3 Alpha veröffentlicht wird, aber Sie können weitere Demos hier sehen oder mit Gen 2 experimentieren hier für jetzt.
