{"id":9446,"date":"2024-01-24T09:26:57","date_gmt":"2024-01-24T09:26:57","guid":{"rendered":"https:\/\/dailyai.com\/?p=9446"},"modified":"2024-01-24T12:56:28","modified_gmt":"2024-01-24T12:56:28","slug":"google-unveils-lumiere-a-text-to-video-diffusion-model","status":"publish","type":"post","link":"https:\/\/dailyai.com\/de\/2024\/01\/google-unveils-lumiere-a-text-to-video-diffusion-model\/","title":{"rendered":"Google stellt Lumiere vor, ein Modell zur Verbreitung von Text in Videos"},"content":{"rendered":"

Google Research hat Lumiere vorgestellt, ein Text-zu-Video-Diffusionsmodell, das aus Text- oder Bildanweisungen bemerkenswert realistische Videos erstellt.<\/strong><\/p>\n

Die Standbilder, die von Tools wie Midjourney<\/a> oder DALL-E sind unglaublich, aber Text-to-Video (TTV) hinkt verst\u00e4ndlicherweise hinterher und ist bisher weit weniger beeindruckend gewesen.<\/p>\n

TTV-Modelle wie die von Pika Labs oder Stable Video Diffusion haben in den letzten 12 Monaten gro\u00dfe Fortschritte gemacht, aber der Realismus und die Kontinuit\u00e4t der Bewegung sind immer noch ein wenig unausgereift.<\/p>\n

Lumiere stellt einen gro\u00dfen Sprung im TTV dar, da es einen neuen Ansatz zur Erzeugung von r\u00e4umlich und zeitlich koh\u00e4renten Videos verfolgt. Mit anderen Worten, das Ziel ist, dass die Szenen in jedem Bild visuell konsistent bleiben und die Bewegungen fl\u00fcssig sind.<\/p>\n

Was kann Lumiere tun?<\/h2>\n

Lumiere verf\u00fcgt \u00fcber eine Reihe von Funktionen zur Videoerstellung, darunter die folgenden:<\/p>\n

    \n
  • Text zu Video<\/strong> - Geben Sie eine Texteingabe ein, und Lumiere generiert einen 5-sek\u00fcndigen Videoclip, der aus 80 Bildern mit 16 Bildern pro Sekunde besteht.<\/li>\n
  • Bild-zu-Video<\/strong> - Lumiere nimmt ein Bild als Aufforderung und verwandelt es in ein Video.<\/li>\n
  • Stilisierte Generation<\/strong> - Ein Bild kann als Stilreferenz verwendet werden. Lumiere verwendet eine Texteingabeaufforderung, um ein Video im Stil des Referenzbildes zu erstellen.<\/li>\n
  • Video-Stylisierung<\/strong> - Lumiere kann ein Quellvideo so bearbeiten, dass es einer stilistischen Textaufforderung entspricht.<\/li>\n
  • Kinematografien<\/strong> - W\u00e4hlen Sie einen Bereich in einem Standbild aus, und Lumiere wird diesen Teil des Bildes animieren.<\/li>\n
  • Video-\u00dcbermalung<\/strong> - Lumiere kann eine maskierte Videoszene nehmen und sie \u00fcbermalen, um das Video zu vervollst\u00e4ndigen. Es kann auch Quellvideos bearbeiten, indem es Elemente in der Szene entfernt oder ersetzt.<\/li>\n<\/ul>\n

    Das folgende Video zeigt einige der beeindruckenden Videos, die Lumiere erzeugen kann.<\/p>\n