{"id":9446,"date":"2024-01-24T09:26:57","date_gmt":"2024-01-24T09:26:57","guid":{"rendered":"https:\/\/dailyai.com\/?p=9446"},"modified":"2024-01-24T12:56:28","modified_gmt":"2024-01-24T12:56:28","slug":"google-unveils-lumiere-a-text-to-video-diffusion-model","status":"publish","type":"post","link":"https:\/\/dailyai.com\/da\/2024\/01\/google-unveils-lumiere-a-text-to-video-diffusion-model\/","title":{"rendered":"Google afsl\u00f8rer Lumiere, en tekst-til-video-diffusionsmodel"},"content":{"rendered":"

Google Research afsl\u00f8rede Lumiere, en tekst-til-video-diffusionsmodel, der skaber bem\u00e6rkelsesv\u00e6rdigt realistiske videoer ud fra tekst- eller billedbeskeder.<\/strong><\/p>\n

De stillbilleder, der genereres af v\u00e6rkt\u00f8jer som Midt p\u00e5 rejsen<\/a> eller DALL-E er utrolige, men tekst-til-video (TTV) har forst\u00e5eligt nok haltet bagefter og har v\u00e6ret meget mindre imponerende indtil videre.<\/p>\n

TTV-modeller som dem fra Pika Labs eller Stable Video Diffusion er kommet langt i l\u00f8bet af de sidste 12 m\u00e5neder, men realismen og kontinuiteten i bev\u00e6gelserne er stadig lidt klodset.<\/p>\n

Lumiere repr\u00e6senterer et stort spring inden for TTV p\u00e5 grund af en ny tilgang til at generere video, der er rumligt og tidsm\u00e6ssigt sammenh\u00e6ngende. Med andre ord er m\u00e5let, at scenerne i hvert billede forbliver visuelt konsistente, og at bev\u00e6gelserne er j\u00e6vne.<\/p>\n

Hvad kan Lumiere g\u00f8re?<\/h2>\n

Lumiere har en r\u00e6kke videogenereringsfunktioner, herunder f\u00f8lgende:<\/p>\n

    \n
  • Tekst til video<\/strong> - Indtast en tekstprompt, og Lumiere genererer et 5-sekunders videoklip best\u00e5ende af 80 billeder med 16 billeder i sekundet.<\/li>\n
  • Billede-til-video<\/strong> - Lumiere tager et billede som udgangspunkt og laver det om til en video.<\/li>\n
  • Stiliseret generation<\/strong> - Et billede kan bruges som stilreference. Lumiere bruger en tekstprompt til at generere en video i stil med referencebilledet.<\/li>\n
  • Stilisering af video<\/strong> - Lumiere kan redigere en kildevideo, s\u00e5 den passer til en stilistisk tekstprompt.<\/li>\n
  • Filmsekvenser<\/strong> - V\u00e6lg et omr\u00e5de i et stillbillede, og Lumiere vil animere den del af billedet.<\/li>\n
  • Video-inpainting<\/strong> - Lumiere kan tage en maskeret videoscene og farvel\u00e6gge den for at f\u00e6rdigg\u00f8re videoen. Den kan ogs\u00e5 redigere kildevideoen ved at fjerne eller udskifte elementer i scenen.<\/li>\n<\/ul>\n

    Videoen nedenfor viser nogle af de imponerende videoer, Lumiere kan generere.<\/p>\n