{"id":9446,"date":"2024-01-24T09:26:57","date_gmt":"2024-01-24T09:26:57","guid":{"rendered":"https:\/\/dailyai.com\/?p=9446"},"modified":"2024-01-24T12:56:28","modified_gmt":"2024-01-24T12:56:28","slug":"google-unveils-lumiere-a-text-to-video-diffusion-model","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nb\/2024\/01\/google-unveils-lumiere-a-text-to-video-diffusion-model\/","title":{"rendered":"Google presenterer Lumiere, en modell for tekst-til-video-diffusjon"},"content":{"rendered":"

Google Research presenterte Lumiere, en diffusjonsmodell for tekst-til-video som skaper bemerkelsesverdig realistiske videoer fra tekst- eller bildemeldinger.<\/strong><\/p>\n

Stillbildene som genereres av verkt\u00f8y som Midt p\u00e5 reisen<\/a> eller DALL-E er utrolige, men tekst-til-video (TTV) har forst\u00e5elig nok sakket akterut og har v\u00e6rt mye mindre imponerende s\u00e5 langt.<\/p>\n

TTV-modeller som de fra Pika Labs eller Stable Video Diffusion har kommet langt i l\u00f8pet av de siste 12 m\u00e5nedene, men realismen og kontinuiteten i bevegelsene er fortsatt litt kl\u00f8nete.<\/p>\n

Lumiere representerer et stort sprang innen TTV p\u00e5 grunn av en ny tiln\u00e6rming til \u00e5 generere video som er romlig og tidsmessig sammenhengende. M\u00e5let er med andre ord at scenene i hvert bilde skal v\u00e6re visuelt konsistente, og at bevegelsene skal v\u00e6re jevne.<\/p>\n

Hva kan Lumiere gj\u00f8re?<\/h2>\n

Lumiere har en rekke videogenereringsfunksjoner, inkludert f\u00f8lgende<\/p>\n

    \n
  • Tekst-til-video<\/strong> - Skriv inn en tekstmelding, og Lumiere genererer et videoklipp p\u00e5 5 sekunder best\u00e5ende av 80 bilder med 16 bilder per sekund.<\/li>\n
  • Bilde-til-video<\/strong> - Lumiere tar utgangspunkt i et bilde og gj\u00f8r det om til en video.<\/li>\n
  • Stilisert generasjon<\/strong> - Et bilde kan brukes som stilreferanse. Lumiere bruker en tekstmelding til \u00e5 generere en video i stil med referansebildet.<\/li>\n
  • Stilisering av video<\/strong> - Lumiere kan redigere en kildevideo slik at den passer til en stilistisk tekstmelding.<\/li>\n
  • Filmsekvenser<\/strong> - Velg et omr\u00e5de i et stillbilde, og Lumiere vil animere den delen av bildet.<\/li>\n
  • Video inpainting<\/strong> - Lumiere kan ta en maskert videoscene og male den for \u00e5 fullf\u00f8re videoen. Den kan ogs\u00e5 redigere kildevideoen ved \u00e5 fjerne eller erstatte elementer i scenen.<\/li>\n<\/ul>\n

    Videoen nedenfor viser noen av de imponerende videoene Lumiere kan generere.<\/p>\n