{"id":9446,"date":"2024-01-24T09:26:57","date_gmt":"2024-01-24T09:26:57","guid":{"rendered":"https:\/\/dailyai.com\/?p=9446"},"modified":"2024-01-24T12:56:28","modified_gmt":"2024-01-24T12:56:28","slug":"google-unveils-lumiere-a-text-to-video-diffusion-model","status":"publish","type":"post","link":"https:\/\/dailyai.com\/nl\/2024\/01\/google-unveils-lumiere-a-text-to-video-diffusion-model\/","title":{"rendered":"Google onthult Lumiere, een tekst-naar-video verspreidingsmodel"},"content":{"rendered":"

Google Research onthulde Lumiere, een tekst-naar-video diffusiemodel dat opmerkelijk realistische video's maakt van tekst- of beeldaanwijzingen.<\/strong><\/p>\n

De stilstaande beelden die worden gegenereerd door tools zoals Reis halverwege<\/a> of DALL-E zijn ongelooflijk, maar tekst-naar-video (TTV) is begrijpelijkerwijs achtergebleven en tot nu toe een stuk minder indrukwekkend.<\/p>\n

TTV-modellen zoals die van Pika Labs of Stable Video Diffusion hebben de afgelopen 12 maanden een lange weg afgelegd, maar het realisme en de continu\u00efteit van de beweging zijn nog steeds een beetje onhandig.<\/p>\n

Lumiere betekent een grote sprong voorwaarts in TTV dankzij een nieuwe benadering om video te genereren die ruimtelijk en temporeel coherent is. Met andere woorden, het doel is dat de sc\u00e8nes in elk frame visueel consistent blijven en de bewegingen vloeiend zijn.<\/p>\n

Wat kan Lumiere doen?<\/h2>\n

Lumiere heeft een reeks functies voor het genereren van video, waaronder het volgende:<\/p>\n

    \n
  • Tekst-naar-video<\/strong> - Voer een tekstprompt in en Lumiere genereert een videoclip van 5 seconden die bestaat uit 80 frames met 16 frames per seconde.<\/li>\n
  • Beeld-naar-video<\/strong> - Lumiere gebruikt een afbeelding als geheugensteuntje en maakt er een video van.<\/li>\n
  • Gestileerde generatie<\/strong> - Een afbeelding kan worden gebruikt als stijlreferentie. Lumiere gebruikt een tekstprompt om een video te genereren in de stijl van de referentieafbeelding.<\/li>\n
  • Videostylisatie<\/strong> - Lumiere kan een bronvideo bewerken zodat deze overeenkomt met een stilistische tekstmelding.<\/li>\n
  • Cinemagraphs<\/strong> - Selecteer een gebied in een stilstaand beeld en Lumiere animeert dat deel van het beeld.<\/li>\n
  • Video inkleuren<\/strong> - Lumiere kan een gemaskeerde videosc\u00e8ne nemen en deze inkleuren om de video te voltooien. Het kan ook bronvideo bewerken door elementen in de sc\u00e8ne te verwijderen of te vervangen.<\/li>\n<\/ul>\n

    De onderstaande video laat een aantal van de indrukwekkende video's zien die Lumiere kan genereren.<\/p>\n