{"id":9446,"date":"2024-01-24T09:26:57","date_gmt":"2024-01-24T09:26:57","guid":{"rendered":"https:\/\/dailyai.com\/?p=9446"},"modified":"2024-01-24T12:56:28","modified_gmt":"2024-01-24T12:56:28","slug":"google-unveils-lumiere-a-text-to-video-diffusion-model","status":"publish","type":"post","link":"https:\/\/dailyai.com\/sv\/2024\/01\/google-unveils-lumiere-a-text-to-video-diffusion-model\/","title":{"rendered":"Google presenterar Lumiere, en modell f\u00f6r spridning av text till video"},"content":{"rendered":"

Google Research presenterade Lumiere, en diffusionsmodell f\u00f6r text-till-video som skapar anm\u00e4rkningsv\u00e4rt realistiska videor fr\u00e5n text- eller bildmeddelanden.<\/strong><\/p>\n

De stillbilder som genereras av verktyg som Midjourney<\/a> eller DALL-E \u00e4r otroliga, men text-till-video (TTV) har f\u00f6rst\u00e5eligt nog sl\u00e4pat efter och har varit mycket mindre imponerande hittills.<\/p>\n

TTV-modeller som de fr\u00e5n Pika Labs eller Stable Video Diffusion har kommit l\u00e5ngt under de senaste 12 m\u00e5naderna, men realismen och kontinuiteten i r\u00f6relsen \u00e4r fortfarande lite klumpig.<\/p>\n

Lumiere inneb\u00e4r ett stort steg fram\u00e5t inom TTV tack vare ett nytt s\u00e4tt att generera video som \u00e4r rumsligt och tidsm\u00e4ssigt sammanh\u00e4ngande. Med andra ord \u00e4r m\u00e5let att scenerna i varje bildruta ska vara visuellt konsekventa och att r\u00f6relserna ska vara mjuka.<\/p>\n

Vad kan Lumiere g\u00f6ra?<\/h2>\n

Lumiere har en rad olika funktioner f\u00f6r videogenerering, bland annat f\u00f6ljande:<\/p>\n

    \n
  • Text-till-video<\/strong> - Ange en textfr\u00e5ga och Lumiere genererar ett 5 sekunder l\u00e5ngt videoklipp best\u00e5ende av 80 bilder med 16 bilder per sekund.<\/li>\n
  • Bild-till-video<\/strong> - Lumiere tar en bild som utg\u00e5ngspunkt och f\u00f6rvandlar den till en video.<\/li>\n
  • Stylized generation<\/strong> - En bild kan anv\u00e4ndas som stilreferens. Lumiere anv\u00e4nder en textprompt f\u00f6r att generera en video i samma stil som referensbilden.<\/li>\n
  • Stilisering av video<\/strong> - Lumiere kan redigera en k\u00e4llvideo s\u00e5 att den matchar ett stilistiskt textmeddelande.<\/li>\n
  • Filmsekvenser<\/strong> - V\u00e4lj ett omr\u00e5de i en stillbild s\u00e5 animerar Lumiere den delen av bilden.<\/li>\n
  • Inm\u00e5lning av video<\/strong> - Lumiere kan ta en maskerad videoscen och m\u00e5la in den f\u00f6r att slutf\u00f6ra videon. Den kan ocks\u00e5 redigera k\u00e4llvideon genom att ta bort eller ers\u00e4tta element i scenen.<\/li>\n<\/ul>\n

    Videon nedan visar n\u00e5gra av de imponerande videor som Lumiere kan generera.<\/p>\n