Stability AI acaba de anunciar el lanzamiento de su vanguardista generador de texto a imagen en tiempo real llamado SDXL Turbo.
Cuando se utilizan generadores de texto a imagen de AI, suele haber al menos unos segundos de espera entre el mensaje y la imagen. Con SDXL Turbo la imagen se genera en milisegundos.
Lo que lo hace aún más impresionante es que, a medida que editas tu mensaje, la imagen cambia en tiempo real tan rápido como tecleas.
El vídeo de demostración de Stability AI da una idea de lo innovador que es.
Destilación por difusión adversarial
El secreto es una nueva técnica de destilación llamada Destilación por difusión adversarial (ADD).
Los modelos de difusión (DM) estándar están detrás de la mayoría de los generadores de imágenes de IA y proporcionan imágenes de alta calidad. Un DM parte de una imagen con ruido y lo va eliminando gradualmente hasta que se asemeja a una imagen relacionada con la petición.
El proceso de inferencia con un DM es un proceso lento e iterativo que requiere muchos pasos y mucho procesamiento informático.
La otra alternativa de generación de imágenes consiste en utilizar redes generativas adversariales (GAN). Una GAN juega un juego adversarial entre una red neuronal generadora y una red neuronal discriminadora. Las GAN producen una imagen en un solo paso, por lo que son realmente rápidas.
El problema de los GAN es que no escalan bien y a veces pueden sufrir un colapso de modo. Esto ocurre cuando el generador se atasca en un óptimo local y sólo produce una variedad limitada de imágenes.
ADD es una especie de modelo híbrido entre los dos enfoques. Combina la escalabilidad y calidad de un DM con la velocidad de un GAN.
Y es realmente rápido. Al ejecutar SDXL Turbo en una Nvidia A100 genera una imagen de 512×512 en 207 ms.
Los pesos del modelo y el código están disponibles para uso no comercial en Hugging Face. Si quieres probar la versión beta, puedes hacerlo en Clipdrop. La demo te da una idea de la velocidad, pero la calidad de las imágenes es reducida.
SDXL Turbo también puede configurarse para utilizar 2 ó 4 pasos para generar una imagen con una calidad aún mejor.
Grandes implicaciones
Tu primera reacción puede ser de alivio por no tener que esperar tanto a que se genere tu imagen, y eso es una gran ventaja.
Pero SDXL Turbo conseguirá mucho más. Con su enfoque de generación de imágenes en un solo paso, piensa en la cantidad de potencia de cálculo que se liberará.
La capacidad de generación en tiempo real significa que podrías crear animaciones o visuales dinámicos que se adapten al texto de una historia en tiempo real.
Hace apenas 4 meses que Stability AI lanzó su modelo de difusión mejorado, SDXL 1.0, que ya era realmente bueno.
En pruebas a ciegas, los usuarios prefirieron las imágenes generadas por SDXL Turbo en 4 pasos a las generadas por SDXL en 50 pasos. Una mejora de la eficiencia de 12 veces en solo cuatro meses es asombrosa.
Uno se pregunta cómo de buenos serán los generadores de imágenes de IA dentro de un año.
