Stability AI vient d'annoncer la sortie de son générateur de texte-image en temps réel appelé SDXL Turbo.
Lorsque vous utilisez des générateurs de texte-image AI, il y a généralement un temps d'attente d'au moins quelques secondes entre le message et l'image. Avec SDXL Turbo, l'image est générée en quelques millisecondes.
Ce qui est encore plus impressionnant, c'est que lorsque vous modifiez votre message, l'image change en temps réel, aussi vite que vous tapez.
La vidéo de démonstration de Stability AI vous donne une bonne idée de l'importance de cette innovation.
Diffusion Adversaire Distillation
La sauce secrète derrière cela est une nouvelle technique de distillation appelée Diffusion Adversaire Distillation (ADD).
Les modèles de diffusion standard (DM) sont à la base de la plupart des générateurs d'images d'IA et fournissent des images de haute qualité. Un modèle de diffusion part d'une image bruyante et élimine progressivement le bruit jusqu'à ce qu'elle ressemble à une image liée à l'invitation.
Le processus d'inférence avec un DM est un processus lent et itératif qui nécessite de nombreuses étapes et beaucoup de traitement informatique.
L'autre solution de génération d'images consiste à utiliser des réseaux adverbiaux génératifs (GAN). Un GAN joue un jeu contradictoire entre un générateur et un réseau neuronal discriminant. Les GAN produisent une image en une seule étape et sont donc très rapides.
Le problème des GAN est qu'ils ne s'adaptent pas bien à l'échelle et qu'ils peuvent parfois souffrir d'un effondrement de mode. Cela se produit lorsque le générateur reste bloqué dans un optimum local et ne produit qu'une variété limitée d'images.
ADD est une sorte de modèle hybride entre les deux approches. Il combine l'évolutivité et la qualité d'un DM avec la vitesse d'un GAN.
Et il est vraiment rapide. Lorsque SDXL Turbo est exécuté sur un Nvidia A100, il génère une image 512×512 en 207 ms.
Les poids du modèle et le code sont disponibles pour une utilisation non commerciale sur Hugging Face. Si vous voulez essayer la démo bêta, vous pouvez la consulter sur Clipdrop. La démo vous donne une idée de la vitesse, mais la qualité des images est réduite.
SDXL Turbo peut également être configuré pour utiliser 2 ou 4 étapes afin de générer une image d'une qualité encore meilleure.
De grandes implications
Votre première réaction sera peut-être le soulagement de ne pas avoir à attendre si longtemps pour que votre image soit générée, et c'est un grand avantage.
Mais SDXL Turbo va encore plus loin. Grâce à son approche de génération d'images en une seule étape, imaginez la puissance de calcul qui sera libérée.
La capacité de génération en temps réel signifie que vous pourriez éventuellement créer des animations ou des visuels dynamiques correspondant au texte d'une histoire en temps réel.
Cela fait à peine 4 mois que Stability AI a publié son modèle de diffusion amélioré, SDXL 1.0, qui était déjà très bon.
Lors de tests en aveugle, les utilisateurs ont préféré les images générées par SDXL Turbo en 4 étapes à celles générées par SDXL en 50 étapes. Une amélioration de l'efficacité de 12 fois en seulement quatre mois est étonnante.
On peut se demander quelle sera la qualité des générateurs d'images d'IA dans un an.
