Les outils d'IA peuvent créer des images d'identités numériques personnalisées, mais cela implique de peaufiner les LoRA pour obtenir de bons résultats. InstantID est un plugin qui permet aux modèles génératifs d'IA de créer des images cohérentes à partir d'une seule image de référence du visage.
Pour qu'un modèle génératif crée des images cohérentes d'une personne spécifique, il faut généralement utiliser un LoRA.
LoRA, abréviation de Low-Rank Adaptation, est une technique utilisée pour adapter les modèles de génération d'images, sans les réentraîner complètement. Si vous voulez que votre modèle soit très performant pour créer des images de Taylor Swift, vous devez créer une LoRA affinée à partir d'un grand nombre d'images de la chanteuse.
La création de la LoRA prend du temps, nécessite un grand nombre d'images de référence et beaucoup de ressources de traitement. InstantID change tout cela et pourrait sonner le glas des LoRA pour de nombreuses applications.
L'équipe InstantX a créé InstantID, un modèle sans prise de vue qui ne nécessite aucune formation ou mise au point. Avec un seul visage comme référence, InstantID peut permettre à un modèle de diffusion stable texte-image comme SD1.5 ou SDXL de créer d'autres images de la personne.
InsantID est enfin disponible ! Consultez l'article pour plus de détails. Le code et les modèles pré-entraînés seront publiés dans le courant du mois.
Papier : https://t.co/Oy4HtmdeGu
Page du projet : https://t.co/gsZE5Q88jg
Code : https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17 janvier 2024
Il utilise un composant IdentityNet qui se concentre fortement sur des éléments faciaux spécifiques de l'image de référence plutôt que sur d'autres éléments de l'image de référence.
L'un des grands avantages d'InstantID est la cohérence de la génération des personnages. Imaginons que vous souhaitiez générer des images d'un personnage dans un jeu ou un roman graphique que vous êtes en train de créer. Il est extrêmement difficile de faire en sorte qu'un générateur d'images IA maintienne la cohérence des traits du visage du personnage.
InstantID permet à un générateur d'images d'IA de conserver ses fonctionnalités stylistiques et génératives tout en conservant des caractéristiques faciales très fidèles.
L'identification instantanée présente également des risques considérables. Les LoRAs sont une caractéristique importante des des sites controversés comme Civitaioù les utilisateurs s'en serviraient pour créer du porno généré par l'IA. Le site en est truffé, mais il faut du travail et de l'expertise pour créer un LoRA décent.
InstantID ouvrira probablement les vannes de l'IA car il n'est plus nécessaire de disposer d'un LoRA ou d'avoir accès à une puissance informatique considérable pour créer une image réaliste d'une personne spécifique. Une seule photo suffit.
Par une ironie malheureuse, le journal a utilisé Taylor Swift dans un certain nombre de ses images d'exemple. La vague de faux Images NSFW de Taylor Swift qui a fait le tour de la toile cette semaine est probablement un signe des choses à venir.
L'équipe InstantX a noté que InstantID permet "la création potentielle d'images offensantes ou culturellement inappropriées".
