Gli strumenti di intelligenza artificiale possono creare immagini di identità digitali personalizzate, ma ciò comporta una messa a punto dei LoRA per ottenere buoni risultati. InstantID è un plugin a scatto zero che consente ai modelli di IA generativa di creare immagini coerenti utilizzando un'unica immagine del volto di riferimento.
Per far sì che un modello generativo crei immagini coerenti di una persona specifica è generalmente necessario utilizzare un LoRA.
LoRA, acronimo di Low-Rank Adaptation (adattamento a basso rango), è una tecnica utilizzata per adattare i modelli di generazione di immagini, senza riqualificarli completamente. Se si volesse rendere il proprio modello molto bravo a creare immagini di Taylor Swift, si creerebbe un LoRA ottimizzato su un gruppo di immagini di lei.
La creazione di LoRA richiede tempo, molte immagini di riferimento e molte risorse di elaborazione. InstantID cambia tutto questo e potrebbe segnare la fine dei LoRA per molte applicazioni.
Il team InstantX ha creato InstantID, un modello a scatto zero che non richiede formazione o messa a punto. Con un singolo volto come riferimento, InstantID può abilitare un modello di diffusione stabile da testo a immagine come SD1.5 o SDXL per creare più immagini della persona.
InsantID è finalmente uscito! Per ulteriori dettagli, consultare il documento. Il codice e i modelli pre-addestrati saranno rilasciati entro questo mese.
Carta: https://t.co/Oy4HtmdeGu
Pagina del progetto: https://t.co/gsZE5Q88jg
Codice: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17 gennaio 2024
Utilizza un componente IdentityNet che si concentra fortemente su elementi facciali specifici dell'immagine di riferimento piuttosto che su altri elementi dell'immagine di riferimento.
Uno dei grandi vantaggi di InstantID è la generazione coerente dei personaggi. Supponiamo che vogliate generare le immagini di un personaggio di un gioco o di una graphic novel che state realizzando. È estremamente difficile far sì che un generatore di immagini AI mantenga la coerenza dei tratti facciali del personaggio.
InstantID consente a un generatore di immagini AI di mantenere la sua funzionalità stilistica e altre funzionalità generative, pur conservando i tratti del viso ad alta fedeltà.
InstantID introduce anche rischi enormi. I LoRA sono una caratteristica importante di siti controversi come Civitaidove gli utenti li usavano per creare porno generati dall'intelligenza artificiale. Il sito ne è pieno, ma ci vuole lavoro e competenza per creare un LoRA decente.
InstantID probabilmente aprirà le porte ai falsi AI perché non è più necessario un LoRA o l'accesso a grandi quantità di potenza di calcolo cloud per creare un'immagine realistica di una persona specifica. Basta una foto.
In un caso di sfortunata ironia, il giornale ha utilizzato Taylor Swift in alcune delle sue immagini di esempio. La raffica di falsi Immagini NSFW di Taylor Swift che ha fatto il giro questa settimana è probabilmente un segno di ciò che accadrà.
Il team InstantX ha notato che InstantID consente "la potenziale creazione di immagini offensive o culturalmente inappropriate".
