AI-verktøy kan lage bilder av personlige digitale identiteter, men det innebærer finjustering av LoRA-er for å få gode resultater. InstantID er en null-shot-plugin som gjør det mulig for generative AI-modeller å lage konsistente bilder ved hjelp av ett enkelt referansebilde av ansiktet.
For å få en generativ modell til å skape konsistente, sammenhengende bilder av en bestemt person, må du vanligvis bruke en LoRA.
LoRA, en forkortelse for Low-Rank Adaptation, er en teknikk som brukes til å tilpasse bildegenereringsmodeller uten å omskolere dem fullstendig. Hvis du ville gjøre modellen din virkelig god til å lage bilder av Taylor Swift, ville du laget en LoRA finjustert på en haug med bilder av henne.
Det tar tid å lage en LoRA, og det krever mange referansebilder og store prosesseringsressurser. InstantID endrer alt dette og kan bety slutten på LoRA for mange applikasjoner.
InstantX-teamet har utviklet InstantID, en null-bilde-modell som ikke krever noen opplæring eller finjustering. Med ett enkelt ansikt som referanse kan InstantID aktivere en tekst-til-bilde-modell med stabil diffusjon, som SD1.5 eller SDXL, for å skape flere bilder av personen.
InsantID er endelig ute! Se artikkelen for mer informasjon. Koden og de forhåndstrenede modellene vil bli utgitt i løpet av denne måneden.
Papir: https://t.co/Oy4HtmdeGu
Prosjektside: https://t.co/gsZE5Q88jg
Kode: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17. januar 2024
Den bruker en IdentityNet-komponent som fokuserer sterkt på spesifikke ansiktselementer i referansebildet i stedet for på andre elementer i referansebildet.
En av de store fordelene med InstantID er konsekvent karaktergenerering. La oss si at du ønsker å generere bilder av en figur i et spill eller en grafisk roman du holder på å lage. Det er ekstremt vanskelig å få en AI-bildegenerator til å opprettholde konsistens i karakterens ansiktstrekk.
InstantID gjør det mulig for en AI-bildegenerator å opprettholde stilistiske og andre generative funksjoner, samtidig som ansiktstrekkene bevares med høy troskap.
InstantID innebærer også en stor risiko. LoRA er en stor funksjon på kontroversielle nettsteder som Civitaihvor brukere ville bruke dem til å lage AI-generert porno. Nettstedet er fullt av dem, men det krever arbeid og ekspertise for å lage en anstendig LoRA.
InstantID vil sannsynligvis åpne slusene for AI-falsk, fordi du ikke lenger trenger en LoRA eller tilgang til massevis av datakraft i skyen for å skape et realistisk bilde av en bestemt person. Ett bilde er alt som trengs.
I et tilfelle av uheldig ironi brukte avisen Taylor Swift i en rekke av sine eksempelbilder. Strømmen av falske NSFW-bilder av Taylor Swift som senere denne uken har gått sin seiersgang, er sannsynligvis et tegn på hva som kommer til å skje.
InstantX-teamet bemerket at InstantID muliggjør "potensiell opprettelse av støtende eller kulturelt upassende bilder".
