AI-verktyg kan skapa bilder av personliga digitala identiteter, men det innebär att man måste finjustera LoRA för att få bra resultat. InstantID är ett noll-shot-plugin som gör det möjligt för generativa AI-modeller att skapa konsekventa bilder med hjälp av en enda referensansiktsbild.
För att få en generativ modell att skapa konsekventa och sammanhängande bilder av en viss person behöver du i allmänhet använda en LoRA.
LoRA, en förkortning för Low-Rank Adaptation, är en teknik som används för att anpassa bildgenereringsmodeller utan att helt omskola dem. Om du ville göra din modell riktigt bra på att skapa bilder av Taylor Swift, skulle du skapa en LoRA finjusterad på ett gäng bilder av henne.
Att skapa LoRA tar tid, många referensbilder och massor av bearbetningsresurser. InstantID ändrar på allt detta och kan innebära slutet för LoRA för många applikationer.
InstantX-teamet skapade InstantID, en nollbildsmodell som inte kräver någon utbildning eller finjustering. Med ett enda ansikte som referens kan InstantID göra det möjligt för en text-till-bild-modell med stabil diffusion som SD1.5 eller SDXL att skapa fler bilder av personen.
InsantID är äntligen ute! Läs mer i tidningen för mer information. Koden och de förtränade modellerna kommer att släppas inom denna månad.
Papper: https://t.co/Oy4HtmdeGu
Projektsida: https://t.co/gsZE5Q88jg
Kod: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17 januari 2024
Den använder en IdentityNet-komponent som fokuserar starkt på specifika ansiktselement i referensbilden snarare än på andra element i referensbilden.
En av de stora fördelarna med InstantID är konsekvent karaktärsgenerering. Låt oss säga att du vill generera bilder av en karaktär i ett spel eller en grafisk roman som du håller på att skapa. Det är extremt svårt att få en AI-bildgenerator att upprätthålla konsekvens i karaktärens ansiktsdrag.
InstantID gör det möjligt för en AI-bildgenerator att behålla sin stilistiska och andra generativa funktioner samtidigt som den behåller verklighetstrogna ansiktsdrag.
InstantID medför också stora risker. LoRA är ett stort inslag på kontroversiella webbplatser som Civitaidär användare skulle använda dem för att skapa AI-genererad porr. Webbplatsen är full av dem, men det krävs arbete och expertis för att skapa en anständig LoRA.
InstantID kommer sannolikt att öppna slussarna för AI-falsk eftersom du inte längre behöver en LoRA eller tillgång till massor av molnbaserad datorkraft för att skapa en realistisk bild av en specifik person. Ett foto är allt som krävs.
I ett fall av olycklig ironi använde tidningen Taylor Swift i ett antal av sina exempelbilder. Flödet av falska NSFW-bilder på Taylor Swift som sedan gick runt i veckan är sannolikt ett tecken på vad som komma skall.
InstantX-teamet noterade att InstantID möjliggör "potentiellt skapande av stötande eller kulturellt olämpliga bilder".
