AI-tools kunnen beelden van gepersonaliseerde digitale identiteiten maken, maar dat vereist fijnafstemming van LoRA's om goede resultaten te krijgen. InstantID is een zero-shot plugin die generatieve AI-modellen in staat stelt om consistente afbeeldingen te maken met behulp van één enkele referentieafbeelding van het gezicht.
Om een generatief model consistente samenhangende beelden van een specifieke persoon te laten maken, moet je over het algemeen een LoRA gebruiken.
LoRA, kort voor Low-Rank Adaptation, is een techniek die wordt gebruikt om modellen voor het genereren van afbeeldingen aan te passen zonder ze volledig te hertrainen. Als je je model echt goed wilt maken in het maken van afbeeldingen van Taylor Swift, maak je een LoRA die is afgestemd op een heleboel afbeeldingen van haar.
Het maken van een LoRA kost tijd, veel referentiebeelden en veel verwerkingsmiddelen. InstantID verandert dat allemaal en kan het einde betekenen van LoRA's voor veel toepassingen.
Het InstantX Team heeft InstantID gemaakt, een zero-shot model dat geen training of fine-tuning nodig heeft. Met één gezicht als referentie kan InstantID een tekst-naar-beeld Stable Diffusion model zoals SD1.5 of SDXL gebruiken om meer afbeeldingen van de persoon te maken.
InsantID is eindelijk uit! Bekijk de paper voor meer details. De code en voorgetrainde modellen worden deze maand vrijgegeven.
Papier: https://t.co/Oy4HtmdeGu
Projectpagina: https://t.co/gsZE5Q88jg
Code: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17 januari 2024
Het gebruikt een IdentityNet-component die zich sterk richt op specifieke gezichtselementen in de referentieafbeelding in plaats van op andere elementen in de referentieafbeelding.
Een van de grote voordelen van InstantID is het consistent genereren van personages. Stel dat je afbeeldingen wilt genereren van een personage in een spel of stripverhaal dat je aan het maken bent. Het is extreem moeilijk om een AI beeldgenerator consistentie te laten behouden in de gelaatstrekken van het personage.
Met InstantID kan een AI-afbeeldingsgenerator zijn stilistische en andere generatieve functionaliteit behouden, terwijl de gelaatstrekken natuurgetrouw blijven.
InstantID introduceert ook enorme risico's. LoRA's zijn een groot kenmerk van controversiële sites zoals Civitaiwaar gebruikers ze zouden gebruiken om AI-gegenereerde porno te maken. De site staat er vol mee, maar het vergt werk en expertise om een fatsoenlijke LoRA te maken.
InstantID zal waarschijnlijk de sluizen voor AI-vervalsing openen, omdat je niet langer een LoRA of toegang tot massa's rekenkracht in de cloud nodig hebt om een realistische afbeelding van een specifiek persoon te maken. Je hebt maar één foto nodig.
In een geval van ongelukkige ironie gebruikte de krant Taylor Swift in een aantal van haar voorbeeldafbeeldingen. De vlaag van nep NSFW Taylor Swift-beelden die deze week de ronde deed, is waarschijnlijk een teken van wat komen gaat.
Het InstantX-team merkte op dat InstantID "de mogelijkheid biedt om aanstootgevend of cultureel ongepast beeldmateriaal te maken".
