KI-Tools können Bilder von personalisierten digitalen Identitäten erstellen, aber das erfordert eine Feinabstimmung der LoRAs, um gute Ergebnisse zu erzielen. InstantID ist ein Zero-Shot-Plugin, das es generativen KI-Modellen ermöglicht, anhand eines einzigen Referenzgesichtsbildes konsistente Bilder zu erstellen.
Um ein generatives Modell dazu zu bringen, konsistente, kohärente Bilder einer bestimmten Person zu erstellen, müssen Sie im Allgemeinen eine LoRA verwenden.
LoRA, die Abkürzung für Low-Rank Adaptation, ist eine Technik zur Anpassung von Bilderzeugungsmodellen, ohne sie vollständig neu zu trainieren. Wenn Sie Ihr Modell wirklich gut darin machen wollten, Bilder von Taylor Swift zu erstellen, würden Sie eine LoRA erstellen, die mit einer Reihe von Bildern von ihr fein abgestimmt ist.
Die Erstellung von LoRAs erfordert Zeit, eine Menge Referenzbilder und jede Menge Verarbeitungsressourcen. InstantID ändert all das und könnte das Ende von LoRAs für viele Anwendungen bedeuten.
Das InstantX-Team hat InstantID entwickelt, ein Zero-Shot-Modell, das weder Training noch Feinabstimmung erfordert. Mit einem einzigen Gesicht als Referenz kann InstantID ein Text-zu-Bild-Stable-Diffusion-Modell wie SD1.5 oder SDXL aktivieren, um weitere Bilder der Person zu erstellen.
InsantID ist endlich da! Weitere Einzelheiten finden Sie in der Veröffentlichung. Der Code und die vortrainierten Modelle werden noch in diesem Monat veröffentlicht.
Papier: https://t.co/Oy4HtmdeGu
Projektseite: https://t.co/gsZE5Q88jg
Code: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Frank (Haofan) Wang (@Haofan_Wang) 17. Januar 2024
Es verwendet eine IdentityNet-Komponente, die sich stark auf bestimmte Gesichtselemente im Referenzbild konzentriert und nicht auf andere Elemente im Referenzbild.
Einer der großen Vorteile von InstantID ist die konsistente Charaktererstellung. Nehmen wir an, Sie wollten Bilder einer Figur für ein Spiel oder einen grafischen Roman generieren, an dem Sie arbeiten. Es ist extrem schwierig, einen KI-Bildgenerator dazu zu bringen, die Konsistenz der Gesichtszüge der Figur zu erhalten.
InstantID ermöglicht es einem KI-Bildgenerator, seine stilistischen und anderen generativen Funktionen beizubehalten und gleichzeitig die Gesichtszüge originalgetreu wiederzugeben.
InstantID birgt auch große Risiken. LoRAs sind ein wichtiges Merkmal von umstrittene Websites wie Civitaiauf, wo die Nutzer sie zur Erstellung von KI-generierten Pornos verwenden. Die Website ist voll davon, aber es erfordert Arbeit und Fachwissen, um eine anständige LoRA zu erstellen.
InstantID wird wahrscheinlich die Schleusen für KI-Fälschungen öffnen, denn man braucht keine LoRA mehr und auch keinen Zugang zu Unmengen von Cloud-Rechenleistung, um ein realistisches Bild einer bestimmten Person zu erstellen. Ein Foto ist alles, was man braucht.
In einem Fall von unglücklicher Ironie verwendete die Zeitung Taylor Swift in einer Reihe ihrer Beispielbilder. Die Aufregung um gefälschte NSFW Taylor Swift Bilder die in dieser Woche die Runde machte, ist wahrscheinlich ein Zeichen für die Zukunft.
Das InstantX-Team stellte fest, dass InstantID "die potenzielle Erstellung von anstößigen oder kulturell unangemessenen Bildern" ermöglicht.
