Инструменты искусственного интеллекта могут создавать изображения персонализированных цифровых личностей, но для получения хороших результатов требуется точная настройка LoRA. InstantID - это плагин с нулевым снимком, который позволяет генеративным моделям ИИ создавать последовательные изображения, используя одно эталонное изображение лица.
Чтобы заставить генеративную модель создавать последовательные связные изображения конкретного человека, как правило, необходимо использовать LoRA.
LoRA, сокращение от Low-Rank Adaptation, - это техника, используемая для адаптации моделей генерации изображений без их полного переобучения. Если бы вы хотели, чтобы ваша модель действительно хорошо создавала изображения Тейлор Свифт, вы бы создали LoRA, настроенную на множестве ее изображений.
Создание LoRA требует времени, большого количества эталонных изображений и значительных ресурсов обработки. InstantID меняет все это и может положить конец LoRA для многих приложений.
Команда InstantX создала InstantID - модель с нулевым снимком, которая не требует обучения или тонкой настройки. Используя одно лицо в качестве эталона, InstantID позволяет использовать модель стабильной диффузии из текста в изображение, например SD1.5 или SDXL, для создания большего количества изображений человека.
InsantID наконец-то вышел! Ознакомьтесь с документом для получения более подробной информации. Код и предварительно обученные модели будут выпущены в течение этого месяца.
Бумага: https://t.co/Oy4HtmdeGu
Страница проекта: https://t.co/gsZE5Q88jg
Код: https://t.co/FlqTknoTxG pic.twitter.com/HiFUkOSYlB
- Фрэнк (Хаофан) Ванг (@Haofan_Wang) 17 января 2024 года
В нем используется компонент IdentityNet, который фокусируется на определенных элементах лица на эталонном изображении, а не на других элементах на эталонном изображении.
Одно из главных преимуществ InstantID - последовательная генерация персонажей. Допустим, вы хотите сгенерировать изображения персонажей для создаваемой вами игры или графического романа. Крайне сложно заставить генератор изображений с искусственным интеллектом сохранять последовательность черт лица персонажа.
InstantID позволяет генератору изображений ИИ сохранять стилистические и другие функции генерации, сохраняя при этом высокую точность передачи черт лица.
InstantID также представляет собой огромный риск. LoRAs - это большая особенность на противоречивые сайты, подобные Civitaiгде пользователи использовали их для создания порно, генерируемого искусственным интеллектом. Сайт пестрит ими, но чтобы сделать достойный LoRA, нужно потрудиться и набраться опыта.
InstantID, вероятно, откроет шлюзы для искусственного интеллекта, потому что для создания реалистичного образа конкретного человека больше не нужны ни LoRA, ни доступ к огромным вычислительным мощностям в облаке. Достаточно одной фотографии.
По досадной иронии судьбы, газета использовала Тейлор Свифт в ряде своих примеров. Шквал подделок Некрасивые изображения Тейлор Свифт которая впоследствии появилась на этой неделе, скорее всего, является признаком грядущих событий.
Команда InstantX отметила, что InstantID позволяет "потенциально создавать оскорбительные или культурно неприемлемые изображения".
