3D-GPT генерирует трехмерные окружения на основе текстовых подсказок.
В сотрудничестве Австралийского национального университета, Оксфордского университета и Пекинской академии искусственного интеллекта исследователи представили систему искусственного интеллекта под названием "3D-GPT".
Этот сложный набор агентов искусственного интеллекта позволяет создавать 3D-среду с помощью простых текстовых подсказок.
Документ, доступный на сайте arXivОн демонстрирует оптимизированный и удобный подход к созданию 3D-активов, контрастирующий с запутанными рабочими процессами, связанными с традиционным 3D-моделированием.
Просто описав окружение, например "заснеженный пик с ярким солнечным светом на заднем плане", система искусственного интеллекта интерпретирует и дополняет описание окружения и использует его для создания кода, который может быть передан в программы трехмерной компьютерной графики, такие как Blender.
3D-GPT разбивает сложные задачи 3D-моделирования на управляемые сегменты, делегируя каждый из них специализированным агентам искусственного интеллекта.
Роли агента следующие:
- Агент диспетчеризации задач: Интерпретирует текстовые инструкции, предоставленные пользователем.
- Агент концептуализации: Обогащает первоначальное описание, заполняя все недостающие детали.
- Агент по моделированию: Устанавливает необходимые параметры и генерирует код для работы с 3D-программами, такими как Blender.
Используя эту агентную структуру, 3D-GPT может интерпретировать текстовые подсказки, дополнять описания дополнительным контекстом и создавать 3D-объекты, которые полностью соответствуют воображению пользователя.
Преобразование текста в 3D-миры
В статье описывается, как 3D-GPT может взять простую текстовую подсказку, например "туманное весеннее утро, где поцелованные росой цветы усеивают пышный луг, окруженный распускающимися деревьями", и вдохнуть в нее жизнь, создав богатую 3D-сцену с реалистичной графикой.
Хотя технология еще не достигла стадии фотореализма, результаты многообещающие.
Исследователи с оптимизмом смотрят в будущее, заявляя: "Наши эмпирические исследования подтверждают, что 3D-GPT не только интерпретирует и выполняет инструкции, выдавая надежные результаты, но и эффективно сотрудничает с человеческими дизайнерами".
Они считают, что их система "подчеркивает потенциал LLM в 3D-моделировании, предлагая базовую основу для будущих достижений в области создания сцен и анимации".
По мере развития таких технологий, как metaverse, инструменты, подобные 3D-GPT, могут стать незаменимыми.
Потенциальные области применения охватывают многие отрасли, включая игры, виртуальную реальность, кино и мультимедиа, делая создание 3D-контента более эффективным и доступным.
3D-GPT может вызвать тревогу у дизайнеров видеоигр и 3D-моделистов, которые уже подвергаются нападкам со стороны аналогичных инструментов, интегрированных в такие популярные платформы проектирования, как Unity.
