3D-GPT генерирует трехмерное окружение на основе текстовых подсказок

22 октября 2023 года

3D AI

В сотрудничестве Австралийского национального университета, Оксфордского университета и Пекинской академии искусственного интеллекта исследователи представили систему искусственного интеллекта под названием "3D-GPT". 

Этот сложный набор агентов искусственного интеллекта позволяет создавать 3D-среду с помощью простых текстовых подсказок.

Документ, доступный на сайте arXivОн демонстрирует оптимизированный и удобный подход к созданию 3D-активов, контрастирующий с запутанными рабочими процессами, связанными с традиционным 3D-моделированием.

Просто описав окружение, например "заснеженный пик с ярким солнечным светом на заднем плане", система искусственного интеллекта интерпретирует и дополняет описание окружения и использует его для создания кода, который может быть передан в программы трехмерной компьютерной графики, такие как Blender. 

3D-GPT разбивает сложные задачи 3D-моделирования на управляемые сегменты, делегируя каждый из них специализированным агентам искусственного интеллекта.

Роли агента следующие:

  1. Агент диспетчеризации задач: Интерпретирует текстовые инструкции, предоставленные пользователем.
  2. Агент концептуализации: Обогащает первоначальное описание, заполняя все недостающие детали.
  3. Агент по моделированию: Устанавливает необходимые параметры и генерирует код для работы с 3D-программами, такими как Blender.

Используя эту агентную структуру, 3D-GPT может интерпретировать текстовые подсказки, дополнять описания дополнительным контекстом и создавать 3D-объекты, которые полностью соответствуют воображению пользователя.

3D-GPT
Конвейер 3D-GPT для преобразования текстовых подсказок в 3D-графику. Источник: ArXiv.

Преобразование текста в 3D-миры

В статье описывается, как 3D-GPT может взять простую текстовую подсказку, например "туманное весеннее утро, где поцелованные росой цветы усеивают пышный луг, окруженный распускающимися деревьями", и вдохнуть в нее жизнь, создав богатую 3D-сцену с реалистичной графикой. 

Хотя технология еще не достигла стадии фотореализма, результаты многообещающие.

Исследователи с оптимизмом смотрят в будущее, заявляя: "Наши эмпирические исследования подтверждают, что 3D-GPT не только интерпретирует и выполняет инструкции, выдавая надежные результаты, но и эффективно сотрудничает с человеческими дизайнерами". 

Они считают, что их система "подчеркивает потенциал LLM в 3D-моделировании, предлагая базовую основу для будущих достижений в области создания сцен и анимации".

По мере развития таких технологий, как metaverse, инструменты, подобные 3D-GPT, могут стать незаменимыми. 

Потенциальные области применения охватывают многие отрасли, включая игры, виртуальную реальность, кино и мультимедиа, делая создание 3D-контента более эффективным и доступным. 

3D-GPT может вызвать тревогу у дизайнеров видеоигр и 3D-моделистов, которые уже подвергаются нападкам со стороны аналогичных инструментов, интегрированных в такие популярные платформы проектирования, как Unity.

Присоединяйтесь к будущему


ПОДПИСАТЬСЯ СЕГОДНЯ

Четко, лаконично, всесторонне. Получите представление о развитии искусственного интеллекта с помощью DailyAI

Сэм Джинс

Сэм - писатель в области науки и техники, работавший в различных AI-стартапах. Когда он не пишет, его можно найти за чтением медицинских журналов или копанием в коробках с виниловыми пластинками.

×

ЭКСКЛЮЗИВНЫЙ БЕСПЛАТНЫЙ PDF
Будьте впереди с DailyAI

Подпишитесь на нашу еженедельную рассылку и получите эксклюзивный доступ к последней электронной книге DailyAI: "Освоение инструментов искусственного интеллекта: Ваше руководство по повышению производительности в 2024 году".

* Подписываясь на нашу рассылку, вы принимаете наши Политика конфиденциальности и наш Условия и положения