Создание 3D-моделей из текста с помощью NVIDIA MAGIC3D

Nvidia, производитель графических процессоров, анонсировала Magic3D, генеративный искусственный интеллект (ИИ), который может создавать 3D-модели из текстового приглашения.

Magic3D создает 3D-модель сетки с цветной текстурой в течение 40 минут. Это происходит сразу после того, как компания ввела подсказку вроде «Синяя ядовитая лягушка сидит на водяной лилии». Полученный результат с улучшениями можно использовать в художественных сценах CGI или видеоиграх. Nvidia описывает Magic3D в своей научной статье как ответ на DreamFusion, модель преобразования текста в 3D, выпущенную исследователями Google в сентябре 2022 года.  Подобно тому, как DreamFusion использует модель преобразования текста в изображение для создания 2D-изображения, которое затем оптимизируется в объемные данные NeRF (поле нейронного излучения), Magic3D использует двухэтапный процесс, который берет грубую модель, созданную в низком разрешении, и оптимизирует ее к более высокому разрешению. По словам авторов статьи, получившийся в результате метод Magic3D может генерировать 3D-объекты в два раза быстрее, чем DreamFusion.

Magic3D также может выполнять редактирование 3D-сетки на основе подсказок. При наличии базовой подсказки и 3D-модели с низким разрешением текст можно изменить, чтобы изменить результирующую модель. Кроме того, авторы Magic3D проиллюстрировали сохранение одного и того же объекта в нескольких поколениях (концепция, известная как согласованность) и реализацию стиля 2D-изображения (например, кубистической картины) в 3D-модели.

У Nvidia хорошие возможности для развития ИИ. Графические процессоры компании могут создавать реалистичную графику с помощью шейдеров, которые сообщают каждому пикселю изображения, как отображать изображение при определенном освещении. Шейдер вычисляется для каждого пикселя, повторяясь для множества пикселей. Графические процессоры Nvidia могут быстро отображать изображения благодаря своей конструкции для одновременного выполнения нескольких простых вычислений, таких как затенение пикселей, в отличие от микропроцессоров Intel или ЦП общего назначения. 

Пол Пауэрс, основатель и генеральный директор Physna Inc., поделился своими мыслями о создании справедливого 3D-генеративного ИИ. Генеральный директор говорит, что генеративный ИИ победил в 2022 году, и поэтому фирма решила погрузиться в объединение 3D-печати и генеративного ИИ. Хотя Physna — это компания, занимающаяся поиском и анализом 3D-технологий, специализирующаяся на инженерных и дизайнерских приложениях в AR/VR и производстве, она создала очень простой прототип генеративного ИИ для 3D-моделей и сцен за 2 недели, используя всего 8000 моделей всего с 3 инженерами. Трехмерные модели обычно сложно создавать, они представлены в различных несовместимых форматах, и им уделялось мало внимания по сравнению с анализом двухмерных моделей (текст, изображения, видео и т. д.). 

Разработчики приложений могут воспользоваться преимуществами параллельной архитектуры GPU, используя модель параллельного программирования NVIDIA «CUDA». Модель параллельного программирования NVIDIA CUDA поддерживается всеми графическими процессорами NVIDIA, включая GeForce, Quadro и Tesla. 

Исследователи надеются, что Magic3D позволит любому создавать 3D-модели без специальной подготовки. После доработки получившаяся технология может ускорить разработку видеоигр (и виртуальной реальности) и, возможно, в конечном итоге найти применение в спецэффектах для кино и телевидения.