Створення 3D-моделей із тексту за допомогою NVIDIA MAGIC3D

Nvidia, виробник графічних процесорів, анонсувала Magic3D, генеративний штучний інтелект (ШІ), який може створювати 3D моделі з текстового запиту.

Magic3D створює 3D-модель сітки з кольоровою текстурою протягом 40 хвилин. Це відбувається відразу після того, як компанія ввела підказку на кшталт «Синя отруйна жаба сидить на водяній лілії». Отриманий результат з покращеннями можна використовувати у художніх сценах CGI або відеоігорах. Nvidia описує Magic3D у своїй науковій статті як відповідь на DreamFusion, модель перетворення тексту на 3D, випущену дослідниками Google у вересні 2022 року. Подібно до того, як DreamFusion використовує модель перетворення тексту на зображення для створення 2D-зображення, яке потім оптимізується в об'ємні дані NeRF (поле нейронного випромінювання), Magic3D використовує двоетапний процес, який бере грубу модель, створену в низькій роздільній здатності, й оптимізує її до вищої роздільної здатності. За словами авторів статті, метод Magic3D, що вийшов в результаті, може генерувати 3D-об'єкти в два рази швидше, ніж DreamFusion.

Magic3D також може виконувати редагування 3D-сітки на основі підказок. За наявності базової підказки та 3D-моделі з низькою роздільною здатністю текст можна змінити, щоб змінити результат. Крім того, автори Magic3D проілюстрували збереження одного й того ж об'єкта в кількох поколіннях (концепція, відома як узгодженість) та реалізацію стилю 2D-зображення (наприклад, кубістичної картини) у 3D-моделі.

Nvidia має хороші можливості для розвитку ШІ. Графічні процесори компанії можуть створювати реалістичну графіку за допомогою шейдерів, які повідомляють кожному пікселю зображення, як відображати зображення за певного освітлення. Шейдер обчислюється для кожного пікселя, повторюючись для безлічі пікселів. Графічні процесори Nvidia можуть швидко відображати зображення завдяки своїй конструкції для одночасного виконання кількох простих обчислень, таких як затінення пікселів, на відміну від мікропроцесорів Intel або ЦП загального призначення.

Пол Пауерс, засновник та генеральний директор Physna Inc., поділився своїми думками про створення справедливого 3D-генеративного ШІ. Генеральний директор каже, що генеративний ШІ переміг у 2022 році, і тому фірма вирішила поринути в об'єднання 3D-друку та генеративного ШІ. Хоча Physna - це компанія, що займається пошуком та аналізом 3D-технологій, що спеціалізується на інженерних та дизайнерських додатках в AR/VR та виробництві, вона створила дуже простий прототип генеративного ШІ для 3D-моделей і сцен за 2 тижні, використовуючи всього 8000 моделей всього з 3 інженерами. Тривимірні моделі зазвичай складно створювати, вони представлені в різних несумісних форматах, і їм мало уваги приділялося в порівнянні з аналізом двомірних моделей (текст, зображення, відео і т. д.).

Розробники програм можуть скористатися перевагами паралельної архітектури GPU, використовуючи модель паралельного програмування NVIDIA «CUDA». Модель паралельного програмування NVIDIA CUDA підтримується всіма графічними процесорами NVIDIA, включаючи GeForce, Quadro та Tesla.

Дослідники сподіваються, що Magic3D дозволить будь-кому створювати 3D-моделі без спеціальної підготовки. Після доопрацювання технологія, що вийшла, може прискорити розробку відеоігор (і віртуальної реальності) і, можливо, в кінцевому підсумку знайти застосування в спецефектах для кіно і телебачення.