Система штучного інтелекту NVIDIA сегментує 2D-зображення на 3D-моделі

    Виробник графічних процесорів NVIDIA представив PartPacker, систему на основі штучного інтелекту, призначену для створення редагованих 3D-моделей з одного 2D-зображення. На відміну від традиційних методів, які створюють уніфіковані сітки, PartPacker створює моделі на основі деталей, що дозволяє редагувати або анімувати окремі компоненти окремо для більшої гнучкості.

   Система призначена для підтримки робочих процесів у різних галузях, включаючи 3D-друк, анімацію, ігри та академічні дослідження, шляхом спрощення створення ресурсів та забезпечення більш детального налаштування. Дослідження, що лежить в основі PartPacker, було розроблено у співпраці з Пекінським університетом та Стенфордським університетом.

       PartPacker генерує високодеталізовані 3D-об'єкти з одного 2D RGB-зображення, використовуючи техніку подвійного об'ємного пакування в архітектурі дифузійного трансформатора. Цей підхід розташовує деталі у взаємопов'язані томи, кожен з яких можна редагувати або анімувати незалежно для більшої гнучкості. Мережа системи інтегрує VAE разом із моделлю випрямленого потоку, яка уточнює приховані коди, зумовлені вхідним зображенням. На відміну від традиційних методів, PartPacker одночасно генерує два приховані коди замість одного, покращуючи деталізацію та контроль.

PartPacker видає 3D-трикутні сітки у форматі GLB з роздільною здатністю до 512³, оптимізованим для прискорення графічного процесора NVIDIA. Ця можливість сприяє створенню високоякісних 3D-ресурсів, придатних для ігор, фільмів та інтерактивних медіа. Крім того, він підтримує експорт у популярні формати 3D-друку, такі як STL та 3MF, що дозволяє використовувати робочі процеси друку з кількох матеріалів.

    Традиційні методи генерації 3D часто призводять до монолітних сіток, які обмежують модифікацію окремих деталей. PartPacker вирішує це обмеження, створюючи модульні, редаговані компоненти, забезпечуючи гнучку альтернативу, яка вигідна для галузей, що потребують налаштовуваних 3D-ресурсів. Ця технологія дозволяє творцям та дослідникам створювати редаговані 3D-моделі на основі деталей з одного зображення, що дозволяє реалізувати робочі процеси, які раніше були складними або неможливими.

    Дослідники та розробники можуть отримати доступ до PartPacker через репозиторій GitHub, який пропонує вихідний код та сценарії обробки даних, необхідні для перетворення сітки. Крім того, демонстрація в реальному часі, розміщена на Hugging Face, дозволяє користувачам завантажувати зображення та миттєво створювати редаговані 3D-моделі. Попередньо навчені моделі VAE та Flow також доступні для завантаження для підтримки реконструкції сітки та 3D-генерації з зображень.

    Минулого року Nvidia створила свій інструмент для перетворення тексту в 3D-модель Magic3D у відповідь на пропозицію DreamFusion від Google та генеративний прототип штучного інтелекту Physna Inc. для 3D-моделей та сцен. Як описано в дослідницькій роботі, платформа штучного інтелекту Nvidia використовує двоетапний метод, який створює приблизну модель з низькою роздільною здатністю, яка потім оптимізується до вищої роздільної здатності. Magic3D також може виконувати редагування 3D-сітки на основі підказок. Після завантаження базової підказки та 3D-моделі з низькою роздільною здатністю текст можна змінити, щоб змінити результуючу модель.