Система искусственного интеллекта NVIDIA сегментирует 2D-изображения на 3D-модели

    Производитель графических процессоров NVIDIA представил PartPacker, систему на основе искусственного интеллекта, предназначенную для создания редактируемых 3D-моделей из одного 2D-изображения. В отличие от традиционных методов, создающих унифицированные сетки, PartPacker создает модели на основе деталей, что позволяет редактировать или анимировать отдельные компоненты отдельно для большей гибкости.

    Система предназначена для поддержки рабочих процессов в различных областях, включая 3D-печать, анимацию, игры и академические исследования, путем упрощения создания ресурсов и обеспечения более детальной настройки. Исследование, основанное на PartPacker, было разработано в сотрудничестве с Пекинским университетом и Стэнфордским университетом.

   PartPacker генерирует высокодетализованные 3D-объекты из одного 2D RGB-изображения, используя технику двойной объемной упаковки в архитектуре диффузионного трансформатора. Этот подход располагает детали во взаимосвязанных томах, каждый из которых можно редактировать или анимировать независимо для большей гибкости. Сеть системы интегрирует VAE вместе с моделью выпрямленного потока, уточняющей скрытые коды, обусловленные входным изображением. В отличие от традиционных методов, PartPacker одновременно генерирует два скрытых кода вместо одного, улучшая детализацию и контроль.

    PartPacker выдает 3D-треугольные сетки в формате GLB с разрешением до 512³, оптимизированным для ускорения графического процессора NVIDIA. Эта возможность способствует созданию высококачественных 3D-ресурсов, пригодных для игр, фильмов и интерактивных медиа. Кроме того, он поддерживает экспорт в популярные форматы 3D-печати, такие как STL и 3MF, что позволяет использовать рабочие процессы печати из нескольких материалов.

    Традиционные методы генерации 3D часто приводят к монолитным сеткам, ограничивающим модификацию отдельных деталей. PartPacker решает это ограничение, создавая модульные, редактируемые компоненты, обеспечивая гибкую альтернативу, которая выгодна для отраслей, требующих настраиваемых 3D-ресурсов. Эта технология позволяет создателям и исследователям создавать редактируемые 3D-модели на основе деталей из одного изображения, что позволяет реализовать рабочие процессы, ранее сложные или невозможные.

    Исследователи и разработчики могут получить доступ к PartPacker через репозиторий GitHub, предлагающий исходный код и сценарии обработки данных, необходимые для преобразования сетки. Кроме того, демонстрация в реальном времени, размещенная на Hugging Face позволяет пользователям загружать изображения и мгновенно создавать редактируемые 3D-модели. Предусмотренные модели VAE и Flow также доступны для загрузки для поддержки реконструкции сетки и 3D-генерации из изображений.

    В прошлом году Nvidia создала свой инструмент для преобразования текста в 3D модель Magic3D в ответ на предложение DreamFusion от Google и генеративный прототип искусственного интеллекта Physna Inc. Как описано в исследовательской работе, платформа искусственного интеллекта Nvidia использует двухэтапный метод, создающий приблизительную модель с низким разрешением, которая затем оптимизируется к более высокому разрешению. Magic3D также может редактировать 3D-сетки на основе подсказок. После загрузки базовой подсказки и 3D-модели с низким разрешением текст можно изменить, чтобы изменить результирующую модель.