Tencent представила нейросеть для создания 3D-моделей

Китайская компания Tencent анонсировала открытую модель машинного обучения Hunyuan3D, которая предназначена для генерации 3D-моделей на основе текстовых запросов или изображений.

Разработчики отметили, что существующие решения для генерации 3D-объектов часто работают медленно и не всегда точно понимают требования пользователей. Это и обусловливает их ограниченное применение в реальных проектах. В ответ на эту проблему команда Tencent разделила процесс генерации на два этапа.

На первом этапе используется диффузионная модель, которая создает несколько RGB-изображений объекта с разных ракурсов. Это нужно для более точного понимания деталей, необходимых для финальной модели. Как утверждают разработчики, этот этап занимает всего четыре секунды на соответствующем оборудовании.

На втором этапе нейросеть компилирует 3D-объект из полученных изображений, учитывая действия и шумы, возникающие в процессе работы диффузионной модели. Пользователи могут подавать запросы как на английском, так и на китайском языках.

Hunyuan3D можно запустить локально, но для этого потребуется 40 ГБ видеопамяти, хотя некоторые пользователи сообщают, что успешная работа возможна и с 20 ГБ VRAM на Nvidia RTX 3090.

Ранее американский стартап Exists разработал и запустил программу на базе искусственного интеллекта, которая сможет создавать видеоигры по текстовому запросу. Она называется GenAI.