Nvidia научилась превращать текст в видео

Nvidia, компания-разработчик графических процессоров и видеокарт, совместно с Корнельским университетом (США) представила новую ИИ-модель под названием VideoLDM. Она способна генерировать видео на основе текстового описания. 

В основе модели VideoLDM лежит нейросеть Stable Diffusion, которая имеет около 4,1 млрд параметров, 2,7 млрд из которых были использованы для обучения. Как рассказали в Nvidia, нейросеть может генерировать сцены вождения авто. Такие видеоролики имеют большую продолжительность — целых 5 минут, впрочем, максимальное разрешение — всего 1024×512 пикселей (разрешение любого видео, сгенерированного этой нейросетью, не превышает 2048х1280 пикселей). 

Если пользователь хочет смоделировать конкретный сценарий, сперва нейросеть создает первый кадр, после чего на его основе создаются правдоподобные видеоролики. Кроме того, модель делает мультимодальные прогнозы сценариев вождения, генерируя несколько реалистичных видео на основе первого кадра. 

На данный момент представленная нейросеть является исследовательским проектом, пока неясно, когда NVIDIA откроет публичный доступ. 

Ранее мы писали, что «Яндекс» начал набирать сотрудников с гуманитарным образованием для обучения собственной нейросети YaLM 2.0 — аналога популярного чат-бота ChatGPT. Новые члены команды «Яндекса» будут выполнять роль AI-тренеров или их руководителей. Оклад на этой должности может составить 150 тыс. руб. 

Читайте также: 

• ИИ научился распознавать простуду по голосу

• Дары бессмертия: «оживить» умерших можно будет с помощью VR