YandexART создает видео с движущимися объектами

«Яндекс» запустил бета-версию нейросети YandexART (Vi), которая создает пятисекундные видео. Данную модель разработали с возможностью воссоздавать плавные движения объектов в кадре. Теперь можно создать видео с бегом собаки, падением листа с дерева или взрывом фейерверка, говорят в компании.  

Для того, чтобы получить плавное видео от YandexART (Vi), необходимо текстом описать то, что должно быть в кадре. После чего модель создает картинку, с которой начинается видео. Затем, пользуясь этим изображением и текстовым запросом, нейросеть превращает цифровой шум в последовательность кадров.

Предыдущая версия модели, генерирующая видео по текстовому промту, была представлена в августе 2023 года. Прошлогоднее решение создавало анимации, в которых двигалась камера, а не объект. Кроме того, отсутствовали плавные переходы от кадра к кадру. Чтобы нейросеть YandexART (Vi) могла создавать воссоздавать реалистичные видео, ее обучали на роликах с движущимися объектами, например, с автомобилем во время движения или крадущимся котом. 

Воспользоваться нейросетью могут как обычные пользователи, так специалисты различных областей. YandexART (Vi) уже доступна в приложении «Шедеврум». 

Ранее стало известно, что нейросеть Сбербанка GigaChat сможет возродить второй том романа Николая Гоголя «Мертвые души». Для того, чтобы GigaChat смог воссоздать роман, он прошел обучение у ведущих экспертов различных областей  – историков, литературоведов и биографов. Этот роман станет первым в мире, воссозданным нейросетью.