«Сбер» научил ИИ понимать скорость времени при генерации видео - IT Speaker, новости информационных технологий

«Сбер» научил ИИ понимать скорость времени при генерации видео

Редакция

15:50 / 15 сентября 2026

Команда Kandinsky представила Time Adapter – надстройку к генеративным моделям, которая управляет динамикой событий и частотой кадров в видео. Решение позволяет модели понимать, как должно идти время в ролике. Код доступен разработчикам бесплатно под открытой лицензией MIT. Об этом IT Speaker рассказали в «Сбере».

Фотография freepik

Time Adapter – компактный модуль (меньше 1% от размера основной модели), который подключается к готовой нейросети. Он состоит из двух независимых блоков: один управляет частотой кадров (от 15 до 60 fps), другой – динамикой происходящего в каждый момент сцены. 

«Раньше скорость происходящего в кадре задавали только слова в промпте, а повлиять на реальную динамику в создаваемом видео было достаточно сложно. С помощью Time Adapter модель понимает, как процессы разворачиваются во времени, и умеет естественно задавать нужный ритм в любой сцене, а не заучивает готовые шаблоны. Это ключевое условие для обучения физического ИИ и будущих моделей мира: система должна точно понимать длительность и динамику каждого действия. Новый метод позволяет делать из моделей инструменты, которые лучше подчиняются замыслу человека – режиссера, инженера, разработчика робототехники, любого творческого пользователя», – прокомментировал Денис  Димитров, CTO Kandinsky, управляющий директор по исследованию данных «Сбера». 

Точный контроль времени повышает качество видео в различных сценариях, позволяет быстрее получить нужный результат и экономит бюджет на производстве контента. Среди основных сценариев: 

  • создание физически достоверных синтетических данных для обучения физического ИИ;

  • генерация пользовательских роликов без артефактов движения с произвольной динамичностью;

  • создание рекламных, кино- и музыкальных роликов со строгим контролем темпа;

  • упрощение обработки видео – получение эффектов замедления, ускорения и плавных переходов по темпу прямо в генерации, без отдельного специалиста по монтажу.

У Time Adapter есть два режима использования. В первом режиме адаптер обучается и далее подключается к предварительно обученной модели генерации видео: в этом случае движения становятся плавнее, при этом общий характер генерации не меняется. Во втором режиме модель дообучается совместно с адаптером – в этом случае меняется не только плавность движения, но и сама физика сцены. В результате возникает способность генерировать физические процессы, которые базовой моделью создавать не удавалось. 

Ранее редакция IT Speaker писала о том, что «Сбер» разрабатывает модель ИИ, которая одновременно способна говорить и слушать. Технология нового типа получила название «фулл-дуплекс». 



Поделиться новостью