Нейросеть Kandinsky обучит роботов законам физики

Компания «Сбер» выпустила семейство генеративных моделей Kandinsky WM 1.0, которые способны генерировать соответствующие законам физики видео. Их будут использовать для обучения систем Physical AI, которые способны воспринимать физический мир, понимают его динамику и могут управлять реальными устройствами. Об этом редакции IT Speaker рассказали в компании.

В основе моделей лежит нейросеть Kandinsky 5.0 Video Lite. Ее дообучали на нескольких миллионах реальных видеосцен с камер роботов, беспилотных автомобилей и записях промышленных процессов. Кроме этого, специальные модели оценивали ролики на предмет сохранения формы объектов, геометрии и естественности движения. Благодаря этому ИИ сможет сгенерировать видео редких, сложных или опасных сценариев, которые в дальнейшем будут использовать для обучения роботов и беспилотного транспорта.

Особенность Physical AI заключает в том, что в открытом доступе нет достаточного количества видео, на которых можно было бы обучать ИИ, поскольку необходимые данные собирать дорого и сложно. Чтобы обучить модель необходимо миллионы часов записей, в то время как автомобиль с камерами и датчиками за год может накопить около 5000. Более того, когда речь идет о редких и сложных ситуациях, например, ДТП или экстремальная погода, то такие условия невозможно воспроизвести.

Видео, которые создают модели Kandinsky WM, длятся около пяти секунд и отражают отдельные действия, например, взял или положил, проехал перекресток или перестроился в другой ряд. Отмечается, что это первые ИИ, которые способны моделировать развитие сцены во времени и служить симуляторами для обучения и тестирования роботов.

«Чтобы просчитать, как поведет себя коробка на мокром конвейере, нужно знать огромное количество параметров, которых у нас нет. Есть кейсы, которые вообще не описывается уравнениями, например, поведение пешехода перед беспилотным автомобилем. Человек решает эту задачу не вычислением, а интуицией, накопленной из опыта. Наши модели учатся так же – на видео реального мира – и позволяют "прожить" виртуально даже те сценарии, которые опасно или невозможно воспроизвести», – заявил CTO Kandinsky, управляющий директор по исследованию данных «Сбера» Денис Димитров.

Kandinsky WM можно использовать для разработки беспилотного транспорта, от легковых автомобилей до грузовиков и роботакси. Также ИИ будет полезен компаниям в сфере промышленной автоматизации, исследователям, университетам и стартапам.

Ранее «Сбер» внедрил в «ГигаЧат» новые возможности для редактирования изображений. Например, пользователи теперь могут генерировать картинку из нескольких фото (до трех). Также можно детально редактировать полученный контент.