Компьютер научили распознавать эмоции по видео

Исследователи из Санкт-Петербургского Федерального исследовательского центра РАН (СПб ФИЦ РАН) на базе нейросетей разработали программную систему MASAI, которая способна проанализировав видео, звук и текст распознать естественные эмоции человека. С ее помощью можно создать более эффективные цифровые помощники.

Система MASAI представлена в виде программного приложения, в которое можно загрузить любые аудиовизуальные данные. Нейросети, заложенные в основу системы, обучали на более чем десятке находящихся в свободном доступе баз данных с мультиязычной аудиовизуальной информацией. Кроме этого, были привлечены молодые актеры из театральных вузов России, чтобы они имитировали различные эмоции.

«В рамках решения этой задачи мы разработали интеллектуальную систему MASAI многомодального анализа видео, звука и текста для распознавания эмоций человека, например, радости, злости, грусти и прочих эмоциональных проявлений. Кроме того, программа может проводить сентимент-анализ информации – определять отношение человека к какому-либо событию: отрицательное, положительное или нейтральное», – цитирует одного из авторов разработки, руководителя лаборатории речевых и многомодальных интерфейсов СПб ФИЦ РАН Алексея Карпова издание «Хабр».

В результате программу научили распознавать семь базовых человеческих эмоций, которые используются в психологии: радость, грусть, страх, отвращение, удивление, злость и спокойствие.

Согласно заявлению ученых, чтобы и дальше внедрять ИИ и подобные системы, для начала их нужно обучить максимально точно распознавать весь спектр информации, которую транслирует пользователь – от речи, мимики и жестов до текстов. Также они должны хорошо работать в любых условиях, например, когда шумно или недостаточно освещения. В дальнейшем ИИ-сервисы даже смогут различать сарказм или иронию.

Карпов утверждает, что MASAI уже можно интегрировать в различные цифровые помощники, используемые в жизни человека, например, в телефонные службы скорой помощи или психологическую поддержку. Система показала, что она на 75-80% лучше других аналогичных программ распознает эмоции.

Ранее в Санкт-Петербурге исследователи Лаборатории языковой конвергенции НИУ ВШЭ Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», предназначенный для обучения ИИ. Он поможет нейросети распознавать человеческие эмоции.