В РФ создали «эмоциональный словарь» для ИИ

В Санкт-Петербурге исследователи Лаборатории языковой конвергенции НИУ ВШЭ Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», предназначенный для обучения ИИ. Он поможет нейросети распознавать человеческие эмоции. 

Как сообщили представители НИУ ВШЭ, ученые создали базу данных об эмоциональной речи для обучения ИИ на основе признаков из разных каналов коммуникации. Датасет состоит из 909 видеофрагментов, каждый из которых оценивался по шести базовым эмоциям в четырех форматах: полное видео, только аудио, только текст и только видеоряд без звука. 

«Большие языковые модели могут улавливать скрытые паттерны, которые мы, может быть, чувствуем на подсознательном уровне, но не можем формализовать. Наш датасет – это грамотно организованные, хорошо размеченные данные, приспособленные для работы с нейросетями. То, что раньше делал лингвист на основе словаря, теперь делают вычислительные модели, только их словарь должен быть организован по-другому. Вместо пары "слово – толкование" используется пара "текстовый фрагмент – эмоциональная метка"», – сказала Анастасия Колмогорова, заведующая Лабораторией языковой конвергенции НИУ ВШЭ – Санкт-Петербург. 

В ходе исследования ученые опровергли мнение о том, что именно интонация помогает лучше понимать эмоции. По новым данным, люди точнее распознают эмоции при чтении текста и просмотре полного видео со звуком. При прослушивании речи мнения расходились сильнее, а худший результат показало немое видео. 

Датасет уже применяется в реальных проектах. Например, исследовательская группа использовала его для анализа отзывов посетителей Владимиро-Суздальского музейного заповедника. Также с его помощью был разработан эмпатичный чат-бот для Эрмитажа, который может определять эмоции пользователей и реагировать на них. 

«Раньше для такого анализа нужны были огромные размеченные выборки и мощные вычислительные ресурсы. Сейчас достаточно показать нейросети несколько десятков качественных образцов из нашего датасета», – сказала Анастасия Колмогорова.

Ранее российские ученые создали ИИ-систему, которая может более точно понимать информацию об эмоциях пользователей. Это стало возможным благодаря тому, что она одновременно анализирует мимику, голос и речь. Такая ИИ-система на 10% превосходит лучшие алгоритмы такого рода, опирающиеся в своей работе на один источник данных об эмоциях.