Ученые создали метод борьбы с галлюцинациями ИИ

Отечественные специалисты создали метод, позволяющий отслеживать появление галлюцинаций в работе систем ИИ и обнаруживать подобные сбои в их работе при использовании очень небольшого числа примеров для обучения. Новый подход примерно на 30% повышает точность выявления галлюцинаций.

«Мы показали, что даже при небольшом объеме данных можно добиться высокой точности ИИ-систем. Предложенный нами способ использует метамодели и умное понижение размерности – это прорыв в выявлении галлюцинаций искусственного интеллекта. Мы не просто улучшаем технологии, но и снижаем риски дезинформации, что критично для доверия к современным моделям», – заявил директор Центра практического искусственного интеллекта «Сбербанка» Глеб Гусев. Его слова публикует ТАСС.

Важно, что ключевой проблемой в разработке ИИ-технологий на базе больших языковых моделей и других продвинутых форм нейросетей является то, что они способны генерировать правдоподобные, но при этом ложные ответы. Для обнаружения подобных «галлюцинаций» ученые разработали несколько методов, однако для работы большинства из них требуются существенные объемы качественных размеченных данных для обучения.

Российские ученые разработали более простой и удобный подход, который опирается в своей работе на набор из алгоритмов, отслеживающих перемены в работе внутренних слоев системы ИИ в процессе выработки корректных ответов и галлюцинаций, а также на системы классификации, построенные на базе классических алгоритмов машинного обучения или быстродействующей нейросети-трансформера TabPFNv2.

Ранее стало известно, что в Санкт-Петербурге исследователи Лаборатории языковой конвергенции НИУ ВШЭ Анастасия Колмогорова и Елизавета Куликова разработали «словарь нового поколения», предназначенный для обучения ИИ. Он поможет нейросети распознавать человеческие эмоции.