ИИ в России могут отучить придумывать факты - IT Speaker, новости информационных технологий

ИИ в России могут отучить придумывать факты

Редакция

13:10 / 01 июня 2026

Сотрудники Сибирского государственного университета науки и технологий имени академика Решетнева разработали способ, который должен помочь в борьбе с ложной информацией, выдаваемой ИИ. Технологию можно применять в образовании, на «Госуслугах», в медицине и юриспруденции.

Фотография freepik

В университете отмечают, что нейросети могут легко выдавать «галлюцинации». На данный момент для борьбы с неверной информацией используют RAG-системы: ИИ сначала ищет релевантную информацию в базе знаний, а затем на ее основе формирует ответ. Такая технология снижает риск появления «галлюцинаций», но из-за опечаток в тексте или неполноты базы данных нейросети все равно могут выдавать фейковые ответы.

«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», – цитирует заявление университета издание «РИА Новости».

Главным результатом стал прототип модуля, который анализирует диалог в режиме реального времени. Каждый ответ нейросети получает «балл уверенности». В случае обнаружения ошибки или сомнительной информации оператор немедленно получает сигнал об этом.

Также отмечается, что технология не имеет привязки к какой-то определенной нейросети, поэтому ее можно использовать на разных платформах. Она одинаково эффективна как в простых чат-ботах, так и в критически важных сервисах.

Ранее компания «Рексофт» представила на рынке новую разработку – Reksoft AI Compliance. Это универсальный акселератор на базе генеративного искусственного интеллекта, предназначенный для автоматизации полного цикла работы с документами – от первичного ознакомления до итоговой редакции.

Поделиться новостью