17:50 / 17 ноября 2026
ИИ в России могут отучить придумывать факты - IT Speaker, новости информационных технологий
Сотрудники Сибирского государственного университета науки и технологий имени академика Решетнева разработали способ, который должен помочь в борьбе с ложной информацией, выдаваемой ИИ. Технологию можно применять в образовании, на «Госуслугах», в медицине и юриспруденции.
В университете отмечают, что нейросети могут легко выдавать «галлюцинации». На данный момент для борьбы с неверной информацией используют RAG-системы: ИИ сначала ищет релевантную информацию в базе знаний, а затем на ее основе формирует ответ. Такая технология снижает риск появления «галлюцинаций», но из-за опечаток в тексте или неполноты базы данных нейросети все равно могут выдавать фейковые ответы.
«Чтобы решить эту задачу, команда под руководством доцента кафедры систем автоматизированного и интеллектуального обеспечения Анастасии Поляковой проанализировала типовые сценарии "галлюцинаций" и создала их классификатор. Затем был разработан автоматизированный пайплайн стресс-тестирования: система генерирует тестовые запросы, сравнивает ответы с эталоном и оценивает точность с помощью специальных метрик и семантического сходства», – цитирует заявление университета издание «РИА Новости».
Главным результатом стал прототип модуля, который анализирует диалог в режиме реального времени. Каждый ответ нейросети получает «балл уверенности». В случае обнаружения ошибки или сомнительной информации оператор немедленно получает сигнал об этом.
Также отмечается, что технология не имеет привязки к какой-то определенной нейросети, поэтому ее можно использовать на разных платформах. Она одинаково эффективна как в простых чат-ботах, так и в критически важных сервисах.
Ранее компания «Рексофт» представила на рынке новую разработку – Reksoft AI Compliance. Это универсальный акселератор на базе генеративного искусственного интеллекта, предназначенный для автоматизации полного цикла работы с документами – от первичного ознакомления до итоговой редакции.
Поделиться новостью
17:50 / 17 ноября 2026
17:10 / 17 ноября 2026
16:30 / 17 ноября 2026
15:50 / 17 ноября 2026
«Сбер» представил портативную умную колонку
16:30 / 17 ноября 2026
Cloud.ru займется национальной сертификацией ИТ-специалистов в облаках
15:50 / 17 ноября 2026
Соцсети и мессенджеры
Цифровизация
15:10 / 17 ноября 2026
VK Tech запустил подключение ИИ-агентов в проектах VK WorkSpace
13:50 / 17 ноября 2026