17:50 / 17 ноября 2026
Microsoft внедрила функции для поимки ИИ-галлюцинаций - IT Speaker, новости информационных технологий
Компания Microsoft внедрила в облачную платформу Azure AI ряд новых функций безопасности, которые позволят отлавливать «галлюцинации» искусственного интеллекта, отслеживать потенциальные уязвимости, а также блокировать вредоносные запросы пользователей.
Сами инструменты также разработаны на базе больших языковых моделей (LLM). В режиме онлайн функции будут направлять ИИ к безопасным выводам, отслеживать потенциально вредоносные подсказки от «проблемных» пользователей. Кроме того, инструменты смогут блокировать вредоносные подсказки из внешних источников, которые вынуждают ИИ-модель отойти от инструкций безопасности.
Функции работают автоматически для GPT-4 и Llama 2, для менее популярных моделей пользователям придется включать их вручную.
Вопрос поимки «галлюцинаций» чат-ботов стал актуальным после того, как пользователи стали фиксировать неадекватное поведение ряда моделей. Например, ChatGPT от компании OpenAI предлагал пользователям поискать ответ на их запрос самостоятельно или начинал хаотично переключаться между языками и выдавать несуществующие слова. Также актуален и вопрос борьбы с недобросовестными пользователями, которые ищут уязвимости в протоколах безопасности чат-ботов и вынуждают их выдавать запрещенную информацию.
Поделиться новостью
17:50 / 17 ноября 2026
17:10 / 17 ноября 2026
16:30 / 17 ноября 2026
15:50 / 17 ноября 2026
«Сбер» представил портативную умную колонку
16:30 / 17 ноября 2026
Cloud.ru займется национальной сертификацией ИТ-специалистов в облаках
15:50 / 17 ноября 2026
Соцсети и мессенджеры
Цифровизация
15:10 / 17 ноября 2026
VK Tech запустил подключение ИИ-агентов в проектах VK WorkSpace
13:50 / 17 ноября 2026