Microsoft внедрила функции для поимки ИИ-галлюцинаций

Компания Microsoft внедрила в облачную платформу Azure AI ряд новых функций безопасности, которые позволят отлавливать «галлюцинации» искусственного интеллекта, отслеживать потенциальные уязвимости, а также блокировать вредоносные запросы пользователей. 

Сами инструменты также разработаны на базе больших языковых моделей (LLM). В режиме онлайн функции будут направлять ИИ к безопасным выводам, отслеживать потенциально вредоносные подсказки от «проблемных» пользователей. Кроме того, инструменты смогут блокировать вредоносные подсказки из внешних источников, которые вынуждают ИИ-модель отойти от инструкций безопасности. 

Функции работают автоматически для GPT-4 и Llama 2, для менее популярных моделей пользователям придется включать их вручную. 

Вопрос поимки «галлюцинаций» чат-ботов стал актуальным после того, как пользователи стали фиксировать неадекватное поведение ряда моделей. Например, ChatGPT от компании OpenAI предлагал пользователям поискать ответ на их запрос самостоятельно или начинал хаотично переключаться между языками и выдавать несуществующие слова. Также актуален и вопрос борьбы с недобросовестными пользователями, которые ищут уязвимости в протоколах безопасности чат-ботов и вынуждают их выдавать запрещенную информацию.