Чат-бот рассказал о плане уничтожения людей

Исследователи Университета Карнеги-Меллона и Центра безопасности ИИ провели эксперимент по выявлению уязвимостей защиты популярных чат-ботов ChatGPT, Google Bard и Claude. С помощью хитрого запроса искусственный интеллект выдал план по уничтожению человечества. 

С момента массового распространения чат-ботов пользователи не раз пытались обойти защитные механизмы ИИ, которые запрещают выдавать опасную информацию. Однако юзерам все же удавалось обманывать чат-бот: он рассказывал о способе изготовления напалма, о том, как создать вредоносный код. После этого разработчики усилили меры безопасности, однако исследователи выяснили, что они все еще недостаточны. 

Чтобы запутать чат-боты, ученые Университета Карнеги-Меллона и Центра безопасности ИИ после каждого запроса оставляли «маскировку» из длинной последовательности различных символов. Это сработало – чат-боты с легкостью выдавали неправомерную информацию, в том числе план по уничтожению людей. 

Исследователи уже поделились результатами со специалистами OpenAI, Google и Anthropic – разработчиками чат-ботов, которые пообещали принять новые защитные меры.