Ученые-хакеры смогли взломать Gemini

Исследователи из Калифорнийского и Висконсинского университетов в США смогли создать технику, которая делает модели ИИ Gemini от Google более уязвимыми к атакам типа prompt injection, пишет Android Authority. Она получила название Fun-Tuning.

Атаки prompt injection представляют из себя тот тип, когда хакеры внедряют ложные промты (описание задачи) или модифицируют существующие. Благодаря уязвимости увеличивается вероятность взлома при помощи скрытых инструкций в тексте. Таким образом может произойти утечка информации, а также генерация неправильных или ложных ответов.

Чтобы разработать Fun-Tuning, специалисты использовали функцию тонкой настройки Gemini, которая в основном предназначена для того, чтобы обучать модели на пользовательских данных. Также они применили «странные» префиксы и суффиксы и смогли усилить подсказки.

Издание отмечает, что техника Fun-Tuning открывает новые возможности для взлома ИИ-моделей Gemini на основе prompt injection.

Ранее компания Google представила новую модель своего искусственного интеллекта, которая способна изложить собственные «мысли» на сложный вопрос. Она получила название Gemini 2.0 Flash Thinking.

Новая модель является экспериментальной. Предполагается, что она должна составить конкуренцию модели o1 от OpenAI. Согласно заявлению главного научного сотрудника Google DeepMind Джеффа Дина, модель обучили «использовать мысли для усиления своих рассуждений».