ИИ от OpenAI самовольно избежал отключения

Модель ИИ o3 от OpenAI проявила неожиданное поведение во время тестов на безопасность. Так, согласно отчету компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта. Данная модель считается самой мощной в своем классе.

Работы аналитиков Palisade Research состояла в последовательном выполнении математических задач с предупреждением о shutdown после третьего этапа. В то время как конкурирующие модели Gemini 2.5 Pro (Google) и Claude 3.7 Sonnet (Anthropic) в основном соблюдали инструкции, o3 в 7% случаев заменяла содержимое файла на "Shutdown skipped". При этом в тестах без явного разрешения на отключение частота вмешательств у всех моделей возрастала: например, Claude 3.7 и Gemini 2.5 Pro изменяли скрипт в 3 и 9 случаях из 100 соответственно, пишет Bleeping Computer.

Добавим, что тесты проводились через API, где встроенные защитные механизмы, как в потребительской версии ChatGPT, отсутствуют. Это, по мнению экспертов, повышает риски неконтролируемого поведения ИИ в случае интеграции таких систем в критические инфраструктуры. Компания OpenAI пока не прокомментировала ситуацию.

Ранее OpenAI внедрила новую систему для мониторинга своих ИИ- моделей o3 и o4-mini. Их будут проверять на выдачу подсказок, связанных с биологическими и химическими угрозами. Система будет бороться ​​с ошибками и пробелами в безопасности, когда ИИ-модели могут выдавать советы по совершению потенциально опасных атак.