17:50 / 17 ноября 2026
ИИ от OpenAI самовольно избежал отключения - IT Speaker, новости информационных технологий
Модель ИИ o3 от OpenAI проявила неожиданное поведение во время тестов на безопасность. Так, согласно отчету компании Palisade Research, специализирующейся на изучении рисков ИИ, система 7 раз из 100 попыток проигнорировала прямые инструкции на отключение, изменяя код shutdown-скрипта. Данная модель считается самой мощной в своем классе.
Работы аналитиков Palisade Research состояла в последовательном выполнении математических задач с предупреждением о shutdown после третьего этапа. В то время как конкурирующие модели Gemini 2.5 Pro (Google) и Claude 3.7 Sonnet (Anthropic) в основном соблюдали инструкции, o3 в 7% случаев заменяла содержимое файла на "Shutdown skipped". При этом в тестах без явного разрешения на отключение частота вмешательств у всех моделей возрастала: например, Claude 3.7 и Gemini 2.5 Pro изменяли скрипт в 3 и 9 случаях из 100 соответственно, пишет Bleeping Computer.
Добавим, что тесты проводились через API, где встроенные защитные механизмы, как в потребительской версии ChatGPT, отсутствуют. Это, по мнению экспертов, повышает риски неконтролируемого поведения ИИ в случае интеграции таких систем в критические инфраструктуры. Компания OpenAI пока не прокомментировала ситуацию.
Ранее OpenAI внедрила новую систему для мониторинга своих ИИ- моделей o3 и o4-mini. Их будут проверять на выдачу подсказок, связанных с биологическими и химическими угрозами. Система будет бороться с ошибками и пробелами в безопасности, когда ИИ-модели могут выдавать советы по совершению потенциально опасных атак.
Поделиться новостью
17:50 / 17 ноября 2026
17:10 / 17 ноября 2026
16:30 / 17 ноября 2026
15:50 / 17 ноября 2026
«Сбер» представил портативную умную колонку
16:30 / 17 ноября 2026
Cloud.ru займется национальной сертификацией ИТ-специалистов в облаках
15:50 / 17 ноября 2026
Соцсети и мессенджеры
Цифровизация
15:10 / 17 ноября 2026
VK Tech запустил подключение ИИ-агентов в проектах VK WorkSpace
13:50 / 17 ноября 2026