В OpenAI ищут сотрудника, который скажет GPT «стоп»

Сэм Альтман рассказал о поиске руководителя отдела Preparedness (или ИБ) в его компании OpenAI. Это будет человек, который оценит риски ИИ-моделей и повлияет непосредственно на решения об их запуске.

«Это будет стрессовая работа, и вам придется сразу прыгнуть в самую гущу событий», – предупредил Альтман. Предыдущий глава отдела Александр Мадри был переведен на исследовательский проект в июле 2024 года; с тех пор постоянного руководителя нет, хотя временное управление взяли на себя Хоакин Киньонеро Кандела и Лилиан Вэн.

Однако preparedness – это не классическая команда кибербезопасности. Отдел занимается катастрофическими рисками от возможностей самих моделей: например, может ли ИИ помочь создать биооружие, найти уязвимости в критических системах, а также манипулировать людьми.

Таким образом, команда строит систему оценки этих способностей, определяет пороговые значения и встраивает их в процесс допуска к релизу – при превышении порогов требуются дополнительные меры защиты или полная блокировка запуска.

Ранее команда OpenAI выпустила GPT-5.2-Codex – новую модель для агентного программирования. Компания описывает ее как самую продвинутую в линейке Codex. Модель уже доступна платным пользователям ChatGPT в интерфейсе Codex.