ChatGPT заговорил голосом пользователей

Некоторые пользователи столкнулись с тем, что нейросеть ChatGPT неожиданно начала разговаривать клонированным голосом пользователей, пишет Ars Technica. Это произошло при использовании нового режима голосового общения.

В OpenAI заявили, что это произошло случайно. Компания уже приняла меры и начала использовать систему обнаружения несанкционированного генерирования звуков, чтобы в дальнейшем такого не повторилось. Отмечается, что такое поведение сети крайне редко и было зафиксировано лишь на стадии тестирования.

Пользователи столкнулись с таким поведением ChatGPT, когда шумный входной сигнал заставил модель несанкционированно воспроизвести голос пользователя вместо стандартного.

Отмечается, что компания хочет предотвратить злоупотребление нейросетью в плохих целях. Чтобы злоумышленники не смогли воспроизвести чей-либо голос, после прослушивания короткого аудиофрагмента.

Ранее компания OpenAI начала рассматривать возможность добавления текстовых водяных знаков в нейросеть ChatGPT, чтобы студенты не смогли использовать ее для списывания. Технология уже разработана, но не выпущена.

Компания изучала не просто водяные знаки, а также классификаторы и метаданные, которые рассматривала в рамках «обширного исследования в области происхождения текста». Однако она столкнулась с некоторыми проблемами: технология работала некорректно, когда сталкивалась с использованием систем перевода, переформулировкой с помощью другой генеративной модели или просьбой к модели вставить специальный символ между каждым словом, а затем удалить его.