Большие языковые модели смогли клонировать сами себя

Исследователи из Университета Фудань (Китай) выяснили, что две популярные большие языковые модели (LLM) могут клонировать себя, а затем программировать копии выполнять те же задачи, делая цикл репликации бесконечным.

Специалисты использовали модель Llama31-70B-Instruct от Meta* и Qwen2.5-72B-Instruct от Alibaba. В ходе десятка испытаний две модели ИИ создали функционирующие копии самих себя в 50% и 90% случаев соответственно. Это позволило исследователям предположить, что ИИ уже способен выходить из-под контроля.

В исследовании рассматривались два конкретных сценария: «избегание выключения» и «цепочка репликации». В первом случае модель ИИ была запрограммирована на обнаружение опасности выключения и на саморепликацию до этого момента. В другом случае ИИ поручили клонировать себя, а затем запрограммировать свою копию на повторение цикла.

Эксперимент проводился в контролируемых средах с использованием готовых графических процессоров для имитации реальных сред. Обеим моделям предоставили ​​«агентскую подсистему», включающую инструменты, системные подсказки и модель мышления для взаимодействия с операционной системой.

«В большинстве случаев система ИИ сначала исследует среду и пытается понять собственный состав и механизм работы. Затем она разрабатывает процедуры в качестве первоначального плана саморепликации. Наконец, она выполняет их, устраняет возможные препятствия и динамически корректирует свой план для достижения успеха. Весь процесс охватывает длительный горизонт, но при этом не требует вмешательства человека», — пишут исследователи.

Таким образом ИИ, по мнению ученых, перешел «красную черту». В частности, успешное самовоспроизведение без помощи человека стало важным шагом для ИИ, чтобы научиться перехитрить людей, а еще это ранний сигнал о склонности к мошенничеству, подчеркивают китайские исследователи.

Однако не всегда ИИ пытается мошенничать. Так, компания Sony создала и запатентовала нового цифрового помощника на базе ИИ. Он станет доступен геймерам, которые играют на PlayStation.

6 февраля компания подала две заявки на патент, одна из которых касается «разговорного цифрового ассистента». Технология должна помочь геймеру разобраться в игровом процессе, подсказывая ему какие кнопки за что отвечают. Также она будет предупреждать о приближении врага или давать подсказки через голос, текст или тактильную отдачу.

* Компания Meta признана экстремистской организацией и запрещена в России