Ученые предсказывают деградацию ИИ

Ученые Оксфордского университета полагают, что использование контента, созданного искусственным интеллектом (ИИ), для обучения новых нейросетей грозит деградацией модели. По их словам, это происходит, когда сгенерированные данные «приводят к необратимым дефектам в новых моделях», и они начинают выдавать бессмыслицу.

Согласно статье, опубликованной под руководством Ильи Шумайлова, исследователя Google DeepMind и Оксфордского постдокторанта, ИИ часто не распознает данные, которые встречаются в обучающих датасетах сравнительно редко. Это означает, что последующие модели, обученные на выходных данных, будут учитывать их еще реже. Обучение новых моделей на выходных данных более ранних моделей таким образом превращается в рекурсивную петлю. 

Доцент кафедры электротехники и вычислительной техники в университете Дьюка (США) Эмили Венгер продемонстриовала коллапс модели на примере генерации картинок с собаками. Согласно мнению специалистки, модель ИИ будет стремиться воссоздать породы собак, которые чаще встречались в ее тренировочном датасете, и будет чаще генерировать золотистых ретриверов по сравнению с, например, малыми вандейскими бассет-гриффонами, учитывая относительную распространенность двух пород. 

«При достаточном количестве циклов с переизбытком золотистых ретриверов модель вообще «забудет» о существовании малоизвестных пород собак и будет генерировать только картинки ретриверов. В конце концов произойдет коллапс модели, когда она окажется неспособна генерировать осмысленный контент», — отмечает Венгер. 

Подобные тенденции присутствуют и в работе с текстовыми датасетами. Авторы статьи привели пример, в котором первая модель генерировала тексты о европейской архитектуре в средние века, а младшая модель через восемь поколений могла выдать только бред про зайцев. 

Шумайлов и его коллеги считают, что обучение модели на сгенерированных данных возможно, но отрасль должна разработать эффективные средства фильтрации контента. 

Тем временем правительство больше беспокоится о безопасности ИИ-технологий. Так, компания Apple подписала добровольное обязательство Белого дома по разработке безопасного и заслуживающего доверия искусственного интеллекта. До этого похожее обязательство подписали 15 других разработчиков ИИ-продуктов, включая Amazon, Anthropic, Google, Inflection, Microsoft и OpenAI.