Исследование: ИИ не способен к рассуждению

Ученые из Университета штата Аризона (США) провели исследование, которое ставит под сомнение возможность «процесса мышления» у ИИ. Большие языковые модели (БЯМ) зачастую дают несогласованные и логически некорректные ответы, если вопросы содержат не относящиеся к делу пункты или незначительно отклоняются от стандартных паттернов.

В своей работе специалисты показали, что БЯМ не являются «мыслителями», а скорее имитируют рассуждения. Для проверки этого предположения была создана DataAlchemy – среда для обучения ИИ, в которой получилось измерить эффективность рассуждений по принципу «цепочки мысли» при решении логических задач, выходящих за рамки данных, использованных для обучения модели.

Исследование ученых показало, что значительные скачки производительности, наблюдаемые у моделей, использующих «цепочку мысли», являются «в значительной степени миражом», который «становится ненадежным и подверженным ошибкам даже при умеренных изменениях распределения данных». Авторы утверждают, что вместо демонстрации истинного понимания текста, рассуждения по методу «цепочки мысли» при изменении задач, БЯМ прибегают к воспроизведению шаблонов, которые были изучены ими при обучении.

Ученые добавляют, что их анализ подчеркивает необходимость дальнейших исследований в области разработки более надежных и обобщающих моделей искусственного интеллекта, способных справляться с нестандартными задачами.

Однако проникновение ИИ в жизнь людей продолжается и не остановится, несмотря на мнение ученых. Так, в 2025 году объем российского рынка платформ для обучения и работы моделей искусственного интеллекта превысит 15 млрд рублей, а среднегодовой рост составит около 20%. Такие данные приводят аналитики MWS Cloud (входит в группу МТС). Основной тренд – упрощение и ускорение процессов обучения ИИ, автоматизация работы с моделями и снижение затрат. При этом бизнес все чаще требует готовые решения, не требующие сложных настроек.