GPT-5 прошла Pokemon Crystal быстрее, чем другие ИИ

В рамках эксперимента GPT-5 завершила прохождение игры Pokemon Crystal, справившись с игрой за 9 517 шагов – примерно в 2,8 раза эффективнее, чем модель прошлого поколения GPT o3 (27 040 шагов).

В комментариях к победе над финальным боссом Red пользователи в шутку называют игру «самым важным бенчмарком», хотя другие критикуют подобные эксперименты за отсутствие стандартизации.

Эксперты подчеркивают, что существующие сейчас ИИ используют для прохождения игр вроде Pokemon Red и Crystal так называемый scaffolding – обвязку из инструментов, помогающих модели «видеть», что происходит в игре: данные из RAM, анализ скриншотов, внешняя память для записи важной информации и так далее.

Добавим, что во время прохождения Pokemon Crystal GPT-5 показала лучшее пространственное мышление, быстро проходя лабиринты, вроде базы Team Rocket и пазла с Farfetch’d. Также модель хорошо планировала долгие цепочки действий, совершая по 100+ шагов без галлюцинаций вроде попыток нажать на несуществующую кнопку или вызвать неправильное меню. В случае ошибок – GPT-5 анализировала их и меняла тактику.

Ранее журналист и исследователь Максим Лотт создал сайт под названием Tracking AI. В нем собраны результаты разных IQ‑тестов для ИИ и их ответы на политические вопросы. Это позволяет в режиме реального времени сравнить разные модели между собой.