ChatGPT o3 – лучшая ИИ-модель для ученых

Специалисты Allen Institute запустили площадку SciArena для оценки полезности ИИ-моделей для ученых. К работе на сервисе допущены только ученые с минимум двумя собственными публикациями, а прежде чем начать тестировать модели, они проходят подробный инструктаж.

Как работает данная платформа: специалист задает вопрос, к которому затем система подбирает научные статьи из базы Semantic Scholar и передает информацию двум случайно выбранным моделям. Опираясь на подобранные статьи и собственные знания, модели пишут подробные ответы на вопросы – ученый видит оба ответа рядом и голосует за лучший.

На данный момент в общем зачете SciArena первое место заняла ИИ-модель ChatGPT o3 с рейтингом в 1172 балла. На втором месте оказалась Claude Opus 4 (1080). Тройку лидеров замыкает Gemini 2.5 Pro (1063). На четвертое и пятое место попали DeepSeek R1-0528 (1062) и ChatGPT o4-mini (1054).

Добавим, что ChatGPT o3 сохранила лидерство во всех четырех самых популярных категориях запросов – инженерных науках, здравоохранении, естественных науках, гуманитарных и социальных науках.

Важно, что оценка платформы SciArena создана в первую очередь для профессиональных ученых, а не для обычных пользователей, интересующихся наукой. Например, в реальности модель ищет информацию сама и может сослаться на недостоверный источник. SciArena это исключает.

В то же время есть мнение, что из-за большой востребованности ChatGPT и других нейросетей интернет уже переполнился ненужной информацией и цифровым мусором. Эксперты считают, что это тормозит развитие будущих моделей искусственного интеллекта.