OpenAI создала метод для проверки научного мышления ИИ

Команда OpenAI разработала новый бенчмарк Frontier Science, с помощью которого можно оценить научное мышление искусственного интеллекта (ИИ). Инструмент создан для того, чтобы проверять компетенции ИИ в таких областях, как физика, химия и биология.

Бенчмарк разделен на два направления. Первый трек, называемый «Олимпиада», включает сложные теоретические задачи, которые выходят за рамки стандартного школьного или университетского курса. Второй трек – «Исследования» – ориентирован на задачи уровня PhD (или аспирантуры – прим. IT Speaker), с которыми сталкиваются реальные научные сотрудники в лабораториях и исследовательских центрах. Такой подход позволяет оценивать не только способность моделей воспроизводить известные факты, но и применять знания в новых обстоятельствах.

Ответы моделей проверяются с помощью верифицированного авто-грейдера на базе GPT-5. В тестировании уже приняли участие ведущие модели 2025 года. Результаты показали, что лидером стал GPT-5.2 в конфигурации x-high, успешно решившая 77% задач из трека «Олимпиада» и 25% задач трека «Исследования». Ближайший конкурент, Gemini 3 Pro, показал практически идентичный результат в теоретическом треке – 76%, но уступил в тестах исследовательского уровня.

Специалисты OpenAI отмечают, что Frontier Science не просто очередной набор тестов, а инструмент, способный выявить сильные и слабые стороны моделей в применении научного мышления на практике.

Ранее «Яндекс» внедрил ИИ-помощника для платформы для разработки SourceCraft. Он может самостоятельно писать безопасный код для исправления уязвимостей в ПО.