В OpenAI рассказали о причинах ошибок ChatGPT

В OpenAI рассказали, почему модели ИИ, такие как ChatGPT, зачастую дают неверные ответы, «галлюцинируя». Авторы работы установили, что существующие методы оценки качества работы больших языковых моделей (LLM) поощряют «угадывание» вместо точного ответа.

Иными словами, разработчики стимулируют ИИ догадываться, а не признавать свое незнание. Данная модель действий неплохая для экзамена. Однако такой метод подбора ответа опасен в таких вопросах, как медицина и закон.

OpenAI предложила решение: изменить систему оценки, начисляя больше штрафных баллов за уверенные, но неверные ответы и частично оценивая ответы, демонстрирующие неуверенность. Но эксперт по оптимизации ИИ Вэй Синг из Шеффилдского университета отмечает, что такой подход может быть экономически невыгоден.

Так, модификация системы оценки приведет к значительному увеличению вычислительных затрат. Модели должны будут оценивать множество возможных ответов и рассчитывать уровни уверенности, что для систем, обрабатывающих миллионы запросов ежедневно, означает резкое повышение операционных расходов.

Более того, в августе 2025 года количество недостоверной информации, которую предоставляют ИИ-чаты, выросло почти в два раза, если сравнивать с августом 2024 года, и достигло 35%. Все из-за того, что нейросети ищут данные в интернете.