«Студенты» ChatGPT и Sage завалили экзамен по истории

Чат-боты с искусственным интеллектом ChatGPT и Sage не смогли сдать на «отлично» университетский экзамен по истории России, об этом сообщили в Уральском федеральном университете (УрФу) по итогам эксперимента. 

В рамках эксперимента доцент кафедры истории России Михаил Киселев «принимал» экзамен у чат-ботов. «Студенты» справлялись с темами, в которых использовалась устойчивая научная терминология, однако ответить на вопросы со сложным языковым материалом им оказалось не под силу. 

Проблема заключается в том, что чат-боты хорошо владеют современным русским языком, но историки также сталкиваются с деловым письмом, разговорной речью и церковнославянскими текстами, которые и стали для нейросетей главным камнем-преткновения. Например, когда в вопросе «Что такое завещание Василия III?» экзаменатор употребил вместо «завещание» слово «духовная», ChatGPT заявил, что это «период правления Василия III, когда произошло значительное развитие церкви», а Sage ответил – «название церковной реформы». 

– Есть тип, когда студент выучил кое-что, но делает вид, что он знает все. И тогда, опираясь на какие-то обрывочные сведения, он начинает импровизировать и строить целостные ответы, которые на самом деле оказываются проблемными, – объясняет Киселев. – Примерно так делает нейросеть: там, где материал имеет однозначные ответы, нейросеть отвечает нормально, адекватно, но в остальном она имитирует самостоятельные рассуждения, и здесь начинаются проблемы, потому что нейросеть может просто выдумывать факты, несуществующие работы или авторов. 

Также Михаил Киселев отметил, что чат-боты наравне с реальными историками и их работами называли вымышленных людей. Например, Sage «вспомнил» несуществующего Александра Васильевича Пильяра.