ИИ прошел тест Тьюринга

Ученые из Института инженеров электротехники и электроники (IEEE) провели исследование, в рамках которого респондентам предлагалось пообщаться с четырьмя собеседниками, среди которых был только один реальный человек. 

Цель исследования в том, чтобы определить, смогут ли участники отличить синтетического агента от живого человека. Эта работа представляет собой современную интерпретацию теста, который был предложен математиком Аланом Тьюрингов еще в 1950 году. Тест считается пройденным, если алгоритм на основе искусственного интеллекта (ИИ) в процессе общения с человеком может заставить его думать, что беседу с ним ведет другой человек. 

В исследовании приняли участие 500 человек, которые некоторое время поочередно беседовали с четырьмя агентами, одним из которых был человек, а еще три — программные продукты, такие как написанный в 60-е годы прошлого века виртуальный собеседник ELIZA и современные чат-боты, построенные на базе больших языковых моделей GPT-3.5 и GPT-4 (последняя также является основой популярного ИИ-бота ChatGPT). 

Респонденты по пять минут беседовали с каждым из агентов, после чего они должны были сказать, с кем, по их мнению, они разговаривали — с человеком или чат-ботом. В итоге было установлено, что 54% участников тестирования приняли GPT-4 за человека. ELIZA, не имеющая в арсенале большой языковой модели и архитектуры нейросети, была признана человеком лишь в 22% случаев. Алгоритм на базе GPT-3.5 признали человеком в 50% случаев, а реального человека опознали в 67% случаев. 

С другими типами тестов у ИИ не всегда все получается так хорошо. Так, чат-боты ChatGPT и Sage не смогли сдать на «отлично» университетский экзамен по истории России.