Трек Pink Floyd воссоздали на основе мозговых сигналов слушателей

Ученые из США смогли получить версию песни Pink Floyd «Another Brick in the Wall» по сигналам активности, проходящим через определенную часть височной доли мозга добровольцев, пишет PLOS Biology. 

Несмотря на то, что мелодия подверглась первоначальной обработке в виде спектрограммы, чтобы быть более совместимой с технологиями обработки звука мозгом, результат поразил исследователей своей точностью. 

– Мы реконструировали классическую песню «Pink Floyd Another Brick in the Wall» по прямым записям с коры головного мозга человека, что позволило нам понять нейронные основы восприятия музыки и создать будущие приложения для декодирования мозга, – рассказал нейробиолог Людовик Белье из Калифорнийского университета в Беркли. 

Ученые решили выяснить, как мозговые паттерны могут быть связаны с такими музыкальными элементами, как высота тона и гармония, и в итоге обнаружили, что часть слухового комплекса мозга, называемая верхней височной извилиной, связана с ритмом. Предполагается, именно эта область важна для восприятия и понимания музыки. 

Для сбора необходимых данных о мозговой активности были привлечены 29 человек, которым уже были имплантированы электроды для лечения эпилепсии. В общей сложности 2 668 электродов отслеживали нейронные паттерны во время прослушивания Pink Floyd. 

Затем все эти данные проанализировали методом машинного обучения с помощью так называемой модели декодирования на основе регрессии. Проще говоря, компьютерные алгоритмы искали взаимосвязь между звучащей музыкой и тем, что происходило в мозге. 

Благодаря этому процессу обучения исследователи смогли перевернуть систему и определить «Another Brick in the Wall» по тому, как мозг реагировал на нее. Восстановленный трек получился немного мутным и искаженным, но понять, что это за песня, несложно.