Как искусственный интеллект определил песню по сигналам мозга слушателей?
Группа американских нейробиологов определила с помощью искусственного интеллекта песню, которую испытуемые прослушивали в наушниках. Об эксперименте сообщается в статье «Музыка может быть реконструирована по активности слуховой коры человека с использованием моделей нелинейного декодирования», опубликованной в журнале PLOS Biology.
Кто принял участие в эксперименте?
В исследовании приняли участие 29 пациентов с фармакорезистентной эпилепсией (эпилепсия, при которой прием противоэпилептических препаратов не помогает достичь контроля над приступами, — прим. aif.ru). Всем им были хирургически имплантированы в мозг сетки или полоски электродов для локализации эпилептических очагов.
Как искусственный интеллект смог распознать мысли людей?
Пациентов собрали в центре Олбани в штате Нью-Йорк. Им дали послушать в наушниках популярную песню Pink Floyd 1979 года Another Brick in the Wall (часть 1). Испытуемых попросили внимательно слушать музыку, не фокусируясь на каких-либо особых деталях. В это время исследователи регистрировали нейронную активность с помощью электродов, расположенных на поверхности коры участников эксперимента.
Ученые проанализировали уникальный набор данных внутричерепной электроэнцефалографии всех пациентов. Они применили метод реконструкции стимулов и получили слуховую спектрограмму. Композиция, воссозданная по прямым нейронным записям, отличались от оригинала: она звучала так, как будто была исполнена под водой. Однако в ней угадывалась Another Brick in the Wall. Чтобы добиться таких результатов, ученые применили более ста компьютерных моделей.
Песня Pink Floyd была выбрана не случайно. По словам авторов исследования, она представляет собой богатый и сложный слуховой стимул и способна вызывать нейронный ответ от областей мозга, кодирующих музыкальные элементы высшего порядка: аккорды, гармонию и ритм.
Кроме того, она нравилась пожилым участникам эксперимента. «Если бы они сказали „Я не могу слушать эту чушь“, тогда данные были бы ужасными», — приводит The New York Times слова нейробиолога Гервина Шалька, который собирал данные для эксперимента.
К каким выводам пришли авторы исследования?
Целью исследования было не само воспроизведение прослушанной музыки искусственным интеллектом, а определение областей мозга, которые преимущественно задействованы в восприятии различных акустических элементов. Комбинируя анализы кодирования и декодирования, нейробиологи обнаружили, что в восприятии музыки доминирует правое полушарие мозга с первичной ролью верхней височной извилины. Кроме того, ученые выявили новый субрегион этой извилины, настроенный на музыкальный ритм, и определили ее передне-заднюю организацию, демонстрирующую реакции на музыкальные элементы.
Полученные результаты могут быть применены при совершенствовании устройств, извлекающих слова из сигналов мозга людей, которые не могут говорить, например, страдают параличом мышц. Задача заключается в том, чтобы научить эти устройства передавать не только то, что хочет сказать человек, но и сохранять часть музыкальности, ритма и эмоций естественной речи.
Источники:
