Ландшафты мозга. Об удивительных искаженных картах нашего мозга и о том, как они ведут нас по жизни

Самое быстрое обучение декодера происходит при помощи мозга, который и подлежит прочтению. Процесс начинается с того, что “владелец” мозга приступает к какой-то деятельности, например, выполняет ряд движений или зрительно представляет себе что-то по команде. Декодер анализирует активность мозга при выполнении каждого такого действия. По сути, выполняя действия по команде, мозг показывает декодеру, как его следует читать. Этот странный факт имеет несколько следствий. Одно из них заключается в том, что чтение мыслей происходит не мгновенно даже при помощи декодера; для обучения всегда требуется время или примеры, как в случае машинного обучения. Другое следствие состоит в том, что декодирование наиболее успешно происходит при сотрудничестве и терпении того самого мозга, который читают. Это важно, поскольку затрудняет чтение мыслей того, кто этого не желает.

Допустим, машинное обучение помогает в той или иной степени преодолеть третью трудность в чтении мыслей, но какие решения существуют для первой и второй проблем? В частности, как достичь компромисса между отчетливой регистрацией отдельных нейронов и одновременной регистрацией многих нейронов во всем мозге? Выясняется, что машинное обучение – столь мощный инструмент, что он позволяет получить достаточно хороший результат с разными компромиссными условиями. Один путь заключается в использовании паттернов активности, собранных с помощью фМРТ. Каждое измерение методом фМРТ дает усредненные показатели активности сотен тысяч нейронов. Но если дать декодеру достаточное количество примеров таких паттернов, когда участник исследования находится в состоянии X или Y, программа выявляет тонкие связи между бесчисленными параметрами мозга в этих двух состояниях и позволяет распознать их природу.

Вооружившись этим методом, ученые уже больше десяти лет используют фМРТ для чтения мыслей. Основываясь на паттерне активности, выявленном при сканировании мозга человека с помощью фМРТ, ученые довольно точно могут узнать, какого рода предмет из небольшого круга вариантов этот человек рассматривает, воображает, вспоминает или пытается удержать в рабочей памяти в данный момент времени[270]. В одном исследовании изучали даже содержание снов; на основании активности зрительной коры мозга человека во время сна ученые с точностью около 60 % определяли, снился ли человеку, скажем, другой человек, улица, машина или какой-то другой объект[271].

Технология декодирования не ограничивается извлечением из мозга образов увиденных или воображаемых предметов. Декодировать можно все, что человек чувствует и представляет себе или о чем он думает. В одном исследовании в процессе проведения МРТ людям давали слушать музыку или речь[272]. Декодер, натренированный на паттернах активности их мозга, на основании активности нейронов на карте звуковых частот A1 и других слуховых отделов височной коры расшифровывал, какой именно звук речи человек слышал в конкретный момент времени. Тренируя новый декодер по-другому на тех же результатах сканирования, ученые смогли разобрать, чей голос слышал человек. В других исследованиях была продемонстрирована возможность установить, чувствует ли человек боль, понять смысл слов, которые он читает (из набора в 60 слов), какое действие совершил или совершает в игре и выигрывает он или проигрывает[273]. И это лишь несколько примеров экспериментов с применением декодеров к сканам мозга, которое становится распространенным методом исследований.

В нескольких экспериментах ученые пытались воспроизвести то, что видит человек, находящийся в аппарате для фМРТ, исходя исключительно из активности его мозга. Это гораздо труднее, чем определить, в каком из нескольких состояний находится мозг. Выбрать нужно не из двух, десяти или даже шестидесяти возможностей, а почти из бесконечного их числа. В рамках нескольких смелых проектов эту задачу решали путем сочетания программы машинного обучения с тоннами информации, полученной нейробиологами в ходе экспериментов по определению свойств нейронов зрительной карты V1[274]. Сначала программы тренировались на паттернах активности зрительных карт V1 участников исследований, а затем пытались воспроизвести другие рисунки или формы, которые видели люди, основываясь только на активности их мозга. Учитывая сложность задачи, были получены весьма впечатляющие результаты, хотя они все еще недостаточно точно воссоздают то, что видит человек.