Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Функциональная МРТ измеряет гемодинамический ответ (изменение кровотока), связанный с активностью нейронов. Мозг не будет работать без кислорода, а кровоток четко регулируется на субмиллиметровом[122] уровне. Степень насыщения крови кислородом изменяет ее магнитные свойства, которые можно бесконтактно измерять с помощью МРТ и использовать для создания динамической картины активности мозга с временны́м разрешением в несколько секунд — достаточно хорошим, чтобы отследить, какие части мозга активны во время эксперимента. Функциональная МРТ используется для изучения времени прохождения сигнала в различных частях иерархии зрительной системы.

Ури Хэссон из Принстонского университета провел эксперимент с фМРТ, призванный выяснить, какие части иерархии зрительной системы участвуют в обработке видеозаписей различной длительности[123]. Немой фильм Чарли Чаплина был разрезан на кусочки, собран в ролики продолжительностью 4, 12 и 36 секунд и продемонстрирован участникам эксперимента. В 4-секундном ролике зрители успевали распознать сцену, в 20-секундном — последовательность действий, а в 36-секундном — целую историю от начала до конца. Отклики фМРТ в V1 в нижней части иерархии были сильными и устойчивыми, независимо от временной шкалы, но на более высоких уровнях визуальной иерархии только более длинные временные шкалы вызывали стабильный отклик, а области префронтальной коры в верхней части иерархии требовали самого длинного временного интервала. Это согласуется с другими экспериментами, показывающими, что кратковременная память — ваша способность удерживать информацию, такую как телефонные номера и элементы задачи, над которым вы работаете, — также организована в иерархии с самыми длинными временными шкалами кратковременной памяти в префронтальной коре.

Изучать, как происходят процессы обучения в человеческом мозге, — одно из самых увлекательных направлений исследований в нейробиологии, над которым можно работать на разных уровнях, от молекулярного до поведенческого.

Часть II Множество способов обучения: хронология

1949 — Дональд Хебб выпустил книгу «Организация поведения»[124], в которой сформулировал правило пластичности синапса.

1982 — Джон Хопфилд опубликовал труд «Нейронные сети и физические системы с возникающими коллективными вычислительными способностями»[125], в котором описал нейросеть Хопфилда.

1985 — Джеффри Хинтон и Терри Сейновски представили «Алгоритм обучения для машин Больцмана»[126], что стало контрдоказательством широко распространенного мнения Минского и Пейперта, что алгоритм обучения для многослойных сетей невозможен.

1986 — Дэвид Румельхарт и Джеффри Хинтон написали «Обучение внутреннего представления путем распространения ошибки»[127], где описали алгоритм обратного распространения ошибки, который используется для глубокого обучения в наши дни.

1988 — Ричард Саттон напечатал статью «Обучение прогнозированию методами временных различий»[128] в журнале «Машинное обучение». Он был вдохновлен сутью ассоциативного обучения, и обучение с учетом временной разности стало считаться основным алгоритмом для обучения мозга методом вознаграждения.

1955 — Тони Белл и Терри Сейновски опубликовали труд «Подход к максимизации информации для слепого разделения и слепой обратной свертки»[129], в котором описали неконтролируемый алгоритм для анализа независимых компонентов.

2013 — Работа Джеффри Хинтона «Классификация Image Net с глубокими сверточными нейросетями»[130] позволила на 18 % снизить частоту ошибок при классификации объектов на изображениях.

2017 — сеть глубокого обучения Alpha Go победила Кэ Цзе на Чемпионате мира по го.

Глава 6 Проблема коктейльной вечеринки

На коктейльной вечеринке бывает сложно расслышать, что говорит человек рядом с тобой, среди какофонии других голосов вокруг. Наличие пары ушей помогает направить ваш слух в нужном направлении, и ваша память может заполнить недостающие обрывки разговора. Теперь вообразите шумную вечеринку с сотней людей в комнате и сотней ненаправленных микрофонов, которые собирают звуки ото всех, но с различным соотношением амплитуд для каждого человека на каждом микрофоне. Можно ли разработать алгоритм, который сумеет разделить голоса на отдельные выходные каналы? Чтобы усложнить задание, подумайте, что делать, если источники звука неизвестны — например, музыка, хлопки, звуки природы или даже случайный шум? Это называется проблемой слепого разделения сигналов (рис. 6.1).