Models of the Mind

Когда Фукусима увидел это четкое описание роли нейронов в зрительной системе, он задался целью реализовать те же функции в компьютерной модели. В качестве входного сигнала в его модели использовались изображения простых белых узоров на черном фоне. Чтобы приблизить работу таламуса, был создан лист искусственных нейронов, которые реагировали на белые точки на изображении. Это служило способом передачи информации об изображении в сеть. Отсюда нужно было рассчитать входные данные для простых клеток.

Для этого Фукусима использовала стандартный подход, заключающийся в создании сетки чисел, представляющих собой обнаруживаемый образец, который в случае простой клетки представляет собой линию с определенной ориентацией. В инженерной терминологии такая сетка чисел называется фильтром. Чтобы имитировать пространственные предпочтения простых клеток, Фукусима применил этот фильтр отдельно к каждому месту на изображении. В частности, активность одной простой клетки рассчитывалась как сумма активности таламуса в одном месте, умноженная на фильтр. Продвижение фильтра по всему изображению создавало набор простых клеток с одинаковой предпочтительной ориентацией, но разным предпочтительным расположением. Этот процесс известен в математике как свертка.

Создав несколько фильтров, каждый из которых представлял собой линию с разной ориентацией, и свернув каждый из них с изображением, Фукусима создал целую популяцию простых клеток, каждая из которых имела свою предпочтительную ориентацию и местоположение, как и мозг. Для сложных клеток он просто дал им сильные сигналы от горстки простых клеток, которые все представляли одну и ту же ориентацию в соседних местах. Таким образом, они будут активны, если ориентация появится в любом из этих мест.

Эта первая версия модели Фукусимы была практически прямым переводом физиологических данных Хьюбела и Визеля в математику и компьютерный код - и, в некотором роде, она работала. Она могла выполнять некоторые простые визуальные задачи, например, находить изогнутые линии на черно-белом изображении, но это была далеко не полноценная зрительная система, и Фукусима знал это. Как он позже рассказывал в интервью, после публикации этой работы в конце 1960-х годов Фукусима терпеливо ждал, что же откроют Хьюбел и Визель дальше; он хотел узнать, что делают более поздние стадии обработки зрительных сигналов, чтобы добавить их в свою модель.

Но знаменитая пара физиологов так и не предоставила эту информацию. После первоначальной работы по каталогизации типов клеток Хьюбел и Визель исследовали реакции клеток в других зрительных областях, но так и не смогли дать столь же чистое описание, как для первичной зрительной коры. В конце концов они перешли к изучению того, как развивается зрительная система у молодых животных.

Не имея сценария, предоставленного биологией, Фукусима должен был импровизировать. Решение, которое он придумал, заключалось в том, чтобы взять имеющуюся у него структуру - простые клетки, проецирующиеся на сложные клетки, - и повторить ее. Укладка простых и сложных клеток друг на друга снова и снова создает расширенную иерархию, через которую может проходить визуальная информация. В частности, это означает, что после начального слоя сложных клеток второй круг "простых" клеток. Этот второй слой простых клеток будет следить не за простыми особенностями изображения, а за простыми "особенностями" в деятельности сложных клеток, от которых они получают информацию. Они по-прежнему использовали бы фильтры и свертки, но только применительно к активности нейронов, расположенных ниже их. Затем эти простые клетки посылают входные сигналы своим собственным сложным клеткам, которые реагируют на те же особенности в чуть большей области пространства - и затем весь процесс начинается снова.

Простые клетки ищут закономерности; сложные клетки прощают небольшое смещение этих закономерностей. Простые, сложные; простые, сложные. Снова и снова. Повторение этого риффа приводит к появлению клеток, которые реагируют на все виды паттернов. Например, чтобы простая клетка второго уровня отреагировала на букву "L", ей достаточно получить сигнал от сложной клетки с горизонтальным предпочтением в одном месте и от сложной клетки с вертикальным предпочтением в месте чуть выше и левее ее. Тогда простая клетка третьего уровня сможет легко реагировать на прямоугольник, получая входные данные от двух соответствующим образом расположенных "L"-клеток. Продвигаясь все дальше и дальше по цепочке, клетки начинают реагировать на более крупные и сложные паттерны, включая целые фигуры, объекты и даже сцены.

Единственная проблема, связанная с расширением выводов Хьюбела и Визеля таким образом, заключалась в том, что Фукусима на самом деле не знал, как клетки в разных слоях должны соединяться друг с другом. Необходимо было заполнить фильтры - сетки чисел, которые определяли бы, как реагируют простые клетки в каждом конкретном слое. Но как? Для этого Фукусима взял страницу из книги Селфриджа "Пандемониум" и обратился к обучению.