Что за безумное стремленье!

В недавнем двухтомнике под заглавием «Параллельная распределенная обработка», или ПРО (Parallel Distributed Processing, PDP), описывается основная работа одной из теоретических школ – группы из Сан-Диего и примыкающих к ней. Он вышел под редакцией Дэвида Румельхарта (ныне работает в Стэнфорде) и Джея Мак-Клеланда (ныне в университете Карнеги – Меллона), в издательстве Bradford Books. По меркам объемистого и достаточно академичного издания книга оказалась бестселлером. Результаты, изложенные в ней, столь впечатляющи, что метод ПРО оказал огромное влияние как на психологов, так и на специалистов в области искусственного интеллекта (ИИ), в особенности при разработке нового поколения высокомощных (многопоточных) компьютеров. Он, похоже, сулит новую волну в психологии.

Нет сомнения, что получены весьма многообещающие результаты. Например, можно смоделировать, как нейросеть хранит «память» о разных комбинациях импульсов своих «нейронов» и как любой небольшой фрагмент картины импульсов (the cue) может вызвать из памяти всю картину целиком. Или то, как подобная система может обучаться опытным путем, усваивая негласные правила (так же как ребенок обучается правилам грамматики родного языка, не будучи способен сформулировать их). Один из примеров такой сети – сеть NetTalk, разработанная Терри Сейновски (Terry Sejnowski) и Чарльзом Розенбергом, – демонстрирует поразительные способности машинки обучаться грамотному произношению письменного текста на английском, даже такого, с которым она не встречалась ранее. Терри, с которым я хорошо знаком, устроил однажды впечатляющий показ за обедом для сотрудников Солковского института. (Он также рассказывал о ней в телепередаче Today.) Эта простая модель не понимает, что она читает. Ее произношение никогда не бывает совершенно правильным, в том числе потому, что в английском произношение иногда зависит от значения.

При всем при том у меня имеются заметные поводы для скепсиса в отношении успехов, достигнутых на данный момент. Во-первых, используемые «единицы» практически всегда обладают свойствами, не встречающимися в природе. Например, одна и та же единица может давать возбуждение на одних своих терминалах и торможение на других. Наши современные данные о мозге, пусть и ограниченные, указывают на то, что это если и происходит, то нечасто, по крайней мере в новой коре. Следовательно, невозможно проверить все подобные теории на уровне нейробиологии, поскольку самый первый и очевидный тест они полностью проваливают. На это теоретики обычно отвечают, что без проблем можно адаптировать модели так, чтобы сделать их в этом отношении более приближенными к реальности, но на практике они себя этим никогда не утруждают. Возникает ощущение, что они и не хотят знать, верна их модель или неверна. К тому же наиболее эффективный алгоритм из тех, что ныне в ходу [т. н. метод обратного распространения ошибок], представляется крайне маловероятным в нейробиологии. Все попытки преодолеть данное конкретное затруднение кажутся мне весьма натянутыми. С неохотой я вынужден заключить, что эти модели – не настоящие теории, а скорее демонстрации. Они схоластические доказательства того, что единицы наподобие нейронов и в самом деле могут творить чудеса, но вряд ли есть основания предполагать, что реальный мозг работает именно так, как они указывают.

Разумеется, вполне возможно, что такие сети и алгоритмы можно использовать для разработки нового поколения сверхмощных компьютеров. Главная проблема тут, по-видимому, в том, чтобы найти возможность воспроизвести регулируемые связи, имея дело с кремниевыми микросхемами, но эта проблема, вероятно, скоро будет решена.

К этим моделям нейронных сетей можно предъявить еще две претензии. Первая – они недостаточно быстродействующие. Скорость – решающий фактор для животных, включая нас. Теоретики пока не уделяют скорости должного внимания. Вторая касается отношений. Тут можно привести следующий пример. Представьте себе, что на экране вспыхивают на миг две буквы – любые две буквы, – одна над другой. Задача – определить, какая из них верхняя. Эту задачу независимо предложили психологи Стюарт Сазерленд (Stuart Sutherland) и Джерри Фодор. Ее легко решают старые модели – посредством процессов, традиционно используемых в современных цифровых компьютерах, – но попытки сделать это с помощью параллельной распределенной обработки выходят, на мой взгляд, корявыми. Подозреваю, что элемент, который упущен, – механизм внимания. Внимание, скорее всего, представляет собой серийный процесс, работающий поверх многопоточных процессов ПРО.