Мозг: биография. Извилистый путь к пониманию того, как работает наш разум, где хранится память и формируются мысли

Двухтомник «Метод PDP» разошелся удивительным для научной книги тиражом более 50 000 экземпляров и стал чрезвычайно популярным.

Способность сети PDP выполнять задачи настолько эффективно в значительной степени основана на использовании так называемого метода обратного распространения ошибки (обычно сокращается как бэкпроп, от англ. backprop, back propagation), который включает информацию, идущую между слоями в обоих направлениях в форме петли обратной связи. Это позволяет программе совершенствовать свое поведение, что быстро приводит к более точному результату. Военные и научные спонсоры вскоре пришли в восторг от таких возможностей, и исследования в последующие десятилетия, вкупе с ростом вычислительной мощности, привели к нынешнему массовому интересу к данной теме со стороны частных корпораций, таких как Google. С самого начала, когда эти алгоритмы были запущены, они начали жить собственной жизнью, давая неожиданные результаты. Эта особенность, обусловленная способом настройки алгоритмов в скрытом слое, может сильно разочаровывать, если, к примеру, «слетит» программное обеспечение или просто потерпит неудачу (таких примеров, должно быть, легион, хоть мы и мало слышим о них). Программа также способна преподносить и приятные сюрпризы. Один из самых ранних алгоритмов PDP был создан Румельхартом и Макклелландом, чтобы моделировать изучение прошедших времен английских глаголов. Программа успешно выполнила задачу, но изначально неверно поняла правила, которые разработала для правильных глаголов, и перенесла их на неправильные, точно так же, как дети в процессе обучения. Например, она выдала результат go/goed, несмотря на то что в начале выучила корректную форму этого неправильного глагола (go/went) [36].

Нечто еще более экстраординарное произошло в 2012 году, когда Google создала программу, содержащую 1 миллиард соединений, которая работала в течение трех дней на 1000 машинах и анализировала 10 000 000 изображений из различных видео на YouTube. У нее не было ни предустановленных шаблонов, ни каких-либо спрогнозированных результатов [37]. И все же за время многочасовой активности программа создала особые единицы, реагирующие на морды кошек. Виртуальная «бабушкина клетка» для виртуальных кошек. Это не было предполагаемым результатом проекта – программа не смотрела на фотографию кошки и затем не выдавала реакцию, потому что ей было сказано искать кошек. Изображения предоставлялись в виде одномерного потока информации, и программа просто училась распознавать последовательности данных, которые регулярно встречала в обучающем наборе видео с YouTube. Следовательно, это были кошки. Последовательности данных соответствовали бы компонентам кошачьей морды – глазам, треугольным ушам и т. д., – что повторялось во всех видео. Необходимо взглянуть на этот экстраординарный результат с определенной точки зрения.

Для наивного человека вроде меня кошачья «сущность», обнаруженная программой, не вызывает восторга. И при тестировании на новом наборе изображений программа правильно идентифицировала кошек только в 16 % случаев (существенное улучшение по сравнению с предыдущими значениями, но все же).

Программа использовала новейшую нейротехнологию – сеть глубокого обучения. Именно эти системы стояли за многими выдающимися прорывами в области компьютерных технологий, задачами, которые, когда я был студентом, были отвергнуты как невозможные для машины: распознавание лиц, анализ сцен, вождение автомобиля, распознавание естественного языка, перевод, игры, как шахматы или го[266], и так далее. Системы глубокого обучения отлично умеют идентифицировать содержание огромных массивов данных, в частности о природных объектах, например о кошках. В последнее время сети глубокого обучения были усовершенствованы неким образом, намекающим на принципы утройства мозга, – введением модуля, который может запоминать. Эта идея, впервые разрекламированная в 1997 году, называется «долгая кратковременная память» (long short-term memory, LSTM), и она значительно повышает скорость и эффективность глубокого обучения, позволяя машинам извлекать информацию поистине замечательно [38].

В 2018 году исследователи из Университетского колледжа Лондона и Google использовали глубокое обучение и lSTM для отслеживания положения виртуальной крысы в виртуальном пространстве. К своему удивлению, во время выполнения программы они наблюдали спонтанное появление шестиугольных паттернов активности, очень схожих с теми, что наблюдаются в нейронах решетки[267], составляющих основу нейронов места в гиппокампе у млекопитающих. Еще более впечатляет то, что работа смоделированных клеток использовалась смоделированной крысой для навигации по виртуальному лабиринту, включая выбор коротких путей, которые, по словам авторов, «напоминали те, которые используют млекопитающие» [39].