Как мы видим? Нейробиология зрительного восприятия

Несмотря на «зиму искусственного интеллекта», небольшая группа ученых во главе с Джеффри Хинтоном из Торонто продолжала упрямо разрабатывать концепцию нейронных сетей. Одним из них был Терренс Сейновски, в то время работавший в Университете Джонса Хопкинса. По словам Терри, к счастью, он не читал работу того авторитетного автора, который доказал, что нейронные сети не могут научиться ничему важному. Поэтому он продолжал ими заниматься[27].

Терри Сейновски – выдающаяся и необычная личность. Научную деятельность он начал на знаменитом факультете физики в Принстонском университете, где опубликовал серию теоретико-математических работ о поведении нейронов в головном мозге. После чего неожиданно поступил в аспирантуру на кафедру Стивена Куффлера в Гарварде.

Это был серьезный поворот в научной карьере Терри. Вечный экспериментатор, Куффлер предпочитал изучать нервную систему, в буквальном смысле слова закатав рукава, и не очень любил теоретизировать. Тем не менее из орды соискателей докторской степени он почему-то выбрал Сейновски.

Возможно, Куффлер увидел в нем те же качества, ту же сущностную простоту, которая была присуща ему самому. Сейновски относится к разряду людей, которых сейчас принято называть убергиком (uber-geek, где geek – это фанат, а немецкое слово uber означает «сверх» или «супер»). Он влюблен в свою науку и, кажется, занимается ею днями и ночами напролет. Терри интересует буквально все, он мыслит сразу во всех масштабах, всегда ищет новый угол зрения, скрытый пробел, новаторский путь. Он белая ворона в лучшем смысле этого слова – в науке и в жизни.

Взять хотя бы его манеру одеваться: Терри предпочитает белые рубашки, темные костюмы и классические черные туфли. Большинство ученых жаждут подчеркнуть свою индивидуальность – носят джинсы с биркенштоками, футболки и свитера, водят малолитражки, и многие отращивают бороды. У этого клана свои жесткие нормы и обычаи. Постдок, который приходил на работу на кафедру Куффлера в строгом темно-синем костюме, совершенно явно следовал своим собственным путем. Однажды я пригласил его покататься на яхте, и он явился в элегантных шерстяных брюках и черных туфлях на кожаной подошве.

В общении Терри поразительно раскован: кажется, он говорит все, что думает, и, хотя порой случаются неловкие моменты, это нисколько его не смущает. К тому же у него замечательный гогочущий смех, который слышен издалека. На кафедре нейробиологии не знали, что делать с Терри. В соавторстве с Куффлером он опубликовал интересную и ныне забытую статью о синаптической передаче в простой модели нервной системы. Но эмпирические подходы, культивировавшиеся на кафедре нейробиологии, все же остались для Терри чужими.

После Гарварда Сейновски получил место преподавателя в Университете Джонса Хопкинса и примерно в то же время познакомился с Джеффри Хинтоном, который вместе с Дэвидом Румельхартом и другими изобрел метод обратного распространения ошибки. Этот метод, как мы уже знаем, играет решающую роль в обучении нейронной сети, позволяя уточнять значения синаптических весов в обратном направлении, от выхода через все скрытые слои к входному слою. Сейновски позаимствовал этот замечательный инструмент, чтобы использовать его в своей лаборатории.

Трудясь на поприще клеточной нейробиологии, я ничего не слышал о Терри в начале 1980-х гг. Но в 1985-м я посетил его лабораторию, где он продемонстрировал мне нейронную сеть, которая сама научилась говорить. Я был потрясен.

В нейросеть вводились буквы, по одной за раз. Например, исследователи просили сеть произнести букву c как в слове cat (кот).

Почему эта задача вызывает особый интерес? Потому что английский язык славится своим вариативным произношением, мало подчиняющимся правилам (об этом хорошо знают все иностранцы, которые пытаются его изучать). Например, у нас есть правило, что гласные становятся долгими, если на конце слова есть буква е, как в словах gave и brave. Но в аналогичном случае в слове have буква а произносится совершенно иначе. Мы по-разному произносим букву o в словах mow и cow. Как носители языка, мы этого не замечаем, потому что привыкаем такому с детства. Но для компьютеров все различия подобного рода очень важны – как и для лингвистов, которые не поленились составить длинные перечни правил, исключений из правил и исключений из исключений из правил.

К счастью, они также составили словарь транскрипций, содержащий 20 000 английских слов с их стандартным произношением. Именно этот словарь Терри Сейновски и Чарльз Розенберг использовали в качестве «учителя» для своей нейронной сети. После того как сеть выдавала свой вариант произношения буквы c в слове cat, учитель сверялся со словарем и, если сеть произносила ее как /k/, оценивал ответ как верный. Затем сеть запускала процесс обратного распространения и усиливала связь между фонетическим выводом /k/ и буквой c в слове cat.