Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

1962 – Фрэнк Розенблатт опубликовал книгу «Принципы нейродинамики. Перцептроны[3] и теория механизмов мозга»[4]. В ней были представлены обучающие алгоритмы для моделей однослойных нейронных сетей, ставшие предшественниками современных алгоритмов глубокого обучения.

1962 – Дэвид Хьюбел и Торстен Визел выпустили статью «Рецептивные поля, бинокулярное взаимодействие и функциональная архитектура зрительной коры кошек», где впервые были описаны характеристики отклика нейронов, записанные при помощи микроэлектрода. Архитектура глубокого обучения нейросетей подобна иерархии областей зрительной коры.

1969 – Марвин Минский и Сеймур Пейперт опубликовали книгу «Перцептроны»[5], которая показала вычислительные ограничения перцептронов и ознаменовала начало «зимы» в изучении нейросетей.

1979 – Джеффри Хинтон и Джеймс Андерсон провели в Ла-Хойя в Калифорнии семинар по параллельным моделям ассоциативной памяти, на которых основывались нейросети нового поколения.

1986 – Первая конференция по машинному обучению и системам обработки нейронной информации, проходившая в Денвере, собрала вместе исследователей из различных областей науки.

Глава 1. Развитие машинного обучения

Не так давно считалось, что компьютерная оптическая система не способна сравниться со зрением даже годовалого ребенка. Сейчас это утверждение уже неверно, и компьютеры могут распознавать объекты на изображении так же хорошо, как и человек, а машины на автопилоте едут аккуратнее, чем шестнадцатилетний подросток. Более того, компьютерам никто не говорил, как смотреть или водить, – они научились на собственном опыте, следуя тем же путем, что и природа на протяжении миллионов лет. Их успехи подпитывает огромный объем данных – нового топлива современного мира. Из потока необработанных данных обучающие алгоритмы извлекают информацию. Информация превращается в знание. Знание, в свою очередь, лежит в основе понимания, а понимание порождает мудрость. Это долгий путь, который требует времени. Добро пожаловать в дивный новый мир глубокого обучения![6]

Глубокое обучение – ветвь машинного обучения, основанного на математике, информатике и нейробиологии. Глубокие нейросети учатся на данных, как дети, – исследуя окружающий их мир, переходят от полной неопытности к способности ориентироваться в незнакомой среде.

Глубокое обучение зародилось с появлением информационных технологий в 1950-х годах. Тогда существовали два подхода к созданию ИИ: первый доминировал на протяжении нескольких десятилетий и основывался на логике и компьютерных программах, второй предполагал обучение непосредственно на полученных данных, но занимал гораздо больше времени.

В XX веке, когда компьютеры были намного примитивнее, а хранение данных стоило дороже, чем сегодня, логика оставалась единственным способом решения задач. Опытные программисты писали различные программы для различных задач, и чем масштабнее была задача, тем сложнее была программа. Сейчас компьютеры обладают большой мощностью, способны обрабатывать огромный объем информации и благодаря особым алгоритмам решают задачи быстрее, точнее и эффективнее. Одни и те же алгоритмы могут использоваться для решения многих задач, и это куда проще, чем писать программу для каждой.

Учим водить

Машина по имени Стэнли (Stanley), сконструированная командой Себастьяна Труна из Стэнфордского университета (рис. 1.1), выиграла два миллиона долларов в гонке беспилотных автомобилей от Управления перспективных исследовательских проектов Министерства обороны США (Defense Advanced Research Projects Agency; DARPA). Стэнли ориентировался в калифорнийской пустыне благодаря машинному обучению. На семимильной трассе встречались узкие туннели и резкие повороты, а также первад Бир-Ботл[7] – ветреная горная дорога с обрывом с одной стороны и горами с другой (рис. 1.2). Вместо того чтобы пойти традиционным путем и написать компьютерную программу, которая могла бы предвидеть любую неожиданность, Трун провел Стэнли по всей пустыне, чтобы машина училась ездить, опираясь на данные с оптических датчиков и датчиков расстояния.

Рис. 1.1. Себастьян Трун на фоне Стэнли, выигравшего в 2005 году гонку беспилотных автомобилей от DARPA. Этот прорыв положил начало технической революции в сфере транспорта

Рис. 1.2. Beer Bottle Pass. Во время гонки беспилотных автомобилей, организованной DARPA в 2005 году, этот сложный участок местности находился ближе к концу трассы длиной 212 километров, пролегавшей в пустыне по бездорожью. Грузовик вдали только начинает подъем