Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

На NIPS-2015 в Монреале 3800 международных участников переполнили Дворец Конгрессов. Семинар по глубокому обучению в начале встречи был так популярен, что нам пришлось прервать его и поставить «вышибал», в том числе генерального председателя, чтобы соблюсти меры противопожарной безопасности. Глубокое обучение внедрено почти каждой компанией с большими данными в секторе высоких технологий и растет ускоренными темпами. Конференция 2016 года в Барселоне за две недели до начала рассчитывала принять 6000 участников. Прилетевшие из Нью-Йорка без предварительной записи были разочарованы, узнав, что не могут зарегистрироваться на сайте. Если прирост на 50 процентов в год, идущий с 2014 года, продолжится, рано или поздно все на планете захотят прийти на NIPS. Конечно, пузырь в конце концов лопнет, но, как и в отношении большинства пузырей, никто не знает, когда.

Исследователи из многих областей науки и техники продолжают собираться на NIPS, как они это делали ежегодно в течение 30 лет. Из 6000 участников NIPS в Барселоне 40 процентов были там впервые, но культура, унаследованная с первых встреч, не изменилась. На протяжении многих лет Попечительский совет фонда NIPS мудро придерживался общей программы, что редко встречается на больших конференциях. По их идее, все желающие должны были сидеть в одном помещении, чтобы не дробить «поле боя». В 2016 году одно направление разделилось на два, потому как было трудно найти достаточно большой зал, чтобы вместить всех, но все же не на десяток, что нередко для большинства крупных конференций. Показатель приема заявок сохранили на уровне 25 процентов, что меньше, чем у большинства журналов. NIPS организовал мероприятие «Женщины в машинном обучении» (Women in Machine Learning; WiML)[287], которое в 2016 году привело в Барселону почти 600 женщин — 10 процентов участников конференции. Разнообразие продолжает оставаться отличительной чертой NIPS. Ни одна область сама по себе не смогла бы объединить настолько разные таланты, создающие глубокое обучение.

Вероятно, выглядит странным, что на технологии глубокого обучения, которые могут повлиять на многие отрасли, так мало патентов, защищающих интеллектуальную собственность. В 1980-х годах мы хотели сделать алгоритмы обучения основой для новой области науки и полагали, что патенты не помогут. Конечно, сегодня компании подают патенты на конкретные приложения, но они не будут по-крупному вкладываться в новые технологии без защиты.

Подготовка к будущему

Серьезные прорывы в обучении нейронный сетей происходят каждые 30 лет: перцептроны появились в 1950-х годах, затем, в 1980-х, — обучение многослойных перцептронов и в 2010-х годах — глубокое обучение. В каждом случае был период эйфории, когда за короткий срок был достигнут значительный прогресс, а после он долгое время шел маленькими шажками. Однако каждый виток бурного роста оказывает все больший эффект. Последний скачок был вызван широкой доступностью больших данных, и история NIPS стала одним из этапов подготовки к этому дню.

Часть III Технические и научные последствия: хронология

1971 — Ноам Хомский написал для журнала The New York Review of Books эссе «Дело против Б. Ф. Скиннера»[288], которое во многом проложило путь когнитивной революции.

1982 — Клод Шеннон опубликовал статью «Математическая теория связи», которая заложила основу современной передачи цифровой информации[289].

1989 — Карвер Мид выпустил книгу «Аналоговые СБИС[290] и нейронные системы», дав начало нейроморфной инженерии — созданию компьютерных микросхем на примере биологических объектов.

2002 — Стивен Вольфрам опубликовал работу «Новый вид науки», где исследовал вычислительные возможности клеточных автоматов — алгоритмов, которые даже проще, чем нейронные сети, но способны к мощным вычислениям.

2005 — команда Себастьяна Труна победила в конкурсе беспилотных транспортных средств Управления перспективных исследовательских проектов Министерства обороны США.

2008 — Тоби Дельбрюк разработал завоевавший большую популярность чип сетчатки — датчик динамического зрения (Dynamic Vision Sensor; DVS), который считывает импульсы асинхронно, а не делает синхронные кадры, как современные цифровые камеры[291].

2013 — Белый дом в США объявил о старте BRAIN Initiative (Brain Research Through Advancing Innovative Neurotechnologies[292]). Цель программы — разработка инновационных нейротехнологий, которые приблизят нас к пониманию работы мозга.

Глава 12 Будущее машинного обучения