Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Благодарю сообщество NIPS, без которого я бы не писал эту книгу. Это не всеобъемлющая история данной области, и я сосредоточился только на нескольких темах и людях, которые участвовали в исследованиях нейронных сетей. Например, Международное общество нейронных сетей (International Neural Network Society; INNS) было основано в 1988 году и запустило новый журнал Neural Networks, который стойко ратовал за расширение охвата нейронных сетей. В партнерстве с Институтом инженеров электротехники и электроники (Institute of Electrical and Electronic Engineering; IEEE) они проводят ежегодную Международную совместную конференцию по нейронным сетям. Машинное обучение также породило много конференций высокого уровня, включая Международную конференцию по машинному обучению (International Conference on Machine Learning; ICML), которая сродни Конференции NIPS. Область получила большую выгоду от всех подобных организаций и исследователей, внесших свой вклад.

Беатрис Голомб – критически мыслящий интеллектуал, и у нее я научился избегать шаблонного мышления. Я благодарен Джеффри Хинтону за то, что он делился со мной своим мнением о сетевых моделях на протяжении многих лет. Джефф был избран членом Королевского общества Англии и Канады, а я – членом Национальной академии наук, Национальной медицинской академии и Национальной инженерной академии: редкая честь – быть во всех трех национальных академиях США.

Соломон Голомб однажды сказал мне, что карьера происходит в ретроспективе, и я подтвердил его слова, когда писал эту книгу. Возвращаясь к своему прошлому, я анализировал события и решения, которые привели меня туда, где я сейчас, но, конечно, в то время я этого не знал. В 1964 году я написал три коротких текста для школьного литературного журнала. Первым было эссе о природе гравитации, которая приводила меня в восхищение. Вторым – рассказ о человеке, который обнаружил, что он компьютерная симуляция. Третий представлял собой размышления человека, продающего дом, в котором вырос. Много лет спустя, будучи аспирантом Принстонского университета, я продолжил исследование черных дыр и гравитационных волн в общей теории относительности, теории гравитации Эйнштейна. Получив докторскую степень по физике, я перешел в область биологии, и с тех пор объектом моего интереса стал мозг. Я пока не знаю, что делать с третьей историей, – возможно, она превратится в еще одну главу моей жизни.

Глоссарий

Адаптивная обработка сигналов – регулируемый фильтр, преобразующий сигналы. Примером может служить фильтр для уменьшения шума в регулируемой частотном диапазоне.

Алгоритм обучения – алгоритм изменения параметров функции на основе примеров. Алгоритм обучения может быть контролируемым, если заданы входные и желаемые выходные данные, или неконтролируемым, если заданы только входные данные. Обучение с подкреплением – частный случай контролируемого алгоритма обучения, когда единственная обратная связь – награда за хорошую работу.

Градиентный спуск – метод оптимизации, при котором параметры изменяются каждую эпоху, чтобы уменьшить функцию стоимости.

Логика – умозаключение, основанное на предположениях, которые могут быть только истинными или ложными. Математики используют логику для доказательства теорем.

Масштабирование – увеличение сложности алгоритма с увеличением размеров задачи.

Машина Тьюринга – гипотетический компьютер, изобретенный Аланом Тьюрингом в 1937 году в качестве простой модели для математических расчетов. Машина Тьюринга состоит из ленты, которую можно перемещать вперед и назад, головки записи-чтения, находящейся в одном из множества состояний, которая может изменять свойства активной ячейки под ней, и набора инструкций, как головка должна изменять активную ячейку и перемещать ленту. На каждом шаге машина может доработать свойство активной клетки и изменить положение головки, а после переместить ленту на одну ячейку.

МООК – массовые открытые онлайн-курсы. Лекции по широкому кругу тем, находящиеся в свободном доступе в Интернете. Первый MOOC появился в 2006 году, к 2017 году было открыто 6850 онлайн-курсов, которые прослушали 59 миллионов человек.

Нейрон – специализированная клетка мозга, которая объединяет входные сигналы от нейронов и отправляет выходные данные другим нейронам.

Нормализация – поддержание амплитуды сигнала в заданных пределах. Например, если изменяющийся во времени положительный сигнал делится на его максимальное значение, то он будет ограничен 1.

Обратная связь – соединения, которые движутся в нейронной сети в обратном направлении от более высоких уровней к более низким, создавая в сети петлю, позволяющую сигналам циркулировать.

Обратное распространение ошибки – алгоритм обучения, который оптимизирует нейронную сеть с помощью градиентного спуска, чтобы минимизировать функцию затрат и повысить производительность.