Читаем Об ИИ без мифов. Путеводитель по истории Искусственного Интеллекта полностью

Много позже заслуги Розенблатта были должным образом оценены, IEEE (Institute of Electrical and Electronics Engineers) в 2004 году учредил награду его имени за достижения в области коннекционизма и нейронных сетей. Среди удостоенных ею Владимир Вапник и Джеффри Хинтон.

<p>Нейрон MCP на мемисторах</p>

Менее известен работа профессора Стэнфордского университета Бернарда Уидроу (Bernard Widrow, 1929) и его аспиранта Тэда Хоффа (Edward Hoff, 1937), попытавшихся перенести функционал персептрона на устройства, названные мемисторами и создать из них ANN. Они не были ни нейропсихологами, ни математиками, а всего лишь инженерами, специалистами в области электротехники, поэтому исследования в области ANN не заняли главного места в их жизни. Уидроу был и остается специалистом в области адаптивных фильтров, а Хофф позже вошел в историю как один из создателей первого микропроцессора Intel 4004. В 1968 году он перешел в Intel, став двенадцатым в списке сотрудников начинающей компании, а много позже первым почетным сотрудником (Intel Fellow).

Но ранее в своей диссертации Хофф предложил LMS-алгоритм адаптивной фильтрации, основанный на методе наименьшего квадрата. Этот алгоритм широко используется в различных устройствах до настоящего времени и он стал основой для метода обучения по Уидроу и Хоффу (Widrow-Hoff Learning) и реализован на устройствах, изобретенных Уидроу и названных им мемистром (memistor). Мемистор представляет собой резистор с памятью, его не следует путать с близком по названию устройством мемристор (memristor, memory resistor), изобретенным на 10 лет позднее. Мемистор похож на триод, он тоже имеет три контакта, на два подается питающее напряжение, а на третий управляющий сигнал, а у мемристора всего два контакта, он способен запоминать свое состояние после прохождения по нему тока. Широкого распространения мемисторы не получили, но Уидроу и Хофф в 1960 году смогли реализовать на них одноуровневый нейрон по модели MCP, названный ими ADALINE (Adaptive Linear Neuron), а через два года и многоуровневый MADALINE (Many ADALINE).

<p>Метод обратного распространения ошибок</p>

Backpropagation (backward propagation of errors) переводится буквально как обратное распространение ошибок. Сегодня так называют наиболее популярный метод обучения многослойных персептронов, то есть нейронных сетей с прямой связью (feedforward neural network). Такие сети отличаются возможностью реализовать в них обратную связь, этот необходимый компонент практически любого самообучения.

В данном случае использование обратной связи в процессе обучения предполагает два прохода по всем слоям сети: прямого и обратного. При прямом проходе входной поток данных подается на входной слой нейронной сети, после чего он распространяется по сети от слоя к слою. В результате генерируется набор выходных сигналов, который и является фактической реакцией сети на данный входной образ. Во время прямого прохода все синаптические веса сети фиксированы. Во время обратного прохода все синаптические веса настраиваются в соответствии с правилом коррекции ошибок, а именно: фактический выход сети вычитается из желаемого, в результате чего формируется сигнал ошибки. Этот сигнал впоследствии распространяется по сети в направлении, обратном направлению синаптических связей. Отсюда и название – алгоритм обратного распространения ошибки. Синаптические веса настраиваются с целью максимального приближения выходного сигнала сети к желаемому.

У этого термина на удивление сложная история, backpropagation был впервые предложен Розенблаттом в 1961 году, а в 1974 году метод backpropagation описал в своей диссертации Пол Вербос (1947), но тогда на его алгоритмы научное сообщество не обратило внимание. В 1990 году Вербос опубликовал обзорную статью «Backpropagation сквозь время: на что оно способно и как оно это делает» (Backpropagation Through Time: What It Does and How to Do It), где отдает должное ряду ученых, в том числе Хинтону и Лекуну, и подчеркивает, что метод backpropagation может быть использован не только в приложении к ANN, но и к другим динамическим системам.

Перейти на страницу:

Похожие книги

Чем женщина отличается от человека
Чем женщина отличается от человека

Я – враг народа.Не всего, правда, а примерно половины. Точнее, 53-х процентов – столько в народе женщин.О том, что я враг женского народа, я узнал совершенно случайно – наткнулся в интернете на статью одной возмущенной феминистки. Эта дама (кандидат филологических наук, между прочим) написала большой трактат об ужасном вербальном угнетении нами, проклятыми мужчинами, их – нежных, хрупких теток. Мы угнетаем их, помимо всего прочего, еще и посредством средств массовой информации…«Никонов говорит с женщинами языком вражды. Разжигает… Является типичным примером… Обзывается… Надсмехается… Демонизирует женщин… Обвиняет феминизм в том, что тот "покушается на почти подсознательную протипическую систему ценностей…"»Да, вот такой я страшный! Вот такой я ужасный враг феминизма на Земле!

Александр Петрович Никонов

Публицистика / Прочая научная литература / Образование и наука / Документальное
Российские университеты XVIII – первой половины XIX века в контексте университетской истории Европы
Российские университеты XVIII – первой половины XIX века в контексте университетской истории Европы

Как появились университеты в России? Как соотносится их развитие на начальном этапе с общей историей европейских университетов? Книга дает ответы на поставленные вопросы, опираясь на новые архивные источники и концепции современной историографии. История отечественных университетов впервые включена автором в общеевропейский процесс распространения различных, стадиально сменяющих друг друга форм: от средневековой («доклассической») автономной корпорации профессоров и студентов до «классического» исследовательского университета как государственного учреждения. В книге прослежены конкретные контакты, в особенности, между российскими и немецкими университетами, а также общность лежавших в их основе теоретических моделей и связанной с ними государственной политики. Дискуссии, возникавшие тогда между общественными деятелями о применимости европейского опыта для реформирования университетской системы России, сохраняют свою актуальность до сегодняшнего дня.Для историков, преподавателей, студентов и широкого круга читателей, интересующихся историей университетов.

Андрей Юрьевич Андреев

История / Научная литература / Прочая научная литература / Образование и наука
Что день грядущий нам готовил?
Что день грядущий нам готовил?

Книга Пола Майло впервые рассказывает о том, что было «видно» в нашем 21 веке из века 20-го. Это поразительная коллекция предсказаний, сделанных учеными, экспертами и публицистами 20 века, — предсказаний удачных (их не очень много), скандальных (умеренно много), смешных (весьма много) и… неудачных (подавляющее большинство). Но главное — как обнаружил автор, «предсказания позволяют оценить не только и не столько даже будущее, сколько настоящее».Пол Майло — американский журналист, лауреат нескольких профессиональных премий. Сотрудничал с «Уолл-стрит джорнал», «Бостон глоуб» и многими другими крупными изданиями. «Что день грядущий нам готовил?» — его первая книга.

Пол Майло

Зарубежная образовательная литература, зарубежная прикладная, научно-популярная литература / Прочая научная литература / Научпоп / Образование и наука / Документальное