Некоторые из этих кандидатов, как мы можем предположить, жили не лучше своих собратьев, дарвиновских созданий с жестко фиксированной конструкцией, так как у них не было возможности предпочитать (выбирать «на бис») те варианты поведения, «для испытания» которых у них было все необходимое. Но другие, можно предположить, были более удачливы и имели вмонтированные «подкрепители», которым случалось поощрять совершение «умных» шагов, т.е. действий, которые были лучшими среди доступных для кандидатов. Таким образом, эти особи, сталкиваясь с окружающей средой, совершали разнообразные действия, опробывая их одно за другим, пока не находили то, которое срабатывало. Они обнаруживали это, только получив положительный либо отрицательный сигнал от окружающей среды, который корректировал вероятность повторного совершения этого действия в другой раз. Конечно, любые создания с неправильным монтажом — подкрепляющим совершение негативных вместо позитивных действий — были обречены. Только те, кому посчастливилось родиться с подходящими подкрепителями, обладали преимуществом. Мы можем называть этот подкласс дарвиновских созданий
Произошедшая в 1970-х годах когнитивная революция лишила бихевиоризм его господствующего положения в психологии, и с тех пор существует тенденция недооценивать возможности скиннеровского научения (или его разновидностей) в превращении набора поведенческих реакций организмов в высоко адаптивные и способные к различению структуры. Однако успешные исследования по нейросетям и «коннекционизм» в 1990-х годах заново продемонстрировали порой удивительную виртуозность простых сетей, которые начинают жизнь, имея более или менее беспорядочные соединения, а затем корректируют их при помощи простой разновидности «опыта» — пережитой ими истории подкреплений.
Основополагающая идея о том, что окружающая среда играет роль слепого отбора в формировании психики (или мозга, или системы управления), свое происхождение ведет не от Дарвина, а из более глубокого прошлого. Предшественниками сегодняшних коннекционистов и вчерашних бихевиористов были ассоцианисты, т.е. такие философы, как Дэвид Юм, который попытался в XVIII веке представить, каким образом части ума (он называл их впечатлениями и идеями) могут самоорганизовываться без помощи некоего всезнающего управляющего. Помнится, как однажды один студент сказал мне: «Юм хотел, чтобы идеи сами думали». У Юма были замечательные догадки о том, как впечатления и идеи могут соединяться друг с другом в ходе процесса, напоминающего образование химических соединений, а затем прокладывать в душе проторенные тропинки привычек, но эти догадки были слишком смутными, чтобы их можно было проверить. Однако ассоцианизм Юма напрямую вдохновлял Павлова в его знаменитых экспериментах по выработке условных рефлексов в поведении животных, которые, в свою очередь, привели к созданию несколько иных теорий условных рефлексов Э.Л.Торндайком, Скиннером и другими психологами-бихевиористами. Некоторые из этих исследователей, в частности Дональд Хебб, попытались более тесно связать свой бихевиоризм с тем, что тогда было известно о мозге.
В 1949 году Хебб предложил модели простых механизмов научения, которые могут корректировать соединения между нервными клетками. Эти механизмы (сейчас называемые хеббовскими правилами научения) и их потомки служат двигателем изменений в коннекционизме, последнем проявлении этой традиции.
Ассоцианизм, бихевиоризм, коннекционизм — их исторический и алфавитный порядок позволяет проследить эволюцию моделей одного простого вида научения, которое может быть названо