Начало изучению нервных сетей было положено работой У.С. Мак-Каллока и В. Питтса (1943). Эти авторы рассматривали сети, образованные пороговыми элементами, которые могут находиться только в одном из двух состояний «включено» или «выключено». Они пришли к выводу, что любая функция нервной системы, которая поддается логическому описанию при помощи конечного числа слов, может быть реализована формальной нервной сетью. Тем самым была показана принципиальная возможность моделирования любых формализуемых функций мозга. В этой работе использовалась крайне упрощенная модель нейрона: принималось, что порог нейрона не меняется во времени и что срабатывание любого тормозного синапса полностью затормаживает нейрон. В дальнейшем в теории нервных сетей перешли к рассмотрению структур, образуемых элементами, свойства которых близки к свойствам реальных нейронов.
Физиологические исследования последних лет показали, что органы чувств животных, как правило, не являются простой мозаикой рецепторов, каждый из которых независимо реагирует на свет или темноту, звук или его прекращение и т. д. Оказалось, что уже на уровне органов чувств существуют специальные структуры («детекторы»), которые могут выделять контуры изображения, углы, движущиеся предметы и т. д. Существенно, что эти операции осуществляются в органах чувств не в результате обучения, а вследствие самой конструкции органа, выработанной в процессе эволюции. Моделированию сетей, которые выделяют только определенные группы внешних сигналов или определенные признаки, посвящена большая серия работ.
Бóльшая часть моделей этого типа соответствует специализированным нервным сетям с детерминированными связями. Структура такой сети, топология ее связей специально приспособлена для решения определенной задачи. Г.Д. Ландаль (1962) рассмотрел сети, которые реагируют только на движущиеся объекты, а также сети для оценки кривизны траектории движущегося объекта и восприятия цвета. Специально рассматривались механизмы, которые могут обеспечить неизменность реакции при разных размерах, смещениях и поворотах воспринимаемого образа (У Мак-Каллок, В. Питтс, 1947; Н. Винер, 1948; Дж. Т. Калбертсон, 1950).