Скорость мысли. Грандиозное путешествие сквозь мозг за 2,1 секунды

Ваш мозг сталкивается с теми же проблемами – только большего масштаба. В вашей коре есть миллиарды соединений, которые можно регулировать каждый раз, когда вы чему-то учитесь. Так как же не попасть в ловушку переобучения? Я предлагаю использовать синаптический сбой. Синаптический сбой – точно такой же механизм, как и DropConnect: он разрывает связи между нейронами временно и случайным образом. Он добавляет преднамеренный шум именно там, где нужно, чтобы мозг не попал в ловушку переобучения. Там, где мозг должен обобщать.

Вторая веская причина добавить в свой мозг преднамеренные помехи – помочь ему с поиском. Многие задачи в машинном обучении связаны с поиском оптимального решения проблемы с учетом некоторых ограничений. Классический пример: найти самый быстрый автомобильный маршрут между двумя точками. Причем самый быстрый зачастую не будет самым коротким, а решения должны учитывать скоростные ограничения, интенсивность дорожного движения, ваш вид транспорта (скажем, грузовикам по некоторым дорогам проезд запрещен), время суток, вероятность появления на дороге сбежавшей с фермы овцы и бесчисленное множество других факторов.

Машина, решающая эти проблемы, исследует пространство возможных решений. Она строит маршрут, оценивает, насколько он хорош, и выясняет, как его изменить, чтобы найти вариант получше [138]. Предположим, вы хотите поехать из Лондона в Париж. Машина проложит один возможный маршрут и рассчитает, сколько времени он займет, а затем посмотрит, как его можно оптимизировать – вероятно, здесь стоит повернуть налево, чтобы выехать на более длинную дорогу с высоким скоростным лимитом, сократив общее время в пути. И будет повторять этот цикл предположения и корректировки до тех пор, пока предлагаемые решения не перестанут выдавать уменьшение времени в пути.

Основная проблема поиска состоит в том, что у предполагаемого маршрута будет много подходящих, приемлемых, хороших решений, но все они будут окружены худшими вариантами, так что любые небольшие отклонения от адекватного решения не будут приводить к улучшению. Это маленькие ловушки в большом пространстве возможных решений. Из-за них может показаться, что лучших решений нет, но это не так.

Многие приемы по избеганию таких ловушек сводятся к одному и тому же решению – добавить случайности. Преднамеренное внесение случайных серьезных изменений в решение позволяет машине выпрыгнуть из маленьких ловушек, найти варианты лучше и продолжить поиск оптимизации. Вместо того чтобы блуждать по проселочным дорогам графства Кент, сильная помеха может привести к тому, что поиск окажется на автомагистрали, ведущей из Лондона прямо в порт на южном побережье Великобритании. (В идеальном мире достаточное количество шума, возможно, привело бы к отказу машины от поиска автомобильного маршрута и к указанию «возьми билет на прямой поезд Лондон – Париж, глупый кожаный мешок».) Чтобы искать оптимальные решения, нужен шум. Более того, шум, который можно настраивать – сделать сильным для генерации начальных крупных вариаций, а затем слабым, чтобы отточить решение.

На мой взгляд, это наводит на завораживающую идею о том, что синаптические сбои лежат в основе поискового алгоритма мозга [139]. Мозгу необходимо искать решения многих проблем в условиях ограничений. Как например, поиск маршрутов к источникам пищи – одновременно быстрых, легких и безопасных. Подобно машине, мозгу необходимо исследовать пространство возможных решений, чтобы найти лучшее (строго говоря, «наименее плохое»). И если то, что было до сих пор сказано в этой книге, отложилось в вашей памяти, вы уже знаете, что поиск маршрута будет осуществляется путем пересылки импульсов между нейронами. Итак, чтобы выбраться из ловушек всего лишь адекватных решений, мозгу нужно добавить шума в процесс отправки импульсов. Синаптический сбой и есть этот шум: случайный, беспрестанный и настраиваемый, он может быть слабым или сильным.

Тот факт, что наличие шума и помех значительно улучшает обучение и поиск, дает возможное объяснение, почему мозг должен быть намеренно несовершенным, полным помех. И мне кажется, что синаптический сбой – это лучшая форма шума и помех.

Еще один импульс достиг синапса, в котором мы застряли, всего через несколько десятков миллисекунд после нашего. Поскольку синапс был подготовлен первым импульсом, второй без труда запустил высвобождение молекул медиатора. Мы с радостью покидаем аксон и переправляемся на другую сторону, чтобы сопровождать всплеск потенциала, распространяющийся по дендриту. Мы достигли первого нейрона префронтальной коры, одного из огромного ряда нейронов, покрывающих лобную долю вашего мозга. Темновато тут, не правда ли?

Глава 6 Проблема темных нейронов

Классическое представление