Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Правило Байеса — формула, обновляющая вероятность события на основе новых данных и уже известных условий, связанных с событием. В более общем случае байесовские вероятности — это представления о результатах, основанные на текущих и предыдущих данных.

Равновесие — состояние термодинамической системы, при котором отсутствуют чистые макроскопические потоки вещества или энергии. В машине Больцмана элементы вероятностны, и если входные сигналы остаются постоянными, то система приходит в равновесие.

Распределение вероятностей — функция, определяющая вероятность возникновения всех возможных состояний системы или результатов эксперимента.

Регуляризация — способ избежать переобучения модели с большим количеством параметров, когда данные ограничены. Распространенным методом является снижение веса, при котором все веса в сети уменьшаются в каждую эпоху обучения, и выживают только веса с большими положительными градиентами.

Рекуррентная сеть — нейронная сеть с обратными связями, позволяющими сигналам циркулировать внутри сети.

Свертка — способ смешивания одной функции с другой путем вычисления, в какой мере одна функция перекрывает другую при их наложении.

Сеть прямого распространения — многоуровневая нейронная сеть с односторонней связью между слоями, начиная с входного слоя и заканчивая выходным.

Синапс — особое соединение между двумя нейронами, где сигнал передается от пресинаптического нейрона к постсинаптическому нейрону.

Функция стоимости — функция, которая определяет цель сети и количественно оценивает ее производительность. Целью обучения является снижение функции стоимости.

Шипик — тонкий вырос на дендрите, способный образовать синаптическое соединение.

Эпоха — одно обновление весов во время обучения после того, как средний градиент вычислен на основе заданного количества примеров.