Антология машинного обучения. Важнейшие исследования в области ИИ за последние 60 лет

Обучающие и тестовые наборы – производительность обучающего набора недостаточно точно оценивает, как нейронная сеть будет работать на новых входных данных. Тестовый набор, не используемый во время обучения, позволяет оценить, насколько хорошо обобщена сеть. Когда наборы данных малы, одну выборку можно убрать из обучающего набора и использовать для тестирования производительности сети, обученной на остальных примерах, повторяя процесс для каждой выборки, чтобы получить среднюю производительность теста. Это частный случай перекрестной проверки с n = 1, в которой удерживается n подвыборок.

Ограничения – условия задачи по оптимизации, которым должно удовлетворять решение. Например, решение может иметь только положительное значение.

Оптимизация – процесс максимизации или минимизации функции путем систематического поиска входных значений из допустимого набора и вычисления значения функции.

Переобучение – состояние, когда количество настраиваемых параметров в сетевой модели сильно превышает количество обучающих данных, и большинство алгоритмов обучения просто запоминают примеры. Это значительно снижает способность обобщать новые примеры. Регуляризация – способ уменьшить переобучение.

Пластичность – изменения функций нейрона, проявляющиеся в усилении связей (синаптическая пластичность) или в том, как нейрон реагирует на его входные сигналы (внутренняя пластичность).

Правило Байеса – формула, обновляющая вероятность события на основе новых данных и уже известных условий, связанных с событием. В более общем случае байесовские вероятности – это представления о результатах, основанные на текущих и предыдущих данных.

Равновесие – состояние термодинамической системы, при котором отсутствуют чистые макроскопические потоки вещества или энергии. В машине Больцмана элементы вероятностны, и если входные сигналы остаются постоянными, то система приходит в равновесие.

Распределение вероятностей – функция, определяющая вероятность возникновения всех возможных состояний системы или результатов эксперимента.

Регуляризация – способ избежать переобучения модели с большим количеством параметров, когда данные ограничены. Распространенным методом является снижение веса, при котором все веса в сети уменьшаются в каждую эпоху обучения, и выживают только веса с большими положительными градиентами.

Рекуррентная сеть – нейронная сеть с обратными связями, позволяющими сигналам циркулировать внутри сети.

Свертка – способ смешивания одной функции с другой путем вычисления, в какой мере одна функция перекрывает другую при их наложении.

Сеть прямого распространения – многоуровневая нейронная сеть с односторонней связью между слоями, начиная с входного слоя и заканчивая выходным.

Синапс – особое соединение между двумя нейронами, где сигнал передается от пресинаптического нейрона к постсинаптическому нейрону.

Функция стоимости – функция, которая определяет цель сети и количественно оценивает ее производительность. Целью обучения является снижение функции стоимости.

Шипик – тонкий вырос на дендрите, способный образовать синаптическое соединение.

Эпоха – одно обновление весов во время обучения после того, как средний градиент вычислен на основе заданного количества примеров.

* * *