Нейронный сети. Эволюция

Во второй примере, когда изменение скорости автомобиля проходило линейно, с постоянным изменением, найти производную функции (s = 0,2t + 1,5), не зная правил дифференцирования сложных функций, мы пока не сможем, поэтому отложим этот пример на потом.

Продолжим с решения третьего примера, когда изменение скорости автомобиля проходило не линейно:

s = t^2

Приращение функции и производная:

s(t) = t^2

s = s(t+t) – s(t) = (t+t) ^2 – t^2 = t^2 + 2tt + t^2 – t^2 = t(2t+t)

Вот мы и решили наш третий пример! Нашли формулу точного изменения скорость от времени. Вычислим производную, в всё той же точки t = 3.

s(t) = t^2

s'(t) = 2*3 = 6

Точный ответ, в пределах небольшой погрешности, почти сошелся с вычисленном до этого приближенным ответом.

Попробуем усложнить пример. Предположим, что скорость движения автомобиля описывается кубической функцией времени:

s(t) = t^3

Приращение и производная:

s(t) = t^3

s = s(t+t) – s(t) = t^3 + 3 t^2t+ 3t t^2 + t^3 – t^3 = t(3 t^2 + 3tt + t^2)

Из двух последних примеров (с производными функций s(t) = t^2 и s(t) = t^3) следует, что показатель степени числа, становится его произведением, а степень уменьшается на единицу:

s(t) = t

А чему равна производная от аргумента функции? Давайте узнаем…

s(t) = t

Приращение:

s = s(t+t) – s(t) = t + t – t = t

Производная:

Получается, что производная от переменной:

t' = 0

Правила дифференцирования и дифференцирование сложных функций

Дифференцирование суммы

(u+v)' = u' + v', где u и v – функции.

Пусть f(x) = u(x) + v(x). Тогда:

f = f(x+x) – f(x) = u(x+x) + v(x+x) – u(x) – v(x) = u(x) + u + v(x) + v – u(x) – v(x) = u + v

Тогда имеем:

Дроби u/х и v/х при х->0 стремятся соответственно к u'(x) и v' (x). Сумма этих дробей стремится к сумме u'(x) + v' (x).

f'(x)= u' (x) + v' (x)

Дифференцирование произведения

(u*v)' = u' v + v'u, где u и v – функции

Разберем, почему это так. Обозначим f(x) = u(x) * v(x). Тогда:

f = f(x+x) – f(x) = u(x+x) * v(x+x) – u(x) * v(x) = (u(x) + u) * (v(x) + v) – u(x) * v(x) = u(x)v(x) + v(x)u + u(x)v + uv – u(x)v(x) = v(x)u + u(x)v + uv

Далее имеем:

Первое слагаемое стремиться к u'(x) v(x). Второе слагаемое стремиться к v'(x)* u(x). А третье, в дроби u/x, в пределе даст число u'(x), а поскольку множитель v стремиться к нулю, то и вся эта дробь обратится в ноль. А следовательно, в результате получаем:

f'(x)= u' (x) v(x) + v' (x) u(x)

Из этого правила, легко убедиться, что:

(c*u)' = c' u + cu' = cu'

Поскольку, с – константа, поэтому ее производная равна нулю (c' = 0).

Зная это правило мы без труда, найдем изменение скорости второго примера.

Применим к выражению правило дифференцирование суммы:

s' (t) = (0,2t) ' + (1,5) '

Теперь по порядку, возьмём выражение – (0,2t) '. Как брать производную произведения константы и переменной мы знаем:

(0,2t) ' = 0,2

А производная самой константы равна нулю – (1,5) ' = 0.

Следовательно, скорость изменения скорости, второго примера:

s' (t) = 0,2

Что совпадает с нашим ответом, полученном ранее во втором примере.

Дифференцирование сложной функции

Допустим, что в некоторой функции, y сама является функцией:

f = y^2

y = x^2+x

Представим дифференцирование этой функции в виде:

Нахождение производной в этом случае, осуществляется в два этапа.

Мы знаем, как решить производную типа: dy^2/dy = 2y

А также знаем, как решать производную суммы: х^2 + х = (х^2)' + х' = 2х+1

Тогда:

2(x^2+x) * (2х+1) = (2х^2+2х) * (2х+1) = 4х^3+6х^2+2х

Я надеюсь, вам удалось понять, в чем состоит суть дифференциального исчисления.

Используя описанные, методы дифференцирования выражений, вы сможете понять механизм работы метода градиентного спуска.

В качестве небольшого дополнения, приведу список наиболее распространённых табличных производных:

Зачем нам дифференцировать функции

Еще раз вспомним как мы спускаемся по склону. Что в кромешной тьме, мы хотим попасть к его подножью, имея в своем арсенале слабенький фонарик.