является нелинейной по коэффициенту
Данную модель можно привести к линейному виду с помощью логарифмирования:
Для более наглядного представления данной модели регрессии воспользуемся методом замен:
В результате произведённых замен получим окончательный вид показательной функции, приведённой к линейной форме:
Таким образом, мы будем применять метод наименьших квадратов не к исходной форме показательной функции, а к её преобразованной форме.
Для определения неизвестных коэффициентов линеаризованной формы показательной функции методом наименьших квадратов необходимо минимизировать сумму квадратов отклонений логарифмов наблюдаемых значений результативной переменной
Оценки неизвестных коэффициентов
Данная система является системой нормальных уравнений относительно коэффициентов
Однако основным недостатком полученных МНК-оценок неизвестных коэффициентов моделей регрессии, сводимых к линейному виду, является их смещённость.
44. Методы нелинейного оценивания коэффициентов модели регрессии
Функцией потерь или ошибок
называется функционал видаТакже в качестве функции потерь может быть использована сумма модулей отклонений наблюдаемых значений результативного признака у от теоретических значений :
Функция потерь характеризует потери в точности аппроксимации исходных данных построенной моделью регрессии.
В интересах исследователя минимизировать функцию ошибок. Для этого используются различные методы, однако, их общий недостаток заключается в наличии локальных минимумов. Например, если оценка неизвестного параметра модели регрессии будет немного изменена, то значение функция потерь практически не изменится, но существует вероятность того, что ошибочное значение оцениваемого параметра модели регрессии даст в результате ощутимое уменьшение функции ошибок. Такое явление называется локальным минимумом.
Следствием локальных минимумов являются неоправданно завышенные или заниженные оценки неизвестных параметров модели регрессии.
Избежать попадания в локальный минимум можно путём повторения процедуры оценивания неизвестных параметров модели регрессии с изменёнными начальными условиями (шагом, ограничением оцениваемых параметров и т. д.).
При достижении функцией ошибок глобального минимума, оценки неизвестных коэффициентов модели регрессии считаются оптимальными.
К основным методам минимизации функции ошибок относятся:
1) метод Ньютона. В соответствии с данным методом основной шаг в направлении глобального минимума метода Ньютона рассчитывается по формуле:
где
Предположим, что задана скалярная функция
вида
Независимые переменные
Вектор-столбец
называется градиентом функции
2) для избежания громоздких вычислений матрицы Гессе существуют различные способы её замены приближёнными выражениями. Эти приёмы легли в основу квазиньютоновых методов. Суть квазиньютоновых методов заключается в том, что в различных точках вычисляются значения функции ошибок для определения первой и второй производной. Первая производная функции в заданной точке равна тангенсу угла наклона графика функции, а вторая производная функции в заданной точке равна скорости его изменения. Затем эти данные применяются для определения направления изменения параметров, а соответственно, и для минимизации функции ошибок;