Если в начале эконометрического моделирования перед исследователем стоит выбор между моделью регрессии, внутренне нелинейной и линейной моделью регрессии (или сводящейся к линейному виду), то предпочтение отдаётся линейным формам моделей.
42. Метод наименьших квадратов для моделей регрессии, нелинейных по факторным переменным
Если модель регрессии является нелинейной по факторным переменным или нелинейной по оцениваемым коэффициентам, но внутренне линейной, то неизвестные коэффициенты данных моделей можно оценить с помощью классического метода наименьших квадратов.
Рассмотрим применение метода наименьших квадратов для определения неизвестных параметров модели регрессии, нелинейной по факторным переменным.
Параболическая функция второго порядка вида
является моделью регрессии, нелинейной по факторным переменным
Метод наименьших квадратов позволяет получить такие оценки параметров
В процессе минимизации исходной функции регрессии неизвестными являются только значения коэффициентов
Составим стационарную систему уравнений для функционала
После элементарных преобразований стационарной системы уравнений, получим систему нормальных уравнений, позволяющую определить значения неизвестных коэффициентов параболической функции:
Данная система является системой нормальных уравнений относительно параметров
для параболической функции второго порядка.
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода
Если рассматривать полиномиальную функцию
то для определения оценок неизвестных коэффициентов данной модели регрессии методом наименьших квадратов минимизируется функционал
Для определения минимума функции нескольких переменных вычисляются частные производные этой функции по каждому из оцениваемых параметров и приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений:
Решением данной стационарной системы уравнений будут оценки неизвестных коэффициентов полиномиальной функции n-ой степени.
43. Метод наименьших квадратов для моделей регрессии, нелинейных по оцениваемым коэффициентам
Показательная функция вида
является нелинейной по коэффициенту
Данную модель можно привести к линейному виду с помощью логарифмирования:
Для более наглядного представления данной модели регрессии воспользуемся методом замен:
В результате произведённых замен получим окончательный вид показательной функции, приведённой к линейной форме:
Таким образом, мы будем применять метод наименьших квадратов не к исходной форме показательной функции, а к её преобразованной форме.
Для определения неизвестных коэффициентов линеаризованной формы показательной функции методом наименьших квадратов необходимо минимизировать сумму квадратов отклонений логарифмов наблюдаемых значений результативной переменной
Оценки неизвестных коэффициентов
Данная система является системой нормальных уравнений относительно коэффициентов
Однако основным недостатком полученных МНК-оценок неизвестных коэффициентов моделей регрессии, сводимых к линейному виду, является их смещённость.
44. Методы нелинейного оценивания коэффициентов модели регрессии
Функцией потерь или ошибок
называется функционал видаТакже в качестве функции потерь может быть использована сумма модулей отклонений наблюдаемых значений результативного признака у от теоретических значений