Для нормальной линейной модели регрессии дисперсия случайной ошибки определялась на основе условия гомоскедастичности:
где
Для обобщённой модели регрессии ковариационная матрица случайных ошибок строится на основе условия непостоянства дисперсий остатков модели регрессии (гетероскедастичности)
Отличие между нормальной линейной моделью регрессии и обобщенной линейной моделью регрессии заключается в матрице ковариаций случайных ошибок модели.
Теорема Айткена
. В классе линейных несмещённых оценок неизвестных коэффициентов обобщённой модели регрессии оценкабудет иметь наименьшую ковариационную матрицу.
Общая формула для расчёта матрицы ковариаций ОМНК-оценок коэффициентов обобщенной модели регрессии имеет вид:
Величина
Однако значение
Коэффициент детерминации не используется при оценке качества обобщённой линейной модели регрессии, потому что он не отвечает требованиям, предъявляемым к обычному множественному коэффициенту детерминации.
Проверка гипотез о значимости коэффициентов обобщенной линейной модели регрессии и модели регрессии в целом осуществляется с помощью тех же статистических критериев, что и в случае нормальной линейной модели регрессии.
66. Доступный обобщённый метод наименьших квадратов. Взвешенный метод наименьших квадратов
Если случайные ошибки модели регрессии подвержены процессу автокорреляции, то для оценивания неизвестных коэффициентов модели регрессии применяется доступный обобщённый метод наименьших квадратов.
Основное отличие доступного обобщённого метода наименьших квадратов от обобщённого метода заключается в оценке матрицы ковариаций
Оценки неизвестных коэффициентов обобщённой модели регрессии рассчитываются с помощью доступного обобщённого метода наименьших квадратов по формуле:
где
– оценка матрицы ковариаций случайных ошибок обобщённой линейной модели регрессии.
Предположим, что на основе собранных данных была построена модель парной регрессии вида:
Рассмотрим процесс оценивания матрицы ковариаций случайных ошибок модели с автокоррелированными, но гомоскедастичными остатками на примере данной модели.
Если остатки данной модели регрессии подчиняются авторегрессионному процессу первого порядка, то исходную модель регрессии можно представить в виде:
εt=ρεt-1+νt,
где
Математическое ожидание случайной ошибки модели регрессии равно нулю:
Предположим, что дисперсия случайной ошибки модели регрессии рассчитывается по формуле:
Рассчитаем ковариацию между двумя соседними случайными ошибками модели регрессии
Рассчитаем ковариацию между следующими случайными ошибками модели регрессии
Дальнейший процесс расчёта ковариаций для всех случайных ошибок обобщенной модели регрессии осуществляется по тому же принципу.
В результате проведённых вычислений матрицу корреляций остатков обобщённой линейной модели регрессии можно представить следующим образом:
где
где
Если случайные ошибки модели регрессии подвержены гетероскедастичности (но являются неавтокоррелированными), то для оценивания неизвестных коэффициентов модели регрессии применяется взвешенный метод наименьших квадратов.
Суть взвешенного метода наименьших квадратов состоит в том, что остаткам обобщённой модели регрессии придаются определённые веса, которые равны обратным величинам соответствующих дисперсий
Таким образом, матрица ковариаций случайных ошибок модели регрессии определяется исходя из предположения о пропорциональности величины
где
В этом случае матрица ковариаций случайных ошибок модели регрессии может быть представлена в виде: