Предположим, что на основе собранных наблюдений была построена линейная парная модель регрессии:
Рассмотрим применение метода Кохрана-Оркутта оценки коэффициента автокорреляции на примере данной модели.
Осуществление метода Кохрана-Оркутта происходит в несколько этапов.
1) оценки неизвестных коэффициентов исходной модели регрессии определяются классическим методом наименьших квадратов. В результате мы получим оценённую модель регрессии вида:
2) на основании исходной (1) и оценённой (2) моделей регрессии рассчитываются остатки модели:
3) рассчитывается выборочный автокорреляционный коэффициент первого порядка по формуле:
С помощью данного коэффициента можно оценить авторегрессионную зависимость остатков:
4) строится преобразованная модель регрессии. Модель регрессии в момент времени (
Для более наглядного представления преобразованной модели воспользуемся методом замен:
В результате преобразованная модель регрессии примет вид:
5) оценки неизвестных коэффициентов преобразованной модели регрессии рассчитываются с помощью традиционного метода наименьших квадратов:
Далее рассчитываются оценки коэффициентов исходной модели регрессии по формулам:
В результате полученную модель регрессии можно представить в виде:
6) на заключительном этапе вновь вычисляются остатки et между исходной (1) и преобразованной оценённой (7) моделями регрессии, и процесс повторяется с третьего этапа.
Метод Кохрана-Оркутта является итеративным методом оценивания. Его основное отличие состоит в том, что процесс итеративного оценивания исходной модели регрессии сходится или останавливается при условии, если последнее вычисленное значение оценки коэффициента автокорреляции первого порядка
Другим методом вычисления оценки коэффициента автокорреляции является метод
В этом случае коэффициент автокорреляции задаётся двумя параметрами: диапазоном и величиной шага. Например, коэффициента автокорреляции
Для каждого из значений коэффициента автокорреляции с помощью метода разностей строится преобразованная модель регрессии вида:
Далее оценки неизвестных коэффициентов преобразованной модели регрессии рассчитываются с помощью классического метода наименьших квадратов:
Оценкой коэффициента автокорреляции первого порядка
Оценки неизвестных коэффициентов результативной модели регрессии рассчитываются по формулам:
65. Обобщённая модель регрессии. Обобщённый метод наименьших квадратов. Теорема Айткена
МНК-оценки неизвестных коэффициентов модели регрессии, чьи случайные ошибки подвержены явлениям гетероскедастичности или автокорреляции, не будут удовлетворять теореме Гаусса-Маркова. Свойствами состоятельности и несмещённости МНК-оценки будут обладать, однако свойство эффективности в этом случае утрачивается.
Для вычисления оценок неизвестных коэффициентов модели регрессии с гетероскедастичными или коррелированными случайными ошибками используется обобщённый метод наименьших квадратов. Оценки, полученные с помощью данного метода, будут удовлетворять условиям состоятельности, несмещённости и эффективности.
В основе нормальной линейной модели регрессии среди прочих лежат условия о некоррелированности и гомоскедастичности случайных ошибок:
1) дисперсия случайной ошибки модели регрессии является величиной, постоянной для всех наблюдений:
2) случайные ошибки модели регрессии не коррелированны между собой, т. е. ковариация случайных ошибок любых двух разных наблюдений равна нулю:
Определение. Обобщённой линейной моделью регрессии называется модель, для которой нарушаются условия о гомоскедастичности и некоррелированности случайных ошибок.
Таким образом, обобщённая линейная модель регрессии характеризуется неоднородностью дисперсий случайных ошибок:
и наличием автокорреляции случайных ошибок:
Матричный вид обобщённой линейной модели регрессии:
где