сходится по вероятности к значению параметра
генеральной совокупности, при условии, что объём выборочной совокупности стремится к бесконечности.
На практике оценка
полученная методом наименьших квадратов, считается состоятельной оценкой параметра,
если выполняются два условия:
1) смещение оценки равно нулю или стремится к нему при объёме выборки, стремящемся к бесконечности:
2) дисперсия оценки параметра
стремится к нулю при объёме выборки, стремящемся к бесконечности:
Рассмотрим свойство состоятельности МНК-оценок на примере модели парной регрессии.
Необходимо доказать, что оценка
полученная методом наименьших квадратов, является состоятельной оценкой параметра
Доказательство
. Докажем первое условие состоятельности для МНК-оценкиДокажем второе условие состоятельности для МНК-оценки
МНК-оценка
подчиняется нормальному закону распределения с математическим ожиданием
или
где индекс 22 указывает на расположение дисперсии параметра
Свойство состоятельности оценки
коэффициента
Оценка стандартной ошибки МНК-оценки
определяется по формуле:
Для модели множественной регрессии доказательство свойства несмещённости оценок параметров
Следовательно, оценки
полученные методом наименьших квадратов, являются несмещёнными оценками коэффициентов
Эффективность МНК-оценок доказывается с помощью теоремы
17. Эффективность МНК-оценок МНК
Свойство эффективности оценок неизвестных параметров модели регрессии, полученных методом наименьших квадратов, доказывается с помощью теоремы Гаусса-Маркова.
Сделаем следующие предположения о модели парной регрессии:
1) факторная переменная
2) математическое ожидание случайной ошибки модели регрессии равно нулю во всех наблюдениях:
3) дисперсия случайной ошибки модели регрессии постоянна для всех наблюдений:;
4) между значениями случайных ошибок модели регрессии в любых двух наблюдениях отсутствует систематическая взаимосвязь, т. е. случайные ошибки модели регрессии не коррелированны между собой (ковариация случайных ошибок любых двух разных наблюдений равна нулю):
Это условие выполняется в том случае, если исходные данные не являются временными рядами;
5) на основании третьего и четвёртого условий часто добавляется пятое условие, заключающееся в том, что случайная ошибка модели регрессии – это случайная величина, подчиняющейся нормальному закону распределения с нулевым математическим ожиданием и дисперсией
Если выдвинутые предположения справедливы, то оценки неизвестных параметров модели парной регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров
Если выдвинутые предположения справедливы для модели множественной регрессии, то оценки неизвестных параметров данной модели регрессии, полученные методом наименьших квадратов, имеют наименьшую дисперсию в классе всех линейных несмещённых оценок, т. е. МНК-оценки можно считать эффективными оценками неизвестных параметров
Для обозначения дисперсий МНК-оценок неизвестных параметров модели регрессии используется матрица ковариаций.
Матрицей ковариаций МНК-оценок параметров линейной модели парной регрессии
называется выражение вида:где
– дисперсия МНК-оценки параметра модели регрессии
– дисперсия МНК-оценки параметра модели регрессии
Матрицей ковариаций МНК-оценок параметров линейной модели множественной регрессии
называется выражение вида:где
Для линейной модели парной регрессии дисперсии оценок неизвестных параметров определяются по формулам:
1) дисперсия МНК-оценки коэффициента модели регрессии 0:
2) дисперсия МНК-оценки коэффициента модели регрессии
где
В связи с тем, что на практике значение дисперсии случайной ошибки модели регрессии
Для линейной модели парной регрессии оценка дисперсии случайной ошибки определяется по формуле:
где
– это остатки регрессионной модели, которые рассчитываются как