В процессе минимизации функции (1) неизвестными являются только значения коэффициентов
.
Если разделить обе части каждого уравнения системы на (-2), раскрыть скобки и привести подобные члены, то получим систему нормальных уравнений для функции регрессии вида
Если решить данную систему нормальных уравнений, то мы получим искомые оценки неизвестных коэффициентов модели регрессии
где
– среднее значение зависимой переменной;
– среднее значение независимой переменной;
– среднее арифметическое значение произведения зависимой и независимой переменных;
– дисперсия независимой переменной;
Таким образом, явный вид решения системы нормальных уравнений может быть записан следующим образом:
14. Оценка коэффициентов модели парной регрессии с помощью выборочного коэффициента регрессии
Помимо метода наименьших квадратов, с помощью которого в большинстве случаев определяются неизвестные параметры модели регрессии, в случае линейной модели парной регрессии осуществим иной подход к решению данной проблемы.
Линейная модель парной регрессии может быть записана в виде:
где
– среднее значение зависимой переменной, которое определяется на основании выборочных данных вычисленное по формуле средней арифметической:
– среднее значение независимой переменной, которое определяется на основании выборочных данных вычисленное по формуле средней арифметической:
Параметр
Выборочный коэффициент регрессии переменной
где
– среднее арифметическое значение произведения зависимой и независимой переменных:
– среднее значение из квадратов значений зависимой переменной у:
– квадрат средних значений зависимой переменной у:
– среднее значение из квадратов значений независимой переменной
– квадрат средних значений независимой переменной
При использовании рассмотренного подхода оценивания неизвестных параметров линейной модели парной регрессии, следует учитывать что ryx=rxy, однако βyx≠βxy.
15. Оценка дисперсии случайной ошибки модели регрессии
При проведении регрессионного анализа основная трудность заключается в том, что генеральная дисперсия случайной ошибки является неизвестной величиной, что вызывает необходимость в расчёте её несмещённой выборочной оценки.
Несмещённой оценкой дисперсии
(или исправленной дисперсией) случайной ошибки линейной модели парной регрессии называется величина, рассчитываемая по формуле:где
Для линейной модели множественной регрессии несмещённая оценка дисперсии случайной ошибки рассчитывается по формуле:
где
Оценка матрицы ковариаций случайных ошибок Cov(ε) будет являться оценочная матрица ковариаций:
где I
Оценка дисперсии случайной ошибки модели регрессии распределена по
Для доказательства несмещённости оценки дисперсии случайной ошибки модели регрессии необходимо доказать справедливость равенства
Доказательство
. Примем без доказательства справедливость следующих равенств:где
– выборочная оценка дисперсии случайной ошибки.
Тогда:
т. е.
что и требовалось доказать.
Следовательно, выборочная оценка дисперсии случайной ошибки
является несмещённой оценкой генеральной дисперсии случайной ошибки модели регрессии