– матрица значений факторной переменной размерности
В процессе минимизации функции (1) неизвестными являются только значения коэффициентов
где
– вектор-столбец неизвестных коэффициентов модели регрессии размерности
Общий вид стационарной системы уравнений для функции (1):
Решением стационарной системы уравнений будут МНК-оценки неизвестных параметров линейной модели множественной регрессии:
Оценим с помощью метода наименьших квадратов неизвестные параметры линейной модели двухфакторной регрессии:
где
Чтобы рассчитать оценки неизвестных коэффициентов
Для определения экстремума функции нескольких переменных, частные производные по этим переменным приравниваются к нулю. Результатом данной процедуры будет стационарная система уравнений для модели множественной линейной регрессии с двумя переменными:
В результате элементарных преобразований данной стационарной системы уравнений получим систему нормальных уравнений:
Данная система называется системой нормальных уравнений относительно коэффициентов
для модели регрессии
Полученная система нормальных уравнений является квадратной, т. к. количество уравнений равняется количеству неизвестных переменных, поэтому коэффициенты
можно рассчитать с помощью метода
Рассмотрим подробнее метод Крамера решения квадратных систем нормальных уравнений.
Единственное решение квадратной системы линейных уравнений определяется по формуле:
где Δ – основной определитель квадратной системы линейных уравнений;
Δ
При использовании метода Крамера возможно возникновение следующих ситуаций:
1) если основной определитель системы
2) если основной определитель системы
28. Линейная модель множественной регрессии стандартизированного масштаба
Помимо классического метода наименьших квадратов для определения неизвестных параметров линейной модели множественной регрессии
Построение модели множественной регрессии
в стандартизированном или нормированном масштабе означает, что все переменные, включенные в модель регрессии, стандартизируются с помощью специальных формул.Посредством процесса стандартизации точкой отсчёта для каждой нормированной переменной устанавливается её среднее значение по выборочной совокупности. При этом в качестве единицы измерения стандартизированной переменной принимается её среднеквадратическое отклонение
Факторная переменная
где
Результативная переменная
где
Если между исследуемыми переменными в исходном масштабе является линейной, то процесс стандартизации не нарушает этой связи, поэтому стандартизированные переменные будут связаны между собой линейно:
Неизвестные коэффициенты данной функции можно определить с помощью классического метода наименьших квадратов для линейной модели множественной регрессии. В этом случае минимизируется функционал
В результате минимизации данного функционала получим систему нормальных уравнений, переменными в которой будут являться парные коэффициенты корреляции между факторными и результативной переменной. Такой подход основывается на следующем равенстве:
Система нормальных уравнений для стандартизированной модели множественной регрессии имеет вид:
В связи с тем, что полученная система нормальных уравнений является квадратной (количество уравнений равняется количеству неизвестных переменных), то оценки коэффициентов
можно рассчитать с помощью метода
Рассчитанные из системы нормальных уравнений