График преобразования простой регрессии

Визуальная оценка графика зависимости говорит о несоответствии модели данных выбранной зависимости. В данном случае регрессионный анализ не дает положительного ответа. Синтез аналитической зависимости – это задача предметной области. Однако если вид зависимости определен, то поиск оптимальных параметров на основе регрессионного анализа не представляет проблем.

3.6 Множественная регрессия

Целью множественной регрессии является поиск линейной зависимости между независимыми переменными x_j1,...,x_jmь и зависимой переменной y_j. В общем случае модель множественной линейной регрессии записывается в следующем виде:

,

где _i – параметры регрессии, которые необходимо оценить и _j - некоррелированные ошибки.

В случае множественной регрессии уже не будет такой наглядной интерпретации прогноза данных как в случае простой регрессии. Геометрический образ регрессионной будет гиперплоскостью и можно говорить лишь о некоторых проекциях точек и гиперплоскости на некотороен двумерное или трехмерное пространства.

Statistica. В рамках множественной регрессии будем строить модель прогноза объема перевозок по всем остальным показателям функционирования автокомбината за предыдущий месяц. Так на рис.8. представлен график зависимости фактических объемов перевозок от прогноза объемов по всем показателям.

Предсказанный и фактический объем перевозок

Построенный график, как и в случае простой регрессии, говорит о точности регрессии. Если прогноз абсолютно точный, то все точки должны лежать на биссектрисе. Отклонение от биссектрисы показывает ошибку прогноза по регрессионной зависимости. Из рисунка видно, что в данном случае прогноз более точный, чем в случае простой регрессии фактических от плановых. Численные оценки качества прогноза рассматриваются ниже после изложения теоретических положений множественной регрессии.

3.7 МНК-оценки параметров регрессии

Модель множественной регрессии более формализовано может быть представлена в матричной форме. Пусть имеется набор m+1 количественных величин y,x₁,...,x_m и N (N>m) результатов совместных измерений этих величин, которые сведены в матрицы эмпирических данных:

и

Таким образом, в матричной форме множественная регрессионная модель имеет вид

Y=F +,

где =(₁, ₂ , ... , _m )^T- вектор неизвестных параметров регрессии;

=(₁, ₂ ,…, _m) ^T - вектор отклонений.

Предполагается, что вектор ошибок удовлетворяет условиям

~N(0, ²I), M=0, M(^T)=0.

Действительно, если математическое ожидание ошибки не равно нулю, то это можно интерпретировать как систематическую погрешность аналитической модели.

МНК-оценкой параметров линейной регрессии называется вектор .

Лемма. Вектор МНК-оценки является решением системы уравнений

F^T F = F^T Y,

которая называется нормальной системой.

Действительно, отклонение экспериментальных точек от плоскости регрессии, которую необходимо минимизировать, может быть представлена в скалярном виде:

.

Эта функция является неотрицательно определенной квадратичной формой. Производные по параметрам регрессии соответственно равны:

.

На основании скалярных преобразований последнюю систему уравнений можно привести к матричному виду

,

что и доказывает утверждение.

Более наглядно приведенное утверждение может быть доказано следующим образом. Наоборот, покажем, что любое решение нормального уравнения является МНК-оценкой . Представим функционал Q() в виде

+

Второе и треть слагаемые равны нулю в силу того, что МНК-оценки параметров регрессии удовлетворяют системе нормальных уравнений. В результате функционал Q представляет два слагаемых

.

Первое слагаемое в последнем выражении не зависит от и является характеристическим значением совокупности наблюдений. Во втором слагаемом матрица F^TF - неотрицательно определенная, поэтому оно всегда больше нуля. В результате, функционал любой линейной оценки выражается через функционал от МНК-оценки

, где

что и доказывает утверждение.

Утверждение. Если матрица F^T F невырожденная то система нормальных уравнений имеет единственное решение, представимое в виде:

=(F^T F)^-1 F^T Y

однозначно определяющее МНК-оценку.

МНК-оценка допускает наглядную геометрическую интерпретацию. Введем в n-мерном пространстве Rⁿ вектор математических ожиданий, так что при канонических условиях

=F, =₁₁+₂₂+…+_n_n,

где _i является i-ым столбцом матрицы F.

Если до эксперимента значения  и _i являются случайными величинами, то после проведения эксперимента они являются обычными числовыми векторами. Вектор Rⁿ может быть записан в виде линейной комбинации от величин ₁ ,₂₂ , ... _n, причем существует такой набор параметров b₁, b₂, ..., b_n, что

=b₁₁+b ₂₂+ ... + b _n_n.

Условия, приведенные ниже выполняются или не выполняются одновременно

Геометрическая интерпретация МНК-оценки

Рассмотрим множество всех линейных форм a_iy_i=a^TY от наблюдений. Предполагая что коэффициенты {a_i} известные постоянные (т.е. не зависят от неизвестных параметров); можно назвать a - вектором коэффициентов линейной формы a^TY. Между множеством линейных форм a^TY и множеством векторов коэффициентов естественно устанавливается взаимно однозначное соответствие. Сложению линейных форм или умножению линейной формы на число соответствуют аналогичные операции над векторами коэффициентов.

Канонические переменные (z₁,z₂,...,z_n), являющиеся линейными формами наблюдений {y_i}, могут быть использованы для определения двух интересных ортогональных пространств линейных форм, а именно пространства, порожденного (z₁,z₂,...,z_r) называемого пространством оценок, и пространства порожденного (z_r+1,z₂,...,z_n), называемого пространством ошибок. Равенства z_i=a_iY показывают, что формы (z₁,z₂,...,z_r) образуют ортонормированный базис в r-мерном пространстве форм. Следовательно, определенные выше пространства ортогональны.

Полагая, что кроме канонических условий совместное распределение {y_i} является нормальным можно показать справедливость соотношений:

• доверительные интервалы для значений, допускающих оценку функций параметров, а также совместные доверительные множества для нескольких допускающих оценку функций;

• критерии для проверки гипотез о значениях параметров и мощности этих критериев.

Множественная регрессия является обобщением простой линейной регрессии, поэтому рассмотрим представление простой регрессии через множественую.

Линейная регрессия на отрезке определяется соотношением

f(x)=₁+₂x.

В классической модели множественной регрессии соответствующие векторные компоненты при замене переменной x на x₁*=1 и x₂*=x, где равны x₁ просто фиктивная переменная для определения коэффициентов при свободном члене ₁:

.

Используя систему нормальных уравнений, можно показать, что существует полное совпадение значений МНК-оценок множественной регрессии и простой.

Модель множественной регрессии может быть использована для оценки параметров регрессии, линейного только по параметрам и не обязательно по аргументу.

Квадратичная регрессия на отрезке определяется соотношением

f(x)=₁+₂x+₃x².

При замене переменных x*₁=1, x*₂=x, x*₃=x², соответствующие компоненты множественной модели определяются, как:

,

где матрица F простым преобразованием вектора наблюдений в нелинейной модели на отрезке. Используя систему нормальных уравнений, получим оценки

3.8 Анализ качества модели

Если в простой регрессии одним из критериев оценки качества модели быль простой коэффициент корреляции, то в множественной регрессии таковым является множественный коэффициент корреляции.

Множественный коэффициент корреляции является мерой линейной зависимости между Y и набором переменных X₁, ... X_m.

Множественный коэффициент корреляции есть максимальное значение простого коэффициента корреляции между Y и линейной комбинацией X₁, ... X_m. Более того, m_yx1...xm является линейной комбинацией, на которой этот максимум достигается.

Пусть многомерное нормальное распределение Y, X₁, X₂, ... X_m имеет среднее m_y,m₁,...,m_n и дисперсии ²_y, ²₁,..., ²_n соответственно. Обозначим ковариацию Y с X_i через _yi и ковариацию X_i с X_j через _ij: i,j=1..m Коэффициенты корреляции соответственно равны:

,

Для конкретных значений X₁=x₁ X₂=x₂, ... X_m=x_m существует подмножество соответствующих значений Y, математическое ожидание которого является нормальным со средним значением

m_yx1...xm=m_y+ ₁(x₁-m₁) + ₂(x₂-m₂) +…+₁(x_m-m_m).

Последняя величина называется условным математическим ожиданием Y по X₁... X₂.