Статистические свойства остатков

8.4. Статистические свойства остатков

После оценки параметров всегда необходимо проверять, что по полученной в результате функции модели с параметрами, принимающими значения результатов их оценки, результаты оценки ожидаемых значений переменных отклика получаются достаточно близкими к полученным в опытах эксперимента результатам и все сделанные допущения соблюдаются. Разность между значениями переменной отклика, полученными в опыте эксперимента и в результате оценки, называется остатком. Остатки играют важную роль при проверке правильности модели. Использование неверной модели может привести к плохим или вводящим в заблуждение результатам.

Модель с нормированными факторами постулируется выражением у=Xb+e с соответствующими допущениями E(e) =0 и С(e) =s²I. В ней вектор у размеров пх1, матрица Х размеров пхр и ранга р<п, а вектор b размеров рх1. Вектор e ошибок неизвестен, если неизвестен вектор b параметров модели. Разность между вектором значений переменных отклика в опытах эксперимента и вектором оценки их ожидаемых значений

=у–=у–X                                              (8.4.1)

является вектором остатков с элементами =y₁–, =y₂–, ..., =y_n–. Вектор остатков  является вектором оценки вектора e случайных ошибок модели у=Xb+e и может использоваться для проверки правильности модели и принятых при её построении допущений. Получаемые по формуле (8.4.1) остатки , ,...,  используются в различных графиках и процедурах проверки правильности модели.

Сначала рассмотрим некоторые свойства вектора  остатков. Используя вектор =(X^ТX)^–1X^Тy оценки параметров модели, вектор  оценки ожидаемых значений переменных отклика может быть выражен в виде

=X=Hy,                                                   (8.4.2)

где H=X(X^ТX)^–1X^Т. Матрица H размеров пхп называется матрицей оценки ожидаемых значений переменных отклика, так как она преобразует вектор значений переменных отклика у в вектор  результатов их оценки. Матрица H является также матрицей проецирования вектора у в формируемое столбцами матрицы Х векторное пространство Ст(Х). Геометрически, вектор у имеет проекцию в виде вектора , как показано на Рис.7.2.1. Матрица H является симметричной H^Т=H и идемпотентной HH=H.

Умножение матрицы Н справа на X даёт

Рекомендуемые материалы

HX=X(X^ТX)^–1X^ТX

=X.                                                                (8.4.3)

Разделяя матрицу X по столбцам и, в силу (П.2.20), выражение (8.4.3) можно записать в виде

HX=H[1, x₁, …, x_р–1]

=[H1, Hx₁, …, Hx_р–1]

=[1, x₁, …, x_р–1],

так что получаем

H1=1, Hx₁=x₁, …, Hx_р–1=x_р–1.                                             (8.4.4)

Аналогично произведение X^ТH=X^ТX(X^ТX)^–1X^Т=X^Т. Отсюда X^ТH= [1^ТH, x₁^ТH, …, x_р–1^ТH] и

1^ТH=1^Т, x₁^ТH=x₁^Т, …, x_р–1^ТH=x_р–1^Т.

В силу (8.4.1) и (8.4.2), вектор остатков  можно выразить через матрицу H и вектор у

=у–Hy

=(I–H)y.                                                        (8.4.5)

Его можно выразить также, используя вектор e ошибок

=(I–H)y=(I–H)(Xb+e)

=(Xb–HXb)+(I–H)e

=(Xb–Xb)+(I–H)e             [в силу (8.4.3)]

=(I–H)e.

Следовательно, с помощью элементов h_ij матрицы Н можно найти остатки по формуле

=e_i– (i=1, 2, ..., n).

По этой формуле, если значения h_ij по абсолютной величине малы, то значения элементов вектора  остатков близки к значениям элементов вектора e ошибок.

Ниже приведены статистические свойства вектора  остатков, которые получаются когда справедливы допущения Е(у)=Xb и C(у)=s²I.

В силу (8.4.5), математическое ожидание вектора  остатков

E() =E[(I–H)y]

=(I–H)E(y)

=(I–X(X^ТX)^–1X^Т)Xb

=Xb–Xb

=0.                                                                 (8.4.6)

Таким образом, математическое ожидание вектора остатков равно нулевому вектору. Далее заметим, что по пункту 1 теоремы П.13.5 матрица I–H симметричная и идемпотентная. Тогда по пункту 1 теоремы 3.6.4 получаем ковариационную матрицу вектора

C() =C[(I–H)y]

=(I–H)s²I(I–H)

=s²(I–H).                                                       (8.4.7)

По пункту 2 теоремы 3.6.4 ковариация вектора остатков с вектором переменных отклика находится в виде

C(, у)=C[(I–H)y, Iy]

=(I–H)(s²I)I

=s²(I–H).                                                       (8.4.8)

Ковариация вектора остатков с вектором оценки ожидаемых значений переменных отклика также находится по пункту 2 теоремы 3.6.4 и получается

C(,)=C[(I–H)y, Hy]

=(I–H)(s²I)H

=(H–H)s²

=O.                                                                (8.4.9)

Интересно также знать чему равно усреднённое значение остатков. Оно находится следующим образом

=/п=^Т1/п=0,

так как, в силу (8.4.4) и (8.4.5), ^Т1=y^Т(I–H)1=y^Т(1–1)=0.

Произведение вектора остатков на вектор переменных отклика имеет вид

^Ту=y^Т(I–H)у.

Оно равно сумме квадратов остатков S_E=y^Т[I–X(X^ТX)^–1X^Т]у. Произведение вектора остатков на вектор оценки ожидаемых значений переменных отклика, в силу (8.4.2) и (8.4.5), находится следующим образом

^Т=y^Т(I–H)Hу

=y^Т(H–H)у

=0.                                                                 (8.4.10)

Этим подтверждается ортогональность векторов  и . Произведение вектора  остатков на матрицу Х, в силу (8.4.3) и (8.4.5), находится так

^ТX=y^Т(I–H)X

=y^Т(X–HX)

=y^Т(X–X)

=0^Т.                                                                (8.4.11)

Если Вам понравилась эта лекция, то понравится и эта - 5.Тема Наполеона в произведениях Стендаля.

Это указывает на то, что вектор  ортогонален векторному пространству, образованному столбцами матрицы Х.

В силу (8.4.6), математическое ожидание вектора  остатков равно нулевому вектору, как и по допущению E(e) =0 для вектора e ошибок. Однако в силу (8.4.7), матрица ковариаций C()=s²(I–H) вектора  недиагональная и отличается от принятой по допущению матрицы C(e)=s²I. Поэтому остатки , ,...,  являются зависимыми случайными величинами и имеют разные дисперсии. Тем не менее, во многих случаях, особенно при большом п, элементы h_ij (при i≠j) матрицы Н имеют тенденцию быть малыми и показанные в матрице s²(I–H) ковариации несильно влияют на графические и другие методы проверки правильности модели. В силу (8.4.8), каждый остаток  коррелирован с каждой переменной у_j отклика, но в силу (8.4.9), остатки  не коррелированы с результатами  оценки ожидаемых значений переменных отклика.

Если модель и принятые для неё допущения верны, то в силу (8.4.10), график зависимости остатков от результатов оценки переменных отклика (,), (,),..., (,) не должен иметь систематического рисунка. Точно так же, в силу (8.4.11), р–1 графиков зависимости остатков от каждого из факторов x₁, x₂,..., х_р–1 должны показывать только случайные вариации. Поэтому такие графики полезны для проверки модели. График зависимости остатков от результатов оценки переменных отклика, данных в таблице 8.3, показан на Рис. 8.4.1. Может быть полезно также построение графика кумулятивных вероятностей распределения остатков, показанного на Рис.8.4.2, построение которого описано в разделе 1.6 и в [Christensen (2010), разд.13.2].

Если модель неверна, то разные графики остатков могут показать отклонения используемой модели от данных эксперимента, такие как резко выделяющиеся значения переменных отклика, нелинейность или непостоянство дисперсии. Эти графики могут также подсказать как исправить и улучшить постулируемую модель. Например, графики остатков могут быть построены в зависимости от любого из факторов, и простое изогнутое изображение может подсказать добавить в функцию модели член с x_i². Различные подходы для обнаружения резко выделяющихся значений переменных отклика рассмотрены в разделе 8.6, а подходы для нахождения влиятельных наблюдений рассмотрены в разделе 8.7. Но прежде обсудим некоторые свойства матрицы H оценки ожидаемых значений переменных отклика.