Проверка подмножества параметров

9.2. Проверка подмножества параметров

В более общем случае положим необходимо проверить гипотезу, что подмножество факторов является бесполезными для оценки ожидаемых значений переменных отклика. Простым примером является нулевая гипотеза H₀: b_j=0 для одного параметра b_j. Если эта гипотеза H₀ ложна, то член b_jx_j сохраняется в модели. В качестве другого примера, рассмотрим линейную модель

у=b₀+b₁x₁+b₂x₂+b₃x₁²+b₄x₂²+b₅x₁x₂+e,

для которой желательно проверить гипотезу H₀: b₃=b₄=b₅=0. Если эта гипотеза ложна, то постулируется модель с функцией в виде полинома второго, а не первого порядка.

Без ограничения общности будем считать, что проверяемые параметры являются элементами вектора b и для них имеются соответствующие столбцы матрицы X модели. Тогда вектор b и матрицу X можно соответствующим образом разделить и модель для всех п опытов эксперимента имеет вид

у=Xb+e=[X₁, X₂]+e

=X₁b₁+X₂b₂+e,                                             (9.2.1)

где вектор b₂ содержит подлежащие проверке параметры. Параметр b₀ обычно является элементом вектора b₁.

В рассматриваемом случае представляет интерес нулевая гипотеза H₀: b₂=0. Если обозначить h число параметров в векторе b₂, то имеем матрицу Х₂ размеров nxh, вектор b₁ размеров (р–h)x1 и матрицу Х₁ размеров nx(р–h). Таким образом, получаем два вектора b₁^T= [b₀, b₁,…, b_р–h] и b₂^T= [b_р–h+1, …, b_р–1]. Для модели из примера с функциями в виде полиномов первого и второго порядка, пусть b₁^T= [b₀, b₁, b₂] и b₂^T= [b₃, b₄, b₅]. При этом отметим, что вектор b₁ в (9.2.1) отличается от b₁ в разделе 9.1, где вектор b был разделён в виде b= и вектор b₁ содержал все параметры за исключением b₀.

Рекомендуемые материалы

Для проверки гипотезы H₀: b₂=0 в сравнении с гипотезой H₁: b₂≠0 воспользуемся понятиями адекватной и неадекватной моделей. Адекватная модель представляется выражением (9.2.1), а если гипотеза H₀: b₂=0 верна, то неадекватная модель имеет вид

у=X₁b₁^*+e^*.                                                   (9.2.2)

Здесь обозначения b₁^* и e^* используются, как и в разделе 8.2, так как, если матрицы X₁ и X₂ между собой неортогональны (см. теорему 8.2.1 и её следствие), то, как правило, векторы b₁^* и e^* неадекватной модели отличаются от векторов b₁ и e адекватной модели. Оценка вектора b₁^* делается по формуле = (X₁^ТX₁)^–1X₁^Тy и, в общем, её результат отличается от результата оценки по формуле = (X^ТX)^–1X^Тy первых р–h элементов вектора b модели (9.2.1). Однако, если матрицы X₁ и X₂ между собой ортогональны, то по теореме 8.3 результаты оценки векторов b₁^* и b₁ получаются одинаковыми.

Для сравнения моделей (9.2.1) и (9.2.2) может использоваться дополнительная сумма квадратов [Box, Draper (2007) стр. 51-52]. В общем, если имеется линейная модель, включающая некоторый набор факторов со значениями в столбцах матрицы Х₁, и рассматривается более разработанная модель с дополнительными факторами, значения которых представлены в столбцах матрицы Х₂, то связанная с дополнительными факторами сумма квадратов, при заданных остальных, может быть найдена посредством сначала оценки параметров модели (9.2.1), а затем оценки параметров более простой модели (9.2.2). Дополнительная сумма квадратов из-за использования дополнительных факторов получается затем либо как разность между регрессионными суммами квадратов для моделей (9.2.1) и (9.2.2), либо как разность между суммами квадратов остатков для этих моделей.

Для сравнения результатов оценки параметров моделей (9.2.1) и (9.2.2) к сумме квадратов =у^Ту–n значений переменных отклика, скорректированной их усреднённым значением, прибавим и вычтем регрессионные суммы квадратов ^ТX^Тy и ^ТX₁^Тy соответственно адекватной и неадекватной моделей чтобы получить выражение

у^Ту–n= (у^Ту–^ТX^Тy)+(^ТX^Тy–^ТX₁^Тy)+(^ТX₁^Тy–n)       (9.2.3)

или в обозначениях сумм

S_Tс=S_E+S(b₂|b₁)+S_Rс^*(неадекватной),                      (9.2.4)

где S(b₂|b₁) =^ТX^Тy–^ТX₁^Тy - дополнительная сумма квадратов получаемая в результате использования дополнительных факторов и их параметров, являющихся элементами вектора b₂. Следует отметить, что сумма S(b₂|b₁) может быть выражена также в виде

S(b₂|b₁) =^ТX^Тy–n–(^ТX₁^Тy–n)

=S_Rс(адекватной)–S_Rс^*(неадекватной),

что является разностью скорректированных усреднённым значением переменных отклика регрессионных сумм квадратов адекватной и неадекватной моделей.

Если гипотеза H₀: b₂=0 верна, то ожидается, что S(b₂|b₁) будет малой и S_Tс в (9.2.4) состоит в основном из S_E и S_Rс^*(неадекватной). Если b₂≠0, то S(b₂|b₁) будет большой и на неё приходится больше от суммы S_Tс. Таким образом, для адекватной модели проверяется гипотеза H₀: b₂=0, где нет ограничений по b₁. Вектор b₁ не игнорируется, полагая b₁=0, а проверяется гипотеза H₀: b₂=0 в присутствии b₁, то есть, свыше того, что b₁ вносит в S_Tс.

Для получения статистики проверки гипотезы на основе суммы S(b₂|b₁) сначала запишем выражение (9.2.3) в виде квадратичных форм относительно вектора у. Используя формулы =(X^ТX)^–1X^Тy, =(X₁^ТX₁)^–1X₁^Тy и (5.1.2), выражение (9.2.3) преобразуется к виду

y^T(I–Е/n)y=у^Ту–у^ТX(X^ТX)^–1X^Ту+у^ТX(X^ТX)^–1X^Ту–у^ТX₁(X₁^ТX₁)^–1X₁^Тy

+у^ТX₁(X₁^ТX₁)^–1X₁^Тy–у^ТЕ/nу

=y^T[I–X(X^ТX)^–1X^Т]y+y^T[X(X^ТX)^–1X^Т–X₁(X₁^ТX₁)^–1X₁^Т]у

+y^T[X₁(X₁^ТX₁)^–1X₁^Т–Е/n]y                                       (9.2.5)

=y^T(I–H)у+y^T(H–H₁)у+y^T(H₁–Е/n)y,                                              (9.2.6)

где H=X(X^ТX)^–1X^Т и H₁=X₁(X₁^ТX₁)^–1X₁^Т. По пункту 1 теоремы П.13.5 матрица I–H идемпотентная и имеет ранг п–р, где р – ранг матрицы X (р является также числом элементов вектора b). В следующей теореме показано, что и матрица H–H₁ является идемпотентной.

Теорема 9.2.1. Матрица H–H₁=X(X^ТX)^–1X^Т–X₁(X₁^ТX₁)^–1X₁^Т идемпотентная и имеет ранг h, являющийся числом элементов вектора b₂.

Доказательство: Умножая X слева на Н, получаем

HX=X(X^ТX)^–1X^ТX=X

или

X= [X(X^ТX)^–1X^Т]X.                                                  (9.2.7)

Разделение матрицы X=[X₁, X₂] в левой части равенства (9.2.7) и последней матрицы X в правой его части даёт путем умножения по формуле (П.2.20) выражение

[X₁, X₂]= [X(X^ТX)^–1X^Т][X₁, X₂]

= [X(X^ТX)^–1X^ТX₁, X(X^ТX)^–1X^ТX₂].

Из него получаем

X₁=X(X^ТX)^–1X^ТX₁ и X₂=X(X^ТX)^–1X^ТX₂.                           (9.2.8)

C использованием полученных в (9.2.8) выражений для X₁ и X₂, а также их транспозиций, произведения матриц HH₁ и H₁H сводятся к следующим результатам:

HH₁=H₁ и H₁H=H₁.                                                  (9.2.9)

Матрицы H и H₁ идемпотентные, следовательно, и матрица H–H₁ также идемпотентная

(H–H₁)(H–H₁)=HH–H₁H–HH₁+H₁H₁

=H–H₁–H₁+H₁

=H–H₁.

Для нахождения ранга матрицы H–H₁ по теореме П.13.4 имеем

ранг(H–H₁)=след(H–H₁)

=след(H)–след(H₁)                                                      [в силу (П.11.1)]

=след[X(X^ТX)^–1X^Т]–след[X₁(X₁^ТX₁)^–1X₁^Т]

=след[X^ТX(X^ТX)^–1]–след[X₁^ТX₁(X₁^ТX₁)^–1]                [в силу (П.11.2)]

=след(I_р)–след(I_р–h)=р–(р–h)

=h.

□

Найдем теперь распределения квадратичных форм y^T(I–H)у и y^T(H–H₁)у в выражении (9.2.6) и покажем, что они независимы.

Теорема 9.2.2. Если вектор у имеет нормальное распределение N_n(Xb, s²I) и матрицы H=X(X^ТX)^–1X^Т и H₁=X₁(X₁^ТX₁)^–1X₁^Т, то

1. Квадратичная форма y^T(I–H)у/s² имеет центральное распределение c²(п–р),
2. Квадратичная форма y^T(H–H₁)у/s² имеет нецентральное распределение c²(h, g₁) с параметром нецентральности g₁=b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/(2s²).
3. Квадратичные формы y^T(I–H)у и y^T(H–H₁)у статистически независимы.

Доказательство: Прибавляя квадратичную форму y^T(Е/n)y к обеим сторонам выражения (9.2.6) получаем выражение y^Ty=y^T(I–H)у+y^T(H–H₁)у+y^TH₁y. В теореме 9.2.1 доказано, что вместе с матрицами I–H и H₁ матрица H–H₁ тоже идемпотентная. Поэтому все пункты данной теоремы доказываются на основе следствия 1 теоремы 5.6.3.

Параметр нецентральности g₁ получается следующим образом. Его числитель

y^TA_iy=b^TX^T(H–H₁)Xb

=b^TX^TX(X^ТX)^–1X^ТXb–b^TX^TX₁(X₁^ТX₁)^–1X₁^ТXb

=b^TX^TXb–b^TX^TX₁(X₁^ТX₁)^–1X₁^ТXb

=[b₁^Т, b₂^Т][X₁, X₂]–[b₁^Т, b₂^Т]X₁(X₁^ТX₁)^–1X₁^Т[X₁, X₂]

=(b₁^ТX₁^Т+b₂^ТX₂^Т)(X₁b₁+X₂b₂) –(b₁^ТX₁^Т+b₂^ТX₂^Т)X₁(X₁^ТX₁)^–1X₁^Т(X₁b₁+X₂b₂)

=b₁^ТX₁^ТX₁b₁+b₂^ТX₂^ТX₁b₁+b₁^ТX₁^ТX₂b₂+b₂^ТX₂^ТX₂b₂–b₁^ТX₁^ТX₁b₁–b₂^ТX₂^ТX₁b₁

–b₁^ТX₁^ТX₂b₂–b₂^ТX₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂b₂

=b₂^ТX₂^ТX₂b₂–b₂^ТX₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂b₂

=b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂]b₂.

Следовательно, g₁=y^TA_iy/(2s²)=b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/(2s²).

□

Если в пункте 2 теоремы 9.2.2 параметр не центральности g₁=0, то квадратичная форма y^T(H–H₁)у/s² принимает центральное распределение c²(h). При этом g₁=0, если и только если b₂=0, так как матрица X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂ положительно определённая. Это доказывается следующим образом. Обозначим произведение X^ТX матрицей G. Тогда, пользуясь разделением матрицы X=[X₁, X₂], имеем

G=X^ТX=[X₁, X₂]==.

Если обозначить четыре соответствующих блока матрицы G^–1 как G^ij, то в силу (П.5.4), G²²=(G₂₂–G₂₁G₁₁^–1G₁₂)^–1. По теореме П.6.5 матрица G^–1 положительно определённая, по теореме П.6.6 матрица G²² положительно определённая и по теореме П.6.5 матрица (G²²)^–1 =G₂₂–G₂₁G₁₁^–1G₁₂=X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂ является положительно определённой.

Проверка гипотезы H₀: b₂=0 в сравнении с гипотезой H₁: b₂≠0 на основе статистики F_H даётся в следующей теореме.

Теорема 9.2.3. Пусть вектор у имеет нормальное распределение N_n(Xb, s²I) и статистика F_H определяется следующим образом

F_H==                                  (9.2.10)

=,                                         (9.2.11)

где для адекватной модели у=Xb+e вектор оценки =(X^ТX)^–1X^Тy и для неадекватной модели у=X₁b₁^*+e^* вектор оценки = (X₁^ТX₁)^–1X₁^Тy, то распределения статистики F_H получаются следующими:

1. Если гипотеза H₀: b₂=0 ложна, то статистика F_H принимает нецентральное распределение F(h, п–р, g₁) с параметром не центральности

g₁=b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/(2s²).

1. Если гипотеза H₀: b₂=0 верна, то g₁=0 и статистика F_H приобретает центральное распределение F(h, п–p).

Доказательство:

1. Этот пункт доказывается на основе (5.4.3) и по теореме 9.2.2.
2. Этот пункт доказывается на основе (5.4.1) и по теореме 9.2.2.

□

Проверка нулевой гипотезы H₀: b₂=0 проводится следующим образом. Эта гипотеза ложна, если значение статистики F_H больше критического значения F_кр случайной переменной, имеющей центральное распределение F(h, п–р), для выбранной  равной 1–α интегральной вероятности на интервале от 0 до F_кр. Гипотеза H₀: b₂=0 также ложна, если пи-значение статистики F_H меньше α. Так как матрица X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂ положительно определённая и, если гипотеза H₀: b₂=0 ложна, то g₁>0. Это ведёт к тому, что гипотеза H₀: b₂=0 становится ложной при больших значениях F_H.

Формулы расчётов для проверки нулевой гипотезы на основе статистики F_H сведены в таблицу 9.2.1 дисперсионного анализа.

Таблица 9.2.1. Дисперсионный анализ проверки гипотезы H₀: b₂=0

Выше установлено, что математическое ожидание Е[S_E/(п–р)]=s². По пункту 2 теоремы 9.2.2 величина S(b₂|b₁)/s² имеет нецентральное распределение c²(h, g₁) с параметром не центральности g₁=b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/(2s²). Тогда, в силу (5.3.6), E[S(b₂|b₁)/s²]=h+2g₁ и E[S(b₂|b₁)/h]=s²+b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/h. Если гипотеза H₀: b₂=0 верна, то оба ожидаемых средних квадратичных в таблице 9.2.1 равны s², а если H₀: b₂=0 ложна, то математическое ожидание E[S(b₂|b₁)/h] будет больше математического ожидания E[S_E/(п–р)], так как матрица X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂ положительно определённая. Поэтому при больших значениях F_H гипотеза H₀: b₂=0 становится ложной.

Пример 9.2.1. Рассмотрим полученную в примере 8.2.1 модель для данных из таблицы 8.2. Для проверки полезности члена второго порядка при оценке переменной отклика в качестве адекватной модели используется модель с полиномиальной функцией второго порядка

y₂=b₀+b₁x+b₁₁x²+e

и проверяется гипотеза H₀: b₁₁=0. Для этой адекватной модели скорректированная усреднённым регрессионная сумма квадратов ^ТX^Тy–n=851,863, а для неадекватной модели y₂=b₀^*+b₁^*x+e^* скорректированная усреднённым регрессионная сумма квадратов ^ТX₁^Тy–n=195,783. Их разность ^ТX^Тy–^ТX₁^Тy=656,081. Сумма квадратов остатков S_E=4,129 и для проверки гипотезы рассчитанная по формуле (9.2.10) статистика

F_Н=656,081х2/4,129=317,83.

Значение этой статистики значительно больше критического значения F_кр=18,51 случайной переменной, имеющей распределение F(1, 2) и выбранную интегральную вероятность 1–α=0,95. Поэтому гипотеза H₀: b₁₁=0 ложна. Кроме этого, пи-значение статистики F_Н равно 0,003, что значительно меньше 0,05 и также указывает на ложность гипотезы H₀: b₁₁=0. Таким образом, член второго порядка необходим для оценки ожидаемого значения переменной отклика.

□

В следующей теореме рассмотрим сумму S(b₂|b₁) в виде квадратичной формы относительно вектора .

Теорема 9.2.4. Если функция модели разделяется, как показано в (9.2.1), то сумму S(b₂|b₁) =^ТX^Тy–^ТX₁^Тy можно записать в виде квадратичной формы

S(b₂|b₁) =^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂],                 (9.2.12)

где  получается при разделении вектора  оценки параметров адекватной модели

== (X^ТX)^–1X^Тy.                                             (9.2.13)

Доказательство: Используя векторы  и  запишем произведение X в виде X=[X₁, X₂]=X₁+X₂. Чтобы представить вектор  с использованием  и , заметим, что, в силу (8.2.4), его математическое ожидание Е()=b₁+Аb₂, где матрица смещения А=(X₁^ТX₁)^–1X₁^ТX₂ определена в теореме 8.2.1. Оценка математического ожидания Е() может быть сделана в виде ()==+A, где  и  - векторы оценки параметров адекватной модели в соответствии с показанным в (9.2.13) разделением. Далее сумму S(b₂|b₁) из таблицы 9.2.1 можно записать в виде

S(b₂|b₁) =^ТX^Тy–^ТX₁^Тy

=^ТX^ТX–^ТX₁^ТX₁  [в силу нормальных уравнений]

= (^ТX₁^Т+^ТX₂^Т)(X₁^Т+X₂)–(^Т+^ТА^Т)X₁^ТX₁(+А).

Выполняя операции умножения и подставляя (X₁^ТX₁)^–1X₁^ТX₂ вместо А, получаем (9.2.12).

□

Из выражения (9.2.12) очевидно, что сумма S(b₂|b₁) появляется из-за присутствия вектора b₂. Из него также видно прямое соответствие между S(b₂|b₁) и параметром g₁ нецентральности в пункте 2 теоремы 9.2.2 или ожидаемым средним квадратичным E[S(b₂|b₁)/h]=s²+b₂^Т[X₂^ТX₂–X₂^ТX₁(X₁^ТX₁)^–1X₁^ТX₂] b₂/h.

Пример 9.2.2. Данную в таблице 9.2.1 процедуру проверки гипотезы H₀: b₂=0 при рассмотрении адекватной и неадекватной моделей можно использовать для проверки значимости одного параметра b_j. Для этого необходимо проверить гипотезу H₀: b_р–1=0 и вектор b разделить в виде

b==.

Тогда матрица X разделяется так X=[Х₁, х_р–1], где х_р–1 - последний столбец матрицы X и матрица X₁ содержит все столбцы матрицы Х, кроме столбца х_р–1. Неадекватной моделью является у=X₁b₁^*+e^* и оценка вектора b₁^* находится по формуле =(X₁^ТX₁)^–1X₁^Тy. В этом случае h=1 и статистика F_Н по формуле (9.2.11)

F_Н =.                                    (9.2.14)

Если гипотеза H₀: b_р–1=0 верна, то статистика F_Н имеет распределение F(1, п–р).

□

Пример 9.2.3. Рассмотренная в разделе 9.1 проверка значимости факторов модели на основе гипотезы о параметрах может быть получена на основе рассмотрения адекватной и неадекватной моделей. В этом случае матрица X и вектор b разделяются соответственно следующим образом:

Ещё посмотрите лекцию "10 Корреляционный анализ" по этой теме.

Х= [1, X₁] и b==.

Неадекватной является модель у=1b₀^*+e^* и оценка её параметра b₀^* находится по формуле

=(1^Т1)^–11^Ту=1^Ту/п=,                                         (9.2.15)

а регрессионная сумма квадратов находится из выражения

S(b₀^*)=1^Ту==n².                                  (9.2.16)

Отсюда сумма квадратов S(b₁|b₀) =^ТX^Тy–n, как и в выражении (9.1.7).