Проверка значимости факторов модели и её мощность

Глава 9  Проверка гипотез и доверительные интервалы

В этой главе рассматривается проверка гипотез и доверительные интервалы параметров b₀, b₁, …, b_р–1 модели у=Xb+e с нормированными факторами. Анализируются также доверительные интервалы и интервалы предсказания переменной отклика. Во всей главе считается, что вектор у имеет распределение N_n(Xb, s²I), а матрица X модели размеров nxр и ранга р<п.

9.1. Проверка значимости факторов модели и её мощность

В разделе 8.2 установлено, что разработка адекватной модели заключается в поиске минимально допустимого набора используемых в ней значимых факторов и параметров. Проверка гипотез является формальным методом отбора значимых факторов для модели. При этом считается, что если нулевая гипотеза H₀ верна, то ни один из выбранных факторов в функции модели не оказывает влияние на переменные отклика, а если эта гипотеза ложна, то, по крайней мере, один из факторов в функции модели оказывает влияние на переменные отклика.

Чтобы продемонстрировать этот метод начнём с проверки нулевой гипотезы H₀ о параметрах модели, то есть проверки того, что ни один из факторов не оказывает влияние на переменные отклика эксперимента. Эта гипотеза может быть представлена в виде H₀: b₁=0, где b₁^Т=[b₁, b₂, …, b_р–1], и, если она верна, то ни один из контролируемых факторов эксперимента не оказывает влияние на переменные отклика. Обратим внимание, что надо проверять гипотезу H₀: b₁=0, а не гипотезу H₀: b=0, где b=. Поскольку параметр b₀ обычно неравен нулю, то нет смысла включать b₀=0 в эту гипотезу. Гипотеза H₀: b=0 может быть ложна исключительно из-за неравенства нулю параметра b₀ и в этом случае невозможно узнать о влиянии контролируемых факторов на переменные отклика.

Проверка гипотезы H₀: b=0 рассмотрена в разделе 6.3. Там предложена статистика проверки гипотез о параметрах модели. Если нулевая гипотеза H₀ верна, то эта статистика приобретает центральное распределение F, а если гипотеза H₀ ложна, то нецентральное распределение F. Метод расчёта статистики для проверки гипотез несколько упрощается, если воспользоваться моделью (7.5.26) с нормированными факторами

у=[1, X₁]+e,

где X₁ – матрица нормированных значений факторов, содержащая все столбцы матрицы X кроме первого. Скорректированная усреднённым переменных отклика сумма квадратов их значений S_Tс= может быть разделена в виде

S_Tс=^ТX₁^Тy+[–^ТX₁^Тy]

Рекомендуемые материалы

=^ТX₁^Тy+S_E                [в силу (7.5.35)]

=S_Rс+S_E.                                                         (9.1.1)

где S_Rс=^ТX₁^Тy - сумма квадратов полученная в результате регрессии и скорректированная усреднённым переменных отклика. В разделе 6.3 показано, что эту сумму квадратов можно записать в виде

S_Rс=y^Т[X(X^ТX)^–1X^Т–11^Т/n]y.

В силу (7.5.29), это выражение преобразуется следующим образом

S_Rс=y^Т{[1, X₁]–11^Т/n}y

=y^Т[11^Т/n+X₁(X₁^ТX₁)^–1X₁^Т–11^Т/n]y

=y^ТX₁(X₁^ТX₁)^–1X₁^Тy,

что, при ^Т=y^ТX₁(X₁^ТX₁)^–1, приводит к S_Rс=^ТX₁^Тy. Матрица X(X^ТX)^–1X^Т–11^Т/n является идемпотентной и имеет ранг р–1.

Формулу (7.5.31) можно преобразовать в выражение X₁^ТX₁=X₁^Тy и умножение его слева на ^Т даёт ^ТX₁^Тy=^ТX₁^ТX₁. Отсюда сумму квадратов S_Rс=^ТX₁^Тy можно записать в виде

S_Rс=^ТX₁^ТX₁

=(X₁)^Т(X₁).                                            (9.1.2)

Эта сумма квадратов зависит от вектора  оценки параметров.

Для разработки процедуры проверки гипотез на основе имющей распределение F статистики представим и остальные суммы квадратов выражения (9.1.1) в виде квадратичных форм относительно вектора у. Это необходимо для того чтобы, используя теоремы главы 5, показать, что суммы S_Rс и S_E имеют распределения хи-квадрат и статистически независимы. Вследствие того, что сумма

=y^Т(I–Е/n)y и S_E=–^ТX₁^Тy, выражение (9.1.1) можно записать так

y^Т(I–Е/n)y=S_Rс+S_E

=y^ТX₁(X₁^ТX₁)^–1X₁^Тy+y^Т(I–Е/n)y–y^ТX₁(X₁^ТX₁)^–1X₁^Тy

=y^ТH₁y+y^Т(I–Е/n–H₁)y,                                            (9.1.3)

где H₁=X₁(X₁^ТX₁)^–1X₁^Т.

В приведённой ниже теореме устанавливаются некоторые свойства трех матриц квадратичных форм выражения (9.1.3).

Теорема 9.1.1. Матрицы I–Е/n, H₁=X₁(X₁^ТX₁)^–1X₁^Т и I–Е/n–H₁ обладают следующими свойствами:

1. Произведение H₁(I–Е/n)=H₁,                                                                 (9.1.4)

2. Матрица H₁ идемпотентная и её ранг равен р–1,

3. Матрица I–Е/n–H₁ идемпотентная и её ранг равен п–р,

4. Произведение H₁[I–Е/n–H₁]=О.                                                            (9.1.5)

Доказательство:

1. В силу (7.5.27) и так как матрица I–Е/n идемпотентная, то имеем

X₁^Т(I–Е/n)=X₁^ТD_s^–1(I–Е/n)(I–Е/n)=X₁^ТD_s^–1(I–Е/n)=X₁^Т.

Следовательно, H₁[I–Е/n]=X₁(X₁^ТX₁)^–1X₁^Т[I–Е/n]=X₁(X₁^ТX₁)^–1X₁^Т=H₁.

2. Найдём произведение матриц

H₁H₁=X₁(X₁^ТX₁)^–1X₁^ТX₁(X₁^ТX₁)^–1X₁^Т=X₁(X₁^ТX₁)^–1X₁^Т=H₁.

Так как матрица H₁ идемпотентная, то по теореме П.13.4 имеем ранг(H₁)=след(H₁). Матрица X₁ размеров пх(р–1) и ранга р–1. Следовательно, и матрица H₁ имеет ранг равный р–1.

3. С учётом пунктов 1 и 2 выполним умножение матрицы I–Е/n–H₁ на саму себя

(I–Е/n–H₁)(I–Е/n–H₁)=(I–Е/n)(I–Е/n)–(I–Е/n)H₁–H₁(I–Е/n)+H₁H₁

=I–Е/n–H₁.

Затем находим ранг(I–Е/n–H₁)=след(I–Е/n–H₁)=п–1–р+1=п–р.

4. С учётом пунктов 1 и 2 находим произведение

H₁(I–Е/n–H₁)=H₁(I–Е/n)–H₁H₁=H₁–H₁=О.

□

Законы распределения величин S_Rс/s² и S_E/s² даны в следующей теореме.

Теорема 9.1.2. Если вектор у имеет нормальное распределение N_n(Xb, s²I), то величины S_Rс/s²=^ТX₁^ТX₁/s² и S_E/s²=[–^ТX₁^ТX₁]/s² имеют следующие распределения:

1. S_Rс/s² имеет нецентральное распределение c²(р–1, g₁) с параметром не центральности g₁=y^TAy/(2s²)= b₁^ТX₁^ТX₁b₁/(2s²).
2. S_E/s² имеет центральное распределение c²(п–р).

Доказательство:

1. В силу (9.1.2), S_Rс=^ТX₁^ТX₁=y^ТX₁(X₁^ТX₁)^–1X₁^Тy, где матрица X₁(X₁^ТX₁)^–1X₁^Т=H₁ идемпотентная и ранга р–1. Поэтому по следствию 2 теоремы 5.5 величина S_Rс/s² имеет нецентральное распределение c²(р–1, g₁) с параметром не центральности g₁=y^TAy/(2s²)= b₁^ТX₁^ТX₁b₁/(2s²).
2. В силу (9.1.3), S_E=y^Т(I–Е/n–H₁)y, где матрица I–Е/n–H₁ идемпотентная и ранга п–р. Поэтому по следствию 2 теоремы 5.5 величина S_Е/s² имеет нецентральное распределение c²(п–р, g₁) с параметром не центральности

g₁=y^TAy/(2s²)= b₁^ТX₁^Т(I–Е/n–H₁)Х₁b₁/(2s²).

В нём по пункту 1 теоремы 9.1.1 имеем b₁^ТX₁^Т(I–Е/n)Х₁b₁=b₁^ТX₁^ТХ₁b₁ и, в силу (8.4.3), b₁^ТX₁^ТH₁Х₁b₁=b₁^ТX₁^ТХ₁b₁. Следовательно, параметр не центральности g₁=0 и S_E/s² обретает центральное распределение c²(п–р).

□

Условие независимости S_Rc и S_E приведено в следующей теореме.

Теорема 9.1.3. Если вектор у имеет нормальное распределение N_n(Xb, s²I), то квадратичные формы S_Rc=y^ТH₁y и S_E=y^Т(I–Е/n–H₁)y статистически независимы.

Доказательство следует из пункта 4 теоремы 9.1.1 и следствия 1 теоремы 5.6.2.

□

Теперь на основе имеющей распределение F статистики можно создать процедуру проверки нулевой гипотезы H₀: b₁=0 в сравнении с альтернативной гипотезой H₁: b₁≠0.

Теорема 9.1.4. Если вектор у имеет нормальное распределение N_n(Xb, s²I), то в зависимости от того, что гипотеза H₀: b₁=0 верна или ложна, статистика

F_Rc==                            (9.1.6)

приобретает следующие распределения:

1. Если гипотеза H₀: b₁=0 ложна, то статистика F_Rc обретает нецентральное распределение F(р–1, п–р, g₁) с параметр не центральности g₁=b₁^ТX₁^ТX₁b₁/(2s²).

2. Если гипотеза H₀: b₁=0 верна, то параметр g₁=0 и статистика F_Rc принимает центральное распределение F(р–1, п–р).

Доказательство:

1. Этот пункт доказывается на основе (5.4.3), а также теорем 9.1.2 и 9.1.3.
2. Этот пункт доказывается на основе (5.4.1), а также теорем 9.1.2 и 9.1.3.

□

Обратим внимание, что параметр не центральности g₁ равен нулю, если и только если b₁=0, так как матрица X₁^ТX₁ положительно определённая (см. следствие 1 теоремы П.6.2).

Проверка гипотезы H₀: b₁=0 осуществляется следующим образом. Эта гипотеза ложна, если значение статистики F_Rc больше критического значения F_кp случайной переменной, имеющей центральное распределение F(p–1, п–p), и на интервале от 0 до F_кp интегральная вероятность выбрана равной 1–α.

Для проверки гипотезы H₀: b₁=0 используют также пи-значение (пи – латинская буква р) статистики F_Rc. Это значение равно площади хвостовой части центрального распределения F(p–1, п–p) за расчетным значением статистики F_Rc. Если пи-значение статистики F_Rc меньше α, то это эквивалентно тому, что значение статистики F_Rc больше критического значения F_кp.

Как таблицы 6.3.1 и 6.3.2 дисперсионного анализа, так и таблица 9.1.1 представляют необходимую информацию для проверки гипотезы о значимости регрессии на основе статистики F_Rc. Средние квадратичные являются суммами квадратов, делёнными на степени свободы соответствующих распределений c².

Таблица 9.1.1. Дисперсионный анализ проверки гипотезы H₀: b₁=0 по статистике F_Rc

Для средних квадратичных из таблицы 9.1.1 можно найти их математические ожидания E[S_Rс/(p–1)] и Е[S_E/(п–р)]. Первое из них находится по теореме 5.2.1 в виде E[S_Rс/(p–1)]=s²+b₁^ТX₁^ТX₁b₁/(p–1), а второе установлено теоремой 7.3.2 и получается Е[S_E/(п–р)]=s². Если гипотеза H₀: b₁=0 верна, то оба математических ожидания средних квадратичных равны s² и их отношение равно единице. Если b₁≠0, то E[S_Rс/(p–1)]>s², так как матрица X₁^ТX₁ положительно определённая, и в этом случае это отношение больше 1. Поэтому и при больших значениях статистики F_Rc нулевая гипотеза H₀ может быть ложна.

В таблице 9.1.1 проверка гипотезы H₀: b₁=0 представлена для модели у=Xb+e с нормированными факторами. Можно найти суммы S_Rс и S_E также для модели у=Xq+e с исходными значениями факторов по формулам

S_Rс=^ТX^Тy–n и S_E=y^Тy–^ТX^Тy.                                      (9.1.7)

Однако результаты расчётов по этим формулам получаются теми же, что и по формулам

S_Rс=^ТX₁^Тy и S_E=–^ТX₁^Тy                            (9.1.8)

[см. (7.3.8), (7.5.24), (7.5.35)].

Пример 9.1. Используя данные таблицы примера 7.1, проверим гипотезу H₀: b₁=0, где b₁^Т= [b₁, b₂]. Для расчёта имеющей распределение F статистики найдём суммы S_Rс и S_E по формулам (9.1.7). Результаты расчёта дают S_Rс=4,350x10⁵ и S_E=2,304x10⁵. Такие же результаты получаются и по формулам (9.1.8), если использовать данные в таблице 8.3.3 нормированные значения факторов или нормированные значения факторов после ортогонализация столбцов матрицы модели. Результаты промежуточных расчётов по формулам таблицы 9.1.1 и расчёт статистики F_Rс приведены в таблице 9.1.2.

Таблица 9.1.2. Дисперсионный анализ значимости регрессии для данных примера 7.1

Проверка гипотезы H₀: b₁=0 по статистике F_Rс показывает, что полученное значение статистики F_Rс=10,387 больше критического значения F_кр=3,982 случайной переменной, имеющей центральное распределение F(2, 11) и интегральную вероятность равную 0,95 на интервале от 0 до 3,982. Поэтому гипотеза H₀: b₁=0 ложна и делаем вывод, что, по крайней мере, один из параметров b₁ или b₂ не равен нулю.

Для проверки гипотезы с использованием пи-значения на Рис 9.1 показана функция плотности вероятности центрального распределения F(2, 11), а также значение F_кр=3,982 и значение статистики F_Rс=10,387. Для этого распределения на интервале от 0 до значения F_кр интегральная вероятность равна 0,95, а пи-значение для F_кр равно 1–0,95=0,05. Для этого же распределения на интервале от 0 до значения F_Rс интегральная вероятность равна 0,997, а пи-значение для статистики F_Rс равно 1–0,997=0,003. Полученное пи-значение для F_Rс значительно меньше пи-значения для F_кр, следовательно, в результате сравнения пи-значений гипотеза H₀: b₁=0 также ложна.

Рекомендация для Вас - 6.1 Методы поиска решений.

Рис. 9.1. График функции плотности вероятности распределения F со степенями свободы 2 и 11.

□

Статистика F_Rc с распределением F используется для проверки нулевой гипотезы H₀ и, если эта гипотеза верна, то распределение статистики F_Rc получается центральным, а если гипотеза ложна, то - нецентральным. Поэтому нецентральное распределение F часто может быть использовано для оценки мощности критерия проверки по статистике F_Rc [Rencher, Schaalje (2008) стр.115]. Мощность критерия определяется вероятностью отклонить гипотезу H₀ для данного значения g₁. Если F_кр является критическим значением случайной переменной, имеющей центральное распределение F, при выбранном значении 1–α интегральной вероятности, то мощность P(p–1, п–р, 1–α, g₁) проверки может быть определена равенством

P(p–1, п–р, 1–α, g₁)=Pr(w^*≥F_кр),                              (9.1.9)

где w^* - случайная переменная, имеющая нецентральное распределение F, как определено выражением (5.4.3), а Pr(w^* ≥  F_кр) - вероятность того, что w^*≥ F_кр. Мощность P(p–1, п–р, 1–α, g₁) увеличивается, если увеличиваются п–р или 1–α, или g₁, но, если увеличивается   р–1, то P(p–1, п–р, 1–α, g₁) уменьшается [Ghosh (1973)].

Определённую выражением (9.1.9) мощность можно найти по таблицам [Tiku (1967)] или вычислить с использованием функции плотности вероятности нецентрального распределения F. Например, в программе Mathcad можно проинтегрировать данную в разделе 5.4 функцию плотности вероятности нецентрального распределения F на интервале от 0 до F_кр и вычесть из 1. В результате получается P(p–1, п–р, 1–α, g₁).