Проверка статистических гипотез о параметрах модели

6.3. Проверка статистических гипотез о параметрах модели

В статистическом линейном моделировании при анализе модели требуются определённые проверки гипотез о её параметрах. В этом разделе представлены несколько важных методов проверки гипотез. Для этих методов необходимо соблюдение сделанных в разделе 6.1 допущений.

Для проверки гипотез необходим вектор оценки ожидаемых значений переменных отклика в опытах эксперимента. Он вычисляется по формуле

≡=X.                                                           (6.3.1)

Разность между вектором получаемых в опытах эксперимента значений переменных отклика и вектором оценки их ожидаемых значений получается в виде

y–=y–X=y–X(X^ТX)^–1X^Тy

=[I–X(X^ТX)^–1X^Т]y                                          (6.3.2)

и называется вектором остатков или остаточных ошибок. Сумму S_E квадратов остатков можно записать с использованием вектора y– остатков в векторной форме

S_E==(y–)^Т(y–).                               (6.3.3)

Рекомендуемые материалы

Формула расчёта суммы S_E получается подстановкой выражения (6.3.2) вектора y– остатков в (6.3.3). Учитывая, что матрица I–X(X^ТX)^–1X^Т симметричная и идемпотентная, а произведение [I–X(X^ТX)^–1X^Т]X=О, то в результате имеем

S_E=y^Т[I–X(X^ТX)^–1X^Т]y                                              (6.3.4)

=y^Тy–y^ТX(X^ТX)^–1X^Тy

=y^Тy–X^Тy,                                                 (6.3.5)

так как =y^ТX(X^ТX)^–1. Эта формула удобна для расчёта суммы S_E. В ней y^Тy – сумма квадратов получаемых в опытах значений переменных отклика и X^Тy – сумма произведений элементов вектора  на соответствующие элементы вектора X^Тy, являющегося правой частью нормальных уравнений X^ТXq=X^Тy метода наименьших квадратов. При этом заметим, что при таком описании выражения (6.3.5) вектор X^Тy должен быть в точности таким какой он в нормальных уравнениях. Так, если при решении уравнений X^ТXq=X^Тy некоторые или все уравнения изменяются путём сокращения общих членов, то в члене X^Тy выражения (6.3.5) используется не изменённый, а исходный вектор X^Тy нормальных уравнений.

Разделение суммы квадратов переменных отклика

Сумма S_T квадратов значений переменных отклика находится по формуле

S_T==y^Тy

и сумма квадратов разностей значений переменных отклика и их оцениваемых ожидаемых значений определяется по формуле S_E=y^Тy–X^Тy. Разность между ними

S_R=S_T–S_E=y^Тy–y^Тy+X^Тy=X^Тy

представляет часть суммы S_T получаемой в результате выполнения регрессии и поэтому называемой регрессионной суммой квадратов. Это разделение суммы S_T в виде

S_R=X^Тy(=X^ТX)                                             (6.3.6)

S_E=y^Тy–X^Тy

--------------------

S_T=y^Тy

может быть сведено в таблицу дисперсионного анализа.

Разделяя матрицу X на столбцы в виде X=[1, x], выражение для суммы S_E можно записать так

S_E=y^Тy–[, ]

=y^Тy–[–, ] [в силу (6.2.4)]

=y^Тy–n–( x^Тy–n)

=S_Tс–x_ск^Тy,

где S_Tс=y^Тy–n обозначает скорректированную усреднённым  сумму квадратов значений переменных отклика, а произведение x_ск^Тy=x^Тy–n обозначает скорректированное усреднёнными  и  произведение x^Тy. В этом случае разность S_T–S_E принимает вид

S_R=S_T–S_E=n+x_ск^Тy.

Это разделение суммы S_T может быть выполнено также в виде

S_R=n+x_ск^Тy

S_E=y^Тy–n–x_ск^Тy

--------------------

S_T=y^Тy

и сведено в таблицу дисперсионного анализа.

Теперь допустим, что уравнение модели не содержит переменную x и имеет вид у_i=q₀+e_i. В этом случае оценкой  параметра q₀ является усреднённое  и регрессионная сумма квадратов равна n. Её можно считать корректировкой усреднённым  и записать как S_М=n. Тогда сумму S_R можно представить в виде S_R=S_М+x_ск^Тy и вычитанием S_М получить скорректированную усреднённым регрессионную сумму квадратов

S_Rс=S_R–S_М=x_ск^Тy.

С учётом этого, разделение суммы S_T может быть выполнено в виде

S_М=n                                                         (6.3.7)

S_Rс=x_ск^Тy

S_E=y^Тy–n–x_ск^Тy

--------------------

S_T=y^Тy

и сведено в таблицу дисперсионного анализа.

Также можно получить и скорректированную усреднённым значением  сумму квадратов значений переменных отклика по формуле

S_Tс=S_T–S_М=y^Тy–n

Её можно разделить в виде

S_Rс=x_ск^Тy                                                                (6.3.8)

S_E=y^Тy–n–x_ск^Тy

--------------------

S_Tс=y^Тy–n

и на основании этого получить таблицу дисперсионного анализа.

Распределения сумм квадратов

Вместе с допущениями раздела 6.1 будем теперь ещё считать, что случайные переменные e_i в модели (6.1.1) распределены по нормальному закону. Вектор e этих переменных имеем распределение N(0, s²I). На основе этого получаются параметры распределений вектора у и его функций. Так, записывая модель (6.1.1) в матричном виде у=Xq+e, имеем e=у–Xq и, следовательно, у~N(Xq, s²I).

Вектор оценки параметров модели находится по формуле =(X^ТX)^–1X^Тy и сумма квадратов остатков, в силу (6.3.4), записывается в виде

S_E=y^Т[I–X(X^ТX)^–1X^Т]y.

Произведения матриц (X^ТX)^–1X^Т[I–X(X^ТX)^–1X^Т]=О, поэтому по следствию 1 теоремы 5.6.1 вектор оценки  параметров модели и находимая по формуле (6.2.16) оценка s² дисперсии распределены независимо.

Сумма квадратов остатков S_Е=y^Т[I–X(X^ТX)^–1X^Т]y является квадратичной формой относительно вектора у. Матрица этой квадратичной формы идемпотентная и имеет ранг[I–X(X^ТX)^–1X^Т]=п–р. По второму и третьему допущениям раздела 6.1 дисперсия D(y)=s²I. Тогда по следствию 2 теоремы 5.5 квадратичная форма y^Т(I–X(X^ТX)^–1X^Т)y/s² имеет нецентральное распределение c²{п–р, (Xq)^T[I–X(X^ТX)^–1X^Т]Xq/(2s²)}. В нём параметр не центральности обращается в нуль

(Xq)^T(I–X(X^ТX)^–1X^Т)Xq=q^TX^T(I–X(X^ТX)^–1X^Т)Xq=q^T(X^TX–X^TX)q=0.

Следовательно, величина S_Е/s² имеет центральное распределение c²(п–р).

Зная, что S_Е/s² имеет центральное распределение c²(п–р), покажем, что суммы S_R, S_М и S_Rс имеют нецентральные распределения c². Более того, они распределены независимо от S_Е. На основании этого могут быть получены статистики, имеющие нецентральные распределения F. При определённых нулевых гипотезах эти статистики приобретают центральные распределения F и на основе этого позволяют проверить рассматриваемые нулевые гипотезы.

Сумма S_R=X^Тy=y^ТX(X^ТX)^–1X^Тy является квадратичной формой относительно вектора у. Её матрица X^Т(X^ТX)^–1X^Т идемпотентная и произведения этой матрицы с матрицей I–X(X^ТX)^–1X^Т дают нулевую матрицу. Следовательно, по следствию 1 теоремы 5.6.2 квадратичные формы S_R и S_Е распределены независимо, а по следствию 2 теоремы 5.5 величина S_R/s² имеет нецентральное распределение хи-квадрат

S_R/s²~c²{ранг[X(X^ТX)^–1X^Т], (Xq)^TX(X^ТX)^–1X^ТXq/(2s²)},

то есть,

S_R/s²~c²[р, q^TX^ТXq/(2s²)],

где ранг[X(X^ТX)^–1X^Т]=р.

В силу (6.3.7), так же имеем S_М=n²=y^Т11^Тy/n, где матрица 11^Т/n идемпотентная и её произведения с матрицей I–X(X^ТX)^–1X^Т дают нулевую матрицу. Следовательно, квадратичная форма S_М распределена независимо от S_Е, а величина S_М/s² имеет нецентральное распределение c²[ранг(11^Т/n), (Xq)^T11^Т/nXq/(2s²)], то есть,

S_M/s²~c²[1, q^TX^Т11^ТXq/(2ns²)],

где ранг(11^Т/n)=1.

Кроме того, как показано выше, S_Rс=S_R–S_М, следовательно эту сумму можно записать в виде квадратичной формы

S_Rс=y^ТX(X^ТX)^–1X^Тy–y^Т11^Тy/n

=y^Т[X(X^ТX)^–1X^Т–11^Т/n)y.

Матрица этой квадратичной формы симметричная и идемпотентная

[X(X^ТX)^–1X^Т–11^Т/n]²=X(X^ТX)^–1X^Т–11^ТX(X^ТX)^–1X^Т/n–X(X^ТX)^–1X^Т11^Т/n+11^Т/n11^Т/n

=X(X^ТX)^–1X^Т–11^Т/n,

где 11^ТX(X^ТX)^–1X^Т=11^Т и X(X^ТX)^–1X^Т11^Т=11^Т. Это получается на основании равенства X^ТX(X^ТX)^–1X^Т=X^Т, так как первый столбец матрицы X состоит из единиц [см. Searle (1971) cтр.95 и раздел 8.4 этой книги]. Эта матрица имеет ранг[X(X^ТX)^–1X^Т–11^Т/n]=р–1. Произведения её с матрицами I–X(X^ТX)^–1X^Т и 11^Т/n дают нулевые матрицы. Поэтому квадратичная форма S_Rс распределена независимо от S_Е и S_M, а величина S_Rс/s² имеет нецентральное распределение хи-кадрат

S_Rс/s²~c²{р–1, q^TX^T[X(X^ТX)^–1X^Т–11^Т/n]Xq/(2s²)}

~c²[р–1, q^T(X^TX–X^T11^ТX/n)q/(2s²)].

Статистики с распределением F для проверки гипотез

Используя данное в разделе 5.4 определение нецентрального распределения F, можно получить статистику F_R по формуле

F_R=.

В правой части формулы числитель представляет выражение оценки дисперсии, которая объясняется регрессионной моделью, а знаменатель представляет выражение оценки дисперсии, которая не объясняется регрессионной моделью. Отношение объяснённой и необъяснённой дисперсий даёт другой критерий рассмотрения регрессионной линейной модели. Проверка по этому критерию позволяет решить, приемлема ли постулируемая линейная модель для описания имеющихся данных эксперимента.

Статистика F_R имеет нецентральное распределение F

F_R ~F[р, n–р, q^TX^ТXq/(2s²)].                                              (6.3.9)

Вместе с этим, статистика F_М рассчитывается по формуле

F_М=

и эта статистика тоже имеет нецентральное распределение F

F_М ~F[1, n–р, q^TX^Т11^ТXq/(2ns²)].                           (6.3.10)

Статистика F_Rс вычисляется по формуле

F_Rс=

и имеет также нецентральное распределение F

F_Rc~F[р–1, п–р, q^T[X^TX–X^T11^ТX/n]q/(2s²)].

Параметр не центральности этого распределения можно преобразовать. Если использовать разделение матрицы X=[1, x], где x - вектор столбец значений переменной x, а вектора q=, то после соответствующих преобразований числитель параметра не центральности можно представить в виде

q^T[X^TX–X^T11^ТX/n]q=q₁(x^Тx–x^Т11^Т/nx)q₁.

Таким образом, распределение статистики F_Rc записывается так

F_Rc~F[р–1, п–р, q₁(x^Тx–x^Т11^Т/nx)q₁/(2s²)].                                    (6.3.11)

Вычисления статистик с распределениями F сводятся в таблицы дисперсионного анализа. Например, вычисление статистики F_R сведено в таблицу 6.3.1. В этой таблице приведены не только суммы квадратов, но и степени свободы соответствующих распределений хи-квадрат. В столбце средних квадратичных величин показан расчёт числителя и знаменателя статистики F_R. А в крайнем правом столбце показана формула расчёта самой статистики F_R. Таким образом, таблица дисперсионного анализа является просто удобной формой представления этапов расчёта статистики F_R.

Таблица 6.3.1. Дисперсионный анализ значимости регрессии

Расчёт статистик F_М и F_Rс представлен в таблице 6.3.2. Она содержит больше информации, чем таблица 6.3.1. Таблица 6.3.2 показывает разделение суммы квадратов S_R на S_М и S_Rс.

Таблица 6.3.2. Дисперсионный анализ с учётом влияния усреднённого

Проверка гипотез по статистикам с распределением F

При определённых нулевых гипотезах параметры не центральности, представленных выражениями (6.3.9) - (6.3.11) распределений F, обращаются в нуль. Поэтому эти нецентральные распределения становятся центральными и, следовательно, вычисленные в таблицах 6.3.1 и 6.3.2 статистики могут использоваться для проверки нулевых гипотез.

С помощью статистики F_R можно проверить статистическую гипотезу о значимости регрессии, то есть, проверить соответствует ли постулируемая линейная модель данным эксперимента. Для этого рассматриваются нулевая гипотеза H₀: q=0 и альтернативная гипотеза H₁: q≠0. Если нулевая гипотеза H₀: q=0 верна, то в выражении (6.3.9) параметр не центральности распределения статистики F_R становится равным нулю и эта статистика приобретает центральное распределение F(р, п–р). Её расчётное значение может быть сравнено с критическим значением F_кр случайной переменной, имеющей центральное распределение F(р, п–р) и интегральную вероятность равную 1–α на интервале от 0 до F_кр. Если, при выбираемой обычно вероятности 1–a=0,95, значение статистики F_R больше значения F_кр, то нулевая гипотеза H₀: q=0 ложна, а если нет, то верна. Критические значения F_кр находятся по таблицам распределения F [Searle (1971) стр.526; Box, Draper (2007) стр.752] или с использованием специальных компьютерных программ.

Относительно постулируемой функции Е(у)=Xq модели можно тогда сказать, что когда статистика F_R имеет значимую величину и существует соответствие между данными эксперимента и постулируемой моделью, то модель описывает значительную часть изменений переменных отклика. Но это не значит, что для выбранной переменной x эта модель обязательно наилучшая. Могут быть другие влияющие на отклик переменные, c помощью которых достигается лучшее описание изменений переменных отклика, или может быть нелинейная функция переменной x, которая не хуже описывает изменения переменных отклика, чем линейная функция переменной x. Все эти дополнительные обстоятельства совместимы со значимой величиной статистики F_R и следующим выводом, что данные соответствуют модели с функцией Е(у)=Xq.

В выражении (6.3.10) параметром не центральности распределения статистики F_М является q^TX^Т11^ТXq/(2ns²)=(1^ТXq)²/(2ns²). В числителе этого выражения произведение можно представить в виде 1^ТXq=1^ТЕ(у)=Е(1^Ту)=Е(n)=nЕ(). Следовательно параметр не центральности распределения статистики F_М становится равным n[Е()]²/(2s²). Он принимает нулевое значение, если гипотеза H₀: Е()=0 верна. Таким образом, статисту F_М можно использовать для проверки гипотезы, что ожидаемое значение усреднённого переменных отклика является нулевым. Это является объяснением выражения проверки среднего, которое иногда используется для описания основанной на статистике F_М проверки.

Другое рассмотрение проверки по статистике F_М основывается на функции Е(у_i)=q₀ модели у_i=q₀+e_i. Регрессионной суммой квадратов этой модели является S_М и параметр не центральности в выражении (6.3.10) равен пq₀²/(2s²). Следовательно, статистику F_М можно использовать для проверки описывает ли модель у_i=q₀+e_i изменения переменных отклика.

При использовании статистики F_R проверяется гипотеза, что оба параметра q₀ и q₁ модели одновременно равны нулю. Однако проверка нулевой гипотезы H₀: q₁=0, что только параметр q₁ переменной x равен нулю, основывается на статистике F_Rс таблицы 6.3.2. Это получается потому, что в выражении (6.3.11) распределения статистики F_Rс параметр не центральности равен нулю, если верна нулевая гипотеза H₀: q₁=0. В этом случае статистика F_Rс приобретает центральное распределение F со степенями свободы р–1 и п–р. Таким образом, статистика F_Rс даёт возможность проверить гипотезу H₀: q₁=0. Если расчётная величина статистики F_Rс оказывается равной или больше критического значения имеющей распределение F(р–1, п–р) случайной переменной при выбираемой вероятности 1–a, то нулевая гипотеза H₀: q₁=0 ложна. При этом если сначала расчёт статистики F_М показал, что гипотеза H₀: Е()=0 ложна, а затем расчёт статистики F_Rс показал, что гипотеза H₀: q₁=0 ложна, то получается, что модель с переменной x объясняет значительно лучше изменения переменных отклика, чем модель у_i=q₀+e_i.

Проверки с использованием статистик F_М и F_Rс основаны на суммах квадратов S_М и S_Rс которые, как показано выше, распределены независимо. Они находятся в числителях формул расчёта статистик F_М и F_Rс. Поэтому значимость или незначимость этих статистик статистически независимы друг от друга по числителям их расчётных формул. Однако сами распределения статистик F_М и F_Rс не являются статистически независимы, так как в знаменателе их формул находится одна и та же сумма S_E. Поэтому рассмотрение уровней значимости обеих статистик F_М и F_Rс представляет случай совместного статистического вывода, что выходит за рамки этой книги. Желающим познакомиться с этим подробно рекомендуется книга [Miller (1981)]. Однако в дальнейшем значимость статистик F_М и F_Rс будет обсуждаться, игнорируя существующую проблему совместного статистического вывода.

Выше обсуждался случай когда обе статистики F_М и F_Rс значимы. Но в практике может встретиться случай когда статистика F_М незначима, а статистика F_Rс значима. Это означает, что даже, если Е() было бы нулевым, то использование переменной x давало бы возможность модели объяснять изменения переменных отклика. Так происходит тогда, когда в опытах эксперимента переменные отклика принимают положительные и отрицательные значения.

Пример 6.3.1. Используя данные таблицы 6.2.1, проведём дисперсионный анализ модели получаемой при моделировании зависимости коэффициента усиления транзистора от эмиттерной дозы из примера 6.2.1. Таблица 6.3.2 представляет дисперсионный анализ наиболее полно, поэтому на её основе результаты расчётов представим в таблице 6.3.3.

Таблица 6.3.3. Дисперсионный анализ модели из примера 6.2.1.

Расчёт сумм квадратов выполнялся по представленным в таблице 6.3.2 формулам. При расчёте степеней свободы с использованием выражения ранг[X(X^ТX)^–1X^Т–11^Т/n]=р–1 заметим, что для рассматриваемой модели ранг[X(X^ТX)^–1X^Т]=ранг(X)=р=2 и поэтому р–1 =1. Также в расчёте степеней свободы по формуле ранг[I–X(X^ТX)^–1X^Т]=п–р ранг матрицы I равен 10 и поэтому n–р=8.

Далее по найденным суммам квадратов и степеням свободы вычислялись средние квадратичные и сами статистики F_М и F_Rс. При выбранной вероятности 1–a=0,95 для этих статистик случайная величина с распределением F(1, 8) имеет критическое значение F_кр=5,318. Оно меньше F_М=688,209, но больше F_Rс=1,075. Следовательно, гипотеза H₀: Е()=0 ложна, а гипотеза H₀: q₁=0 верна. Таким образом, в этом примере получен третий возможный случай когда статистика F_М значима, а статистика F_Rс незначима. Это указывает на то, что модель с переменной x не объясняет лучше изменения переменных отклика, чем модель с функцией Е(у_i)=q₀. Следовательно, представленные таблицей 6.2.1 результаты эксперимента описываются моделью у_i=q₀+e_i.

□

Проверка гипотез по статистикам с распределением t

Наряду со статистиками с распределением F для проверки гипотез относительно параметров модели могут использоваться статистики с распределением t [Rencher, Schaalje (2008) стр.132]. Как правило, гипотезы о параметре q₁ имеют больший интерес, чем гипотезы о q₀, так как основным часто является нахождение, существует ли линейная зависимость переменной (у) отклика от переменной x. Поэтому проверяется гипотеза H₀: q₁=0, которая утверждает, что модель у_i=q₀+q₁x_i+e_i не объясняет линейную зависимость (у) от x.

При проверке гипотезы H₀: q₁=0 полагают, что переменные у_i отклика распределены по нормальному закону N(q₀+q₁x_i, s²). Тогда оценки  и s² имеют следующие свойства:

1. Оценка  имеет нормальное распределение N[q₁, s²/].

2. Величина (n–2)s²/s² имеет распределение c²(n–2).

3. Оценки  и s² распределены независимо.

Из этих трех свойств и, в силу (5.4.8), следует, что статистика

Лекция "Иван IV Грозный и политика опричнины" также может быть Вам полезна.

t₁=                                                           (6.3.12)

имеет нецентральное распределение t(n–2, d) с параметром не центральности δ. Этот параметр задается выражением δ=Е()/=q₁/[s/] и, если q₁=0, то в силу (5.4.6), статистика t₁ принимает центральное распределение t(n–2).

При двусторонней альтернативной гипотезе H₁: q₁≠0, гипотеза H₀: q₁=0 ложна, если |t₁|>t_α/2(n–2), где t_α/2(n–2) - верхнее α/2 процентное значение центрального распределения t и α - желаемый уровень значимости проверки (то есть, вероятность отклонить гипотезу H₀, когда она верна).

Пример 6.3.2. Проверим гипотезу H₀: q₁=0 на основе статистики t₁ с использованием полученных в примерах 6.2.1 и 6.2.2 величин =–197,6 и s=161,7 оценки. В силу (6.3.12), статистика t₁ вычисляется так

t₁===–0,879.

Так как |t₁|=0,879<t_0,95(8)=1,860, то гипотеза H₀: q₁=0 верна. Этим ещё раз подтверждает результат, полученный в примере 6.3.1.