Проверка гипотез отношением максимумов функций правдоподобия

9.4. Проверка гипотез отношением максимумов функций правдоподобия

Процедуры проверки гипотез в разделах 6.3 и 9.1-9.3 основаны на поиске статистически независимых сумм квадратов, имеющих распределения хи-квадрат. Эти проверки могут быть сделаны и с использованием отношения максимумов функций правдоподобия.

Рассмотрим применение отношения максимумов функций правдоподобия для проверки гипотезы H₀: b=0 в сравнении с гипотезой H₁: b≠0. Функция правдоподобия L(b, s²) определена в разделе 7.3 как совместная функция плотности вероятности переменных отклика. Для вектора у^Т=[y₁, y₂,..., у_п] этих случайных переменных, имеющего нормальное распределение N_n(Xb, s²I), c учётом (7.3.3), функция правдоподобия принимает вид

L(b, s²)= (2ps²)^–n/2ехр[–(у–Xb)^T(у–Xb)/(2s²)].                 (9.4.1)

При определении отношений максимумов функций правдоподобия используются максимальное значение функции L(b, s²), ограниченной условием гипотезы H₀: b=0, и максимальное значением функции L(b, s²) без ограничения. Обозначим max_HL(b, s²) максимальное значение функции L(b, s²), ограниченной условием b=0, и maxL(b, s²) - максимальное значение функции L(b, s²) без ограничения. Отношение L_R максимумов функций правдоподобия получается делением максимального значения функции L(b, s²), ограниченной условием b=0, на максимальное значение функции L(b, s²) без ограничения

L_R=max_HL(b, s²)/maxL(b, s²)

=maxL(0, s²)/maxL(b, s²).                                       (9.4.2)

Теперь найдём отношение максимумов функций правдоподобия для проверки гипотезы H₀: b=0. Получаемое в результате отношение является функцией статистики F_R, найденной в разделе 6.3 путем разделения общей суммы квадратов S_T=y^Тy.

Теорема 9.4.1. Если вектор у имеет нормальное распределение N_n(Xb, s²I), то проверка гипотезы H₀: b=0 по отношению максимумов функций правдоподобия является такой же проверкой этой гипотезы, как и по статистике

Рекомендуемые материалы

F_R=.

Доказательство: Для нахождения значения maxL(b, s²) используем результаты = (X^ТX)^–1X^Тy и = (у–X)^Т(у–X)/п оценки максимально правдоподобия по теореме 7.3.1. Подставляя их в (9.4.1) соответственно вместо b и s², получаем

maxL(b, s²) =L(,)=(2p)^–n/2ехр[–(у–X)^T(у–X)/(2)]

=.                         (9.4.3)

Чтобы найти max_HL(b, s²)=maxL(0, s²), решаем уравнение ∂[lnL(0, s²)]/∂s²=0 и получаем

=y^Ty/n.                                                      (9.4.4)

Тогда, ограниченное условием b=0 максимальное значение функции L(b, s²)

max_HL(b, s²)=L(0,)= (2p)^–n/2ехр[–у^Tу/(2)]

=.                                    (9.4.5)

Подставляя (9.4.3) и (9.4.5) в (9.4.2), имеем

L_R=max_HL(b, s²)/maxL(b, s²)=

=,                              (9.4.6)

где S_E=(y–X)^Т(y–X) и S_R=S_T–S_E. Отсюда отношение L_R является однозначной функцией S_R/S_E, убывающей монотонно, когда S_R/S_E увеличивается. Поэтому отношение S_R/S_E может быть использовано в качестве статистики для проверки гипотезы вместо отношения L_R. По этой же причине может использоваться и отношение (S_R/p)/[S_E/(n–p)], где S_R=^TX^Tу, S_E=y^Тy–^TX^Tу и чьё использование в качестве статистики F_R рассмотрено в разделе 6.3. Отсюда получаем, что по статистике

F_R=

гипотеза H₀: b=0 проверяется так же, как и по отношению максимумов функций правдоподобия. Гипотеза H₀: b=0 ложна, если статистика F_R больше критического значения F_кр имеющей центральное распределение F(р, п–р) случайной переменной при выбранной интегральной вероятности 1–α на интервале от 0 до F_кр. Следовательно, гипотеза H₀: b=0 стремится быть ложной и при уменьшающемся значении отношения L_R, что эквивалентно увеличивающемуся значению статистики F_R.

□

Покажем теперь, что проверка по статистике F_Нс в теореме 9.3.2 для линейной гипотезы H₀: Cb=0 является также проверкой по отношению максимумов функций правдоподобия. Обозначим max_HL(b, s²) максимальное значение функции L(b, s²), ограниченной условием Cb=0, и maxL(b, s²) - максимальное значение функции L(b, s²) без ограничения. В этом случае отношение максимумов функций правдоподобия получается делением максимального значение функции L(b, s²), ограниченной условием Cb=0, на максимальное значением функции L(b, s²) без ограничения

L_С=max_HL(b, s²)/maxL(b, s²).

Теорема 9.4.2. Если вектор у имеет нормальное распределение N_n(Xb, s²I), то проверка по статистике F_Нс гипотезы H₀: Cb=0 в теореме 9.3.2 равносильна проверке по отношению L_С максимумов функций правдоподобия с ограничением и без ограничения.

Доказательство: Для функции правдоподобия L(b, s²) без ограничения максимальное значение maxL(b, s²) находится по формуле (9.4.3). Чтобы найти max_HL(b, s²) при условии Cb=0, используем метод множителей Лагранжа (раздел П.15) и воспользуемся натуральным логарифмом функции L(b, s²) для упрощения дифференцирования:

v(b, s², l)= ln[L(b, s²)]+l^T(Cb–0)

=–n/2ln(2p)–n/2lns²–(у–Xb)^Т(у–Xb)/(2s²)+l^TCb.

Выполнив умножение (у–Xb)^Т(у–Xb), возьмём частные производные от функции v(b, s², l) по b, l и s², а затем приравняем их соответственно нулевым векторам и нулю

∂v/∂b=(X^Ту–X^ТXb)/s²+C^Tl=0,                                          (9.4.7)

∂v/∂l=Cb=0,                                                                        (9.4.8)

∂v/∂s²=–n/(2s²)+(у–Xb)^Т(у–Xb)/(2s⁴)=0.                          (9.4.9)

В силу (9.4.7), получаем

b=(X^ТX)^–1X^Ту+s²(X^ТX)^–1C^Tl.                                (9.4.10)

Умножая это выражение слева на С, имеем Сb=С+s²С(X^ТX)^–1C^Tl, где вектор =(X^ТX)^–1X^Ту. В силу (9.4.8), Cb=0 и поэтому С+s²С(X^ТX)^–1C^Tl=0. Решая это уравнение относительно l, получаем l=–С/[s²С(X^ТX)^–1C^T]. Замена l в (9.4.10) этим выражением даёт

=–(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C.                                 (9.4.11)

В силу (9.4.9), имеем s²=(у–Xb)^Т(у–Xb)/n. Подставляя сюда вместо b выражение для , получаем

=(у–X)^Т(у–X)/n                                                                                         (9.4.12)

={у–X+X(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C}^Т{у–X+X(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C}/n

={(у–X)^Т(у–X)+(C)^Т[C(X^ТX)^–1C^Т]^–1C(X^ТX)^–1X^Т(у–X)

+(у–X)^ТX(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C+(C)^Т[C(X^ТX)^–1C^Т]^–1C}/n

={(у–X)^Т(у–X)+0+0+(C)^Т[C(X^ТX)^–1C^Т]^–1C}/n,

так как

(C)^Т[C(X^ТX)^–1C^Т]^–1C(X^ТX)^–1X^Т(у–X)=(C)^Т[C(X^ТX)^–1C^Т]^–1C

–(C)^Т[C(X^ТX)^–1C^Т]^–1C)=0,

(у–X)^ТX(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C=^ТC^Т[C(X^ТX)^–1C^Т]^–1C

–^ТC^Т[C(X^ТX)^–1C^Т]^–1C=0,

(C)^Т[C(X^ТX)^–1C^Т]^–1C(X^ТX)^–1X^ТX(X^ТX)^–1C^Т[C(X^ТX)^–1C^Т]^–1C=(C)^Т[C(X^ТX)^–1C^Т]^–1C.

Следовательно, имеем

=+(C)^Т[C(X^ТX)^–1C^Т]^–1C/n,                      (9.4.13)

где = (у–X)^Т(у–X)/n и =(X^ТX)^–1X^Тy – результаты оценки максимального правдоподобия по теореме 7.3.1. Таким образом, подставляя вместо b и s² полученные  и , находим максимальное значение ограниченной условием Cb=0 функции L(b, s²)

max_HL(b, s²)=L(,)=(2p)^–n/2()^–n/2ехр[–(у–X)^T(у–X)/(2)]

=,

так как (у–X)^T(у–X)=n.

13. Практическое применение уравнения Д. Бернулли - лекция, которая пользуется популярностью у тех, кто читал эту лекцию.

Следовательно, отношение L_С максимумов функций правдоподобия

L_С=max_HL(b, s²)/maxL(b, s²)

=

=,

где S_H=(С)^Т[C(X^ТX)^–1C^Т]^–1С и S_E=(у–X)^Т(у–X). Это отношение является однозначной функцией S_Н/S_E убывающей монотонно, когда S_Н/S_E возрастает. Поэтому отношение S_Н/S_E может использоваться в качестве статистики для проверки гипотезы вместо отношения L_С. По этой же причине может использоваться и отношение (S_Н/q)/[S_E/(n–p)], которым определена статистика F_Hс в теореме 9.3.2.

Гипотеза H₀: Сb=0 ложна, если расчётное значение статистики F_Hс больше критического значения F_кр имеющей центральное распределение F(q, п–р) случайной переменной, при интегральной вероятности 1–α на интервале от 0 до F_кр. Таким образом, с увеличением значения статистики F_Hс гипотеза H₀: Сb=0 стремится быть ложной. Следовательно, гипотеза H₀: Сb=0 будет ложна и при уменьшении отношения L_С, что эквивалентно увеличению статистики F_Нс.