1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 18
Текст из файла (страница 18)
. . , k} такое, что()2(νj − npj )2νjpn=− pj−→ ∞ при n → ∞.npjpjnОсталось построить критерий согласия по определению 30. Пусть случайная величина η имеет распределение Hk−1 . По таблице распределения Hk−1 найдём C, равное квантили уровня 1 − ε этого распределения:ε = P(η ⩾ C). Критерий χ2 устроен обычным образом:{⃗ < C,H1′ , если ρ(X)⃗δ(X) =⃗ ⩾ C.H2′ , если ρ(X)Здесь следует остановиться и задать себе вопрос. Величина ρ есть сумма k слагаемых. Слагаемые, если мы не забыли теорему Муавра — Лапласа, имеют распределения, близкие к квадратам каких-то нормальных. Куда потерялась одна степеньсвободы? Причина кроется, конечно, в зависимости слагаемых: νk = n− ν1 −. .
.− νk−1 .1§ 2. Критерии для проверки гипотезы о распределении97З а м е ч а н и е 20. На самом деле критерий χ2 применяют и для решения первоначальной задачи о проверке гипотезы H1 = {F = F1 }. Необходимо только помнить, что этот критерий не отличит основную гипотезу отальтернативы, если вероятности попадания в интервалы разбиения у альтернативы такие же как у F1 . Поэтому берут большое число интерваловразбиения — чем больше, тем лучше, чтобы «уменьшить» число альтернатив, неразличимых с предполагаемым распределением.С другой стороны, следующее замечание предостерегает нас от чрезмерно большого числа интервалов.⃗ ⇒ Hk−1 обесЗ а м е ч а н и е 21. Сходимость по распределению ρ(X)печивается ЦПТ, поэтому разница допредельной и предельной вероятностей имеет тот же порядок, что и погрешность нормального приближения}{b2⃗ ⩾ C) − P(χ| PH1 (ρ(X),k−1 ⩾ C)| ⩽ max √npj (1 − pj )где b — некоторая постоянная (неравенство Берри — Эссеена).
Маленькие⃗значения npj в знаменателе приведут к тому, что распределение ρ(X)будет существенно отличаться от Hk−1 . Тогда и реальная вероятностьP(ρ ⩾ C) — точный размер полученного критерия — будет сильно отличаться от ε. Поэтому число интервалов разбиения выбирают так, чтобы⃗ на Hk−1 .обеспечить нужную точность при замене распределения ρ(X)Обычно требуют, чтобы np1 = .
. . = npk были не менее 5—6.Критерий χ2 для проверки параметрической гипотезы. Критерий χ2часто применяют для проверки гипотезы о принадлежности распределения выборки некоторому параметрическому семейству.⃗ = (X1 , . . . , Xn ) из неизвестного распределеПусть дана выборка Xния F. Проверяется сложная гипотеза{}H1 = F ∈ {Fθ ; θ ∈ Θ ⊆ Rd } ,где θ — неизвестный параметр, d — его размерность.Разобьём всю числовую ось на k > d + 1 интервалов группировкиA1 , . .
. Ak и вычислим νj — число элементов выборки, попавших в интервал Aj . Но теперь вероятность pj = PH1 (X1 ∈ Aj ) = pj (θ) зависитот неизвестного параметра θ. Функция отклонения (25) также зависит отнеизвестного параметра θ, и использовать её в критерии Пирсона нельзя:⃗ θ) =ρ(X;k∑(νj − npj (θ))2j=1npj (θ).(26)98ГЛАВА VIII. КРИТЕРИИ СОГЛАСИЯ⃗ — значение параметра θ, доставляющее минимум функПусть θ∗ = θ∗ (X)⃗ θ) при данной выборке X.⃗ Подставив вместо истинных вероятции ρ(X;ностей pj их оценки pj (θ∗ ), получим функцию отклонения⃗ θ∗ ) =ρ(X;k∑(νj − npj (θ∗ ))2j=1npj (θ∗ ).(27)Условие (K1) (при выполнении некоторых условий2 относительно гладкости pj (θ)) обеспечивается теоремой, которую мы доказывать не будем.Т е о р е м а 24 (Р.
Ф и ш е р). Если верна гипотеза H1 , d — размерность вектора параметров θ, то при фиксированном k и при n → ∞∗⃗ θ )=ρ(X;k∑(νj − npj (θ∗ ))2j=1npj (θ∗ )⇒ Hk−1−d ,где Hk−1−d есть χ2-распределение с k − 1 − d степенями свободы.Построим критерий χ2 . Пусть случайная величина η имеет распределение Hk−1−d . По заданному ε найдём C такое, что ε = P(η ⩾ C).Критерий согласия χ2 устроен обычным образом:{⃗ θ∗ ) < C,H1 , если ρ(X;⃗δ(X) =⃗ θ∗ ) ⩾ C.H2 , если ρ(X;Замечания 20, 21 о количестве интервалов разбиения остаются в силе.⃗ θ)З а м е ч а н и е 22. Вычисление точки минимума функции ρ(X;в общем случае возможно лишь численно. Поэтому есть соблазн использовать вместо оценки θ∗ оценку максимального правдоподобия θ̂, построенную по выборке X1 , .
. . , Xn . Однако при такой замене предельное рас⃗ θ) уже не равно Hk−1−d и зависит от θ.пределение величины ρ(X;Попытаемся всё же использовать простую оценку θ̂ вместо сложно вы⃗ θ∗ ) ⩽ ρ(X;⃗ θ̂). И если верно нерачисляемой θ∗ . По определению, ρ(X;⃗ θ̂) < C, то тем более ρ(X;⃗ θ∗ ) < C. Таким образом, есливенство ρ(X;⃗ θ̂) < C, она тем болеегипотеза H1 принимается из-за того, что ρ(X;⃗ θ∗ ). Но для того чтобы отвергнутьбудет приниматься по функции ρ(X;⃗ θ∗ ).основную гипотезу, придётся вычислять ρ(X;2Все ∂ 2 pj (θ)/∂ θi ∂ θl непрерывны по θ; ранг матрицы ∥∂pj (θ)/∂ θi ∥ равен d.§ 3.
Критерии для проверки однородности99§ 3. Критерии для проверки однородностиДвувыборочный критерий Колмогорова — Смирнова. Даны две неза⃗ = (X1 , . . . , Xn ) и Y⃗ = (Y1 , . . . , Ym ) из неизвествисимые выборки Xных распределений F и G соответственно. Проверяется сложная гипотезаH1 = {F = G} при альтернативе H2 = {H1 неверна}.Критерий Колмогорова — Смирнова используют, если F и G имеютнепрерывные функции распределения.Пусть Fn∗ (y) и G∗m (y) — эмпирические функции распределения, по⃗ и Y⃗ ,строенные по выборкам X√mn⃗ Y⃗ ) =ρ(X,sup Fn∗ (y) − G∗m (y).m+ny⃗ Y⃗ ) ⇒ η приТ е о р е м а 25.
Если гипотеза H1 верна, то ρ(X,n, m → ∞, где η имеет распределение Колмогорова.p⃗ Y⃗ ) −→У п р а ж н е н и е . Доказать, что ρ(X,∞ при любом стремлении n, m → ∞, если H2 верна.В таблице распределения Колмогорова по заданному ε найдём C такое, что ε = P(η ⩾ C), и построим критерий Колмогорова — Смирнова{⃗⃗ = H1 , если ρ(X) < C,δ(X)⃗ ⩾ C.H2 , если ρ(X)З а м е ч а н и е 23.
Если есть более двух выборок, и требуется проверить гипотезу однородности, часто пользуются одним из вариантов критерия χ2 Пирсона. Этот критерий можно посмотреть в [3, § 3.4].Ранговый критерий Вилкоксона, Манна и Уитни. Даны две независи⃗ = (X1 , . . . , Xn ) и Y⃗ = (Y1 , . . . , Ym ) из неизвестныхмые выборки Xраспределений F и G. Проверяется сложная гипотеза H1 = {F = G} приальтернативе H2 = {H1 неверна}.Критерий Вилкоксона, Манна и Уитни (Wilcoxon, Mann, Whitney) используют, если F и G имеют непрерывные функции распределения. Со⃗ и Y⃗ общий вариационный ряд и подсчитаем стаставим из выборок Xтистику Вилкоксона W, равную сумме рангов r1 , .
. . , rm (номеров мест)элементов выборки Y⃗ в общем вариационном ряду. Зададим функцию Uтак (статистика Манна — Уитни):n ∑m∑1U = W − m(m + 1) =I(Xi < Yj ).2i=1 j=1100ГЛАВА VIII. КРИТЕРИИ СОГЛАСИЯ1Если H1 верна, то P(X1 < Y1 ) =(для этого требуется непрерыв2ность распределений выборок). В этом случаеEU =nm,2DU =nm(n + m + 1).12Статистику критерия зададим, центрировав и нормировав статистику U :⃗ Y⃗ ) = √ρ(X,U − nm/2nm(n + m + 1)/12.Мы не будем доказывать следующее утверждение.Т е о р е м а 26. Если непрерывные распределения F и G таковы, что1⃗ Y⃗ ) ⇒ N0, 1 при n, m → ∞.P(X1 < Y1 ) = , то ρ(X,2Построим критерий асимптотического размера ε :{⃗⃗ Y⃗ ) = H1 , если |ρ(X)| < C,δ(X,⃗ ⩾ C,H2 , если |ρ(X)|где C — квантиль уровня 1− ε/2 распределения N0, 1 .
Пользоваться этимкритерием рекомендуют при min(n, m) > 25.Условие (K2) не выполнено. Если F ̸= G, но P(X1 < Y1 ) = 1/2, то по⃗ Y⃗ ) ведёт себя так же, как и при основнойтеореме 26 статистика ρ(X,гипотезе, поэтому критерий не будет состоятельным. Он реагирует лишьна то, как часто Xi < Yj , и принимает H1 , если это происходит примернов половине случаев.Например, если F и G — два нормальных распределения с одним и темже средним, но разными дисперсиями, то разность Xi −Yj имеет нормальное распределение с нулевым средним, и условие теоремы 26 выполнено.Итак, на самом деле построенный выше критерий проверяет гипотезу{1}.H1′ = распределения выборок таковы, что P(X1 < Y1 ) =2Используя его для проверки первоначальной гипотезы однородности, следует помнить, какие альтернативы он не отличает от основной гипотезы.Существуют модификации этого критерия (критерий Вилкоксона), которые применяют, если заранее известно, каких альтернатив следует опасаться.
В качестве W вместо суммы рангов r1 , . . . , rm возьмём суммуs(r1 ), . . . , s(rm ), где s : (1, . . . , n+m) 7→ (s(1), . . . , s(n+m)) — заранеевыбранная перестановка всех рангов. Статистика U = W − m(m + 1)/2уже не выражается через индикаторы, но её асимптотическая нормальность при верной гипотезе H1 по-прежнему имеет место.101§ 3. Критерии для проверки однородностиНапример, при альтернативе с дисперсиями DY1 ≫ DX1 (см. выше),когда ранги Yj могут оказаться очень большими и очень маленькими,берут перестановку вида(1, 2, 3, 4, 5, 6, 7, 8, 9, 10) 7→ (10, 8, 6, 4, 2, 1, 3, 5, 7, 9),присваивающую бо́льшие значения крайним номерам.Критерий Фишера.
Критерий Фишера используют в качестве первого шага в задаче проверки однородности двух независимых нормальныхвыборок. Особенно часто возникает необходимость проверить равенствосредних двух нормальных совокупностей: например, в медицине или биологии для выяснения наличия или отсутствия действия препарата. Этазадача решается с помощью критерия Стьюдента (с ним мы познакомимся на следующей странице), но только в случае, когда неизвестные дисперсии равны. Для проверки же равенства дисперсий пользуются сначалакритерием Фишера.
Самое печальное, если гипотеза равенства дисперсийотвергается критерием Фишера. Задачу о построении критерия точногоразмера ε (что особенно важно при маленьких выборках) для проверкиравенства средних в этих условиях называют проблемой Беренса — Фишера. Её решение возможно лишь в частных случаях.Пусть даны две независимые выборки из нормальных распределений:⃗ = (X1 , . . .
, Xn ) из N⃗Xa1 , σ21 и Y = (Y1 , . . . , Ym ) из Na2 , σ22 , средние которых, вообще говоря, неизвестны. Критерий Фишера предназначен дляпроверки гипотезы H1 = {σ1 = σ2 }.⃗ и S 2 (Y⃗ ) несмещённые выборочные дисперсииОбозначим через S02 (X)0⃗S02 (X)n1 ∑(Xi − X)2 ,=n−1S02 (Y⃗ )i=1m1 ∑=(Yi − Y )2m−1i=12 ⃗⃗ Y⃗ ) как их отношение ρ(X,⃗ Y⃗ ) = S 2 (X)/S⃗и зададим функцию ρ(X,00 (Y ).⃗ называют ту из двух выУдобно, если ρ > 1. С этой целью выборкой Xборок, несмещённая дисперсия которой больше. Поэтому предположим,⃗ > S 2 (Y⃗ ).что S02 (X)0⃗ Y⃗ ) имеетТ е о р е м а 27.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
