Н.И. Чернова - Лекции по математической статистике (1115346), страница 16
Текст из файла (страница 16)
Если верна гипотеза H10 , то при фиксированном k и при n → ∞Во весь экранρ(X) =kX(νj − npj )2j=1Уйти⇒ Hk−1 ,где, напомним, Hk−1 есть χ2 -распределение с k−1o степенью свободы.oСтр. 138npjСтоит остановиться и задать себе вопрос. Величина ρ есть сумма k слагаемых. Слагаемые, если выне забыли ЦПТ или теорему Муавра — Лапласа, имеют распределения, близкие к квадратам каких-тонормальных. Куда потерялась одна степень свободы? Причина кроется, конечно, в зависимости слагаемых:νk = n − ν1 − . . . − νk−1 .Докажем теорему Пирсона при k = 2.В этом случае ν2 = n − ν1 , p2 = 1 − p1 . Посмотрим на ρ и вспомним ЦПТ:ρ(X) =Оглавление(ν1 − np1 )2 (ν2 − np2 )2(ν1 − np1 )2 (n − ν1 − n(1 − p1 ))2+=+=np1np2np1n(1 − p1 )(ν1 − np1 )2(ν1 − np1 )2 (−ν1 + np1 )2+===np1n(1 − p1 )np1 (1 − p1 )JJIIJIНа стр.
... из 179ν1 − np1pnp1 (1 − p1 )!2Но величина ν1 есть сумма n независимых случайных величин с распределением Бернулли Bp1 , и по ЦПТν1 − np1p⇒ ξ,np1 (1 − p1 )где ξ имеет стандартное нормальное распределение. ПоэтомуНазадВо весь экранρ(X) =ν1 − np1pnp1 (1 − p1 )!2⇒ ξ2 .Величина ξ2 имеет χ2 -распределение H1 с одной степенью свободы.УйтиСтр. 139Для экономистов, только приступающих к знакомству с многомерным нормальным распределением, матрицами ковариаций и всевозможными квадратичными формами, составленнымииз (асимптотически) нормальных слагаемых, исключительно полезно познакомиться с доказательством теоремы Пирсона в общем случае. Параграф A приложения, который познакомитчитателя с многомерным нормальным распределением, стоит напечатать (CTRL+P) и повеситьв изголовье кровати до окончания курса эконометрики.Функция ρ(X) удовлетворяет условию K1(б).
Действительно,Упражнение. Вспомнить закон больших чисел и доказать, что если H10 неверна,то найдется j ∈ {1, . . . , k} такое, чтоОглавлениеJJIIJIНа стр. ... из 179(νj − npj )2n=npjpjУйтиνj− pjn2p−→ ∞.Осталось построить критерий в соответствии с K2.Пусть случайная величина χ2k−1 имеет распределение Hk−1 . По таблице распределения Hk−1 найдем C равное квантили уровня 1 − ε этого распределения. Тогдаε = P (χ2k−1 > C) и критерий согласия χ2 выглядит как все критерии согласия:НазадВо весь экранδ(X) =H10 , если ρ(X) < C,H20 , если ρ(X) > C.Замечание 19.
На самом деле критерий χ2 применяют и для решения первоначальной задачи о проверке гипотезы H1 = {F = F1 }. Необходимо только помнить, чтоэтот критерий не состоятелен для альтернатив с теми же вероятностями попадания винтервалы разбиения, что и у F1 . Поэтому берут большое число интервалов разбиения— чем больше, тем лучше, чтобы «уменьшить» число альтернатив, неразличимых спредполагаемым распределением.Стр. 140Внимание! Опасность!ОглавлениеЗамечание 20. Сходимость по распределению ρ(X) ⇒ Hk−1 обеспечивается ЦПТ,поэтому разница допредельной и предельной вероятностей имеет тот же порядок, что ипогрешность нормального приближенияb|P (ρ(X) > C) − P (χ2k−1 > C)| 6 примерно! max q np (1 − p ) jJJIIJIНа стр. ...
из 179Назадj(см. неравенство Берри — Эссеена для погрешности в ЦПТ), где b – некотораяпостоянная. Маленькие значения npj в знаменателе приведут к тому, что распределениеρ(X) будет существенно отличаться от Hk−1 . Тогда и реальная вероятность P (ρ > C)— точный размер полученного критерия — будет сильно отличаться от ε. Поэтомудля выборки объема n число интервалов разбиения выбирают так, чтобы обеспечитьнужную точность при замене распределения ρ(X) на Hk−1 .Обычно требуют, чтобы np1 = .
. . = npk были не менее 5-6.Во весь экранУйтиСтр. 1418.3. Критерий χ2 Пирсона для проверки параметрической гипотезыКритерий χ2 часто применяют для проверки гипотезы о виде распределения, т. е.о принадлежности распределения выборки некоторому параметрическому семейству.ОглавлениеИмеется выборка X = (X1 , . . . , Xn ) из неизвестного распределения F. Проверяетсясложная гипотезаH1 = F ∈ {Fθ } ,JJIIJIгде θ ∈ Θ ⊆ IRl — неизвестный параметр (скалярный или векторный), l — егоразмерность.На стр.
... из 179НазадВо весь экранПусть IR разбито на k > l интервалов группировки A1 ∪ · · · ∪ Ak , и νj — числоэлементов выборки, попавших в Aj . Но вероятность pj = PH1 (X1 ∈ Aj ) = pj (θ)теперь зависит от неизвестного параметра θ.Функция отклонения (23) также зависит от неизвестного параметра θ, и использовать ее в критерии Пирсона нельзя — мы не можем вычислить ее значение:ρ(X, θ) =kX(νj − npj (θ))2j=1npj (θ).(24)Уйти^Пусть θ^ = θ(X)— значение параметра θ, доставляющее минимум функции ρ(X, θ)^при данной выборке X. Подставив вместо истинных вероятностей pj их оценки pj (θ),получим функцию отклоненияСтр. 142^ =ρ(X, θ)kX^ 2(νj − npj (θ))j=1^npj (θ).(25)Условие K1(a) (при выполнении некоторых условий относительно гладкости pj (θ)o )обеспечивается теоремой (R.
Fisher, 1924), которую мы доказывать не будем:ОглавлениеТеорема 8. Если верна гипотеза H1 , и dim(θ) = l — размерность параметра (вектора)θ, то при фиксированном k и при n → ∞^ =ρ(X, θ)JJIIJIk XkX^ 2(νj − npj (θ))⇒ Hk−1−l ,^npj (θ)j=1 j=1где Hk−1−l есть χ2 -распределение с k − 1 − l степенями свободы.На стр. ... из 179НазадВо весь экранУйтиУсловие (K1(б)) выполнено, если, скажем, рассматривать альтернативные распределения F2 такие, что ни при каких θ набор вероятностей PF2(X1 ∈A1 ), .
. . , PF2(X1 ∈Ak )не совпадает с p1 (θ), . . . , pk (θ).Построим критерий χ2 .Пусть случайная величина χ2k−1−l имеет распределение Hk−1−l . По заданному εнайдем C такое, что ε = P (χ2k−1−l > C).Критерий согласия χ2 имеет такой же вид, как все критерии согласия:^ < C,H1 , если ρ(X, θ)δ(X) =^ > C.H2 , если ρ(X, θ)Стр. 143oВсе ∂2 pj (θ)/∂θi ∂θl непрерывны по θ; ранг матрицы k∂pj (θ)/∂θi k равен l.Замечания 19, 20 о количестве интервалов разбиения остаются в силе.Оглавление^ минимизирующую функцию ρ(X, θ), нельзя заменитьЗамечание 21. Оценку θ,на оценку максимального правдоподобия для θ, построенную по выборке X1 , . . .
, Xn .При такой замене предельное распределение величины ρ(X, θ)а) уже не равно Hk−1−l , а совпадает с распределением величиныJJIIJIНа стр. ... из 179ξ21 + . . . + ξ2k−1−l +a1 (θ)ξ2k−l + . . . + al (θ)ξ2k−1 ,где все ξi независимы и имеют распределение N0,1 , а коэффициенты ai (θ), вообще говоря, отличны от 0 и 1 (H.Chernoff, E.Lehmann, 1954);б) зависит от θ.НазадПочувствуйте разницу:Во весь экранУйти^ минимизирующую функцию ρ(X, θ), можно получитьЗамечание 22. Оценку θ,как оценку максимального правдоподобия для θ, построенную по вектору ν1 , . .
. , νkиз полиномиального распределения. Функция правдоподобия имеет видkkXXνkν1n!pi (θ) = 1 иνi = n.p1 (θ)· . . . · pk (θ) , гдеf(ν; θ) =ν1 ! . . . νk !i=1Стр. 144i=1Вычисление точки максимума по θ такой функции в общем случае возможно лишьчисленно, равно как и вычисление точки минимума функции ρ(X, θ).8.4.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 145Проверка гипотезы однородности: критерий Колмогорова — СмирноваДаны две выборки X = (X1 , . . . , Xn ) и Y = (Y1 , .
. . , Ym ) из неизвестных распределений F и G соответственно. Проверяется сложная гипотеза H1 = {F = G} против(еще более сложной) альтернативы H2 = {H1 неверна}.Критерий Колмогорова — Смирнова используют, если F и G имеют непрерывныефункции распределения.Пусть F∗n (y) и G∗m (y) — эмпирические функции распределения, построенные повыборкам X и Y,rmnρ(X, Y) =sup F∗n (y) − G∗m (y).m+n yТеорема 9. Если гипотеза H1 верна, то ρ(X, Y) ⇒ η при n, m → ∞, где η имеетраспределение с функцией распределения Колмогорова.pУпражнение. Доказать, что ρ(X, Y) −→ ∞ при n, m → ∞, если H2 верна.И снова: в таблице распределения Колмогорова по заданному ε найдем C такое,что ε = P (η > C), и построим критерий согласия Колмогорова — Смирнова:H1 , если ρ(X) < C,δ(X) =H2 , если ρ(X) > C.Замечание 23. Если есть более двух выборок, и требуется проверить гипотезу однородности, часто пользуются одним из вариантов критерия χ2 Пирсона.
Этот критерий (и ряд другихкритериев) рекомендую посмотреть в §3.4.2, с. 124 книги Г. И. Ивченко, Ю. И. Медведев. Математическая статистика. Москва, 1984, 248 с.8.5. Проверка гипотезы независимости: критерий χ2 ПирсонаЕсть выборка (X, Y) = (X1 , Y1 ), . . . , (Xn , Yn ) значений двух наблюдаемых совместно случайных величин X и Y в n независимых экспериментах. Проверяется гипотеза H1 = {X и Y независимы}.Введем k интервалов группировки ∆1 , . .
. , ∆k для значений X и m интерваловгруппировки ∇1 , . . . , ∇m для значений Y.ОглавлениеYJJIIJIНа стр. ... из 179X∆1...∆kkP∇1∇2...∇mmPПосчитаем эмпирические частоты:j=1Назадν1,1ν1,2...ν1,mν1,·νk,1νk,2......νk,mνk,·ν·,1ν·,2...ν·,mnνi,j = {число пар (Xl , Yl ), попавших в ∆i ×∇j },ν·,j = {число Yl , попавших в ∇j },νi,· = {число Xl , попавших в ∆i }.i=1Во весь экранЕсли гипотеза H1 верна, то теоретические вероятности попадания пары (X, Y) влюбую из областей ∆i × ∇j равны произведению вероятностей: для всех i и jpi,j = P (X, Y) ∈ ∆i × ∇j = P X ∈ ∆i · P Y ∈ ∇j = pxi · pyj .УйтиИменно эту гипотезу (назовем ее H10 ) мы в действительности и проверяем. По ЗБЧνi,· p x−→ pi ,nСтр. 146ν·,j p y−→ pi ,nνi,j p−→ pi,j .onνi,jνi,· ν·,jνi,· ν·,jПоэтому значительная разница междуи(или между νi,j и) может служитьnn nnоснованием для отклонения гипотезы независимости.oПусть2k XmXνi,j − (νi,· ν·,j )/nρ(X, Y) = n.νi,· ν·,j(26)i=1 j=1ОглавлениеТеорема 10.
Если гипотеза H1 верна, то ρ(X, Y) ⇒ H(k−1)(m−1) при n → ∞.JJIIJIНа стр. ... из 179НазадКритерий согласия асимптотического уровня ε строится обычным образом.Упражнение.Чтобы функция ρ и теорема 10 не падали с неба, убедитесь, что гипотеза H10есть гипотеза о принадлежности распределения выборки параметрическому семейству распределений сyвектором неизвестных параметров (px1 , . . . , pxk−1 , py1 , . . . , pm−1 ) размерности l=k+m−2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
