Н.И. Чернова - Математическая статистика (1115306), страница 13
Текст из файла (страница 13)
существуеттакое число c, что ∆c = PH1 (f2 (X)/f1 (X) = c) отлична от нуля. Это означает, что нанекотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношениеправдоподобия постоянно. Относя это множество целиком к критическому множеству илицеликом исключая из него, мы меняем вероятность ошибки первого рода (размер) критерияна положительную величину ∆c :PH1 (T (X) > c) = PH1 (T (X) > c) + PH1 (T (X) = c) = PH1 (T (X) > c) + ∆c .И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранномучислу ε, может случиться так, что критерий с критическим множеством S = {T (x) > c} имеетразмер больший, чем ε, а критерий с критическим множеством S = {T (x) > c} — размерменьший, чем ε.Поэтому для математиков, не читающих [1], мы сформулируем замечательно мощноеутверждение мелким шрифтом, зато в общем случае.
Затем для почти математиков сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия T (X)имеет при верной первой гипотезе непрерывную функцию распределения, т. е. ∆c = 0 длялюбого c.7.3.1.Из человеколюбияОпределение 26. Функция δ(X), принимающая значения в интервале [0, 1] в зависимости отзначений выборки, называется рандомизированным критерием. Значение этой функции трактуют как вероятность принять вторую (так удобнее) гипотезу в некотором дополнительномэксперименте. Т.
е., получив значение δ(X) = 3/4, мы должны дополнительно провести испытание с вероятностью успеха 3/4, и в случае успеха принять H2 , в случае неудачи — H1 .Значение δ(X) = 1 предписывает принять вторую гипотезу (с вероятностью 1, т. е. обязательно), а значение δ(X) = 0 предписывает не принимать вторую гипотезу, а принять первую.Напомним, что T (X) есть отношение правдоподобия, которое мы ввели в (18).Определение 27.0,δc,p (X) = p,1,Рандомизированный критерий, устроенный следующим образом:если T (X) < c, принимается H1 , если T (X) < c,если T (X) = c, = с вероятностью p принимается H2 , если T (X) = c,принимается H2 , если T (X) > c,если T (X) > c,называется критерием отношения правдоподобия (КОП).Размер и мощность КОП вычисляются по формуле полной вероятности.
Размер равенα1 (δc,p ) = PH1 (принять H2 ) = 1 · PH1 (T (X) > c) + p · PH1 (T (X) = c) = EH1 δc,p (X).62Мощность равна1 − α2 (δc,p ) = PH2 (принять H2 ) = 1 · PH2 (T (X) > c) + p · PH2 (T (X) = c) = EH2 δc,p (X).Вероятность ошибки второго рода можно найти и иначе:α2 (δc,p ) = PH2 (принять H1 ) = PH2 (T (X) < c) + (1 − p) · PH2 (T (X) = c) = 1 − EH2 δc,p (X).Лемма Неймана — Пирсона.
Существуют постоянные c и p, при которых критерий отношенияправдоподобия является1) минимаксным критерием; числа c и p следует выбрать так, чтобы вероятности ошибокпервого и второго рода были одинаковы: α1 (δc,p ) = α2 (δc,p );2) байесовским критерием при заданных априорных вероятностях r и s; число p может бытьлюбым, а c выбирается равным отношению r/s;3) для любого 0 < ε < 1 наиболее мощным критерием размера ε; числа c и p должны бытьвыбраны так, чтобы размер критерия равнялся ε:α1 (δc,p ) = PH1 (T (X) > c) + p · PH1 (T (X) = c) = ε.Мы не ограничиваем значения c областью c > 0. Возможность брать c = 0 (меньше бессмысленно, ибо T (x) > 0) избавляет от ограничения ε 6 PH1 (f2 (X) > 0) на возможный размер НМК. Это довольно сомнительное обобщение — ведь уже критерий δ(X) = I(f2 (X) > 0)имеет единичную мощность при размере равном PH1 (f2 (X) > 0).
Можно увеличивать размери дальше, но мощности расти уже некуда. Такой НМК будет принимать с положительнойвероятностью гипотезу H2 там, где она верна быть не может — в области f2 (x) = 0.7.3.2. Лемма Неймана — ПирсонаВсюду далее предполагается, чтоФункция R(c) = PH1 (T (X) > c) непрерывна по c при c > 0.(19)Функция R(c) есть просто хвост функции распределения случайной величины T (X):R(c) = 1 − PH1 (T (X) < c).Ее непрерывность означает, что величина ∆c = PH1 (T (X) = c) равна нулю длялюбого c > 0. Это предположение избавляет нас от необходимости рассматриватьрандомизированные критерии.
Итак,Определение 28. В предположении (19) критерийf2 (X1 , . . . , Xn )H1 , если T (X) < c, H1 , если f1 (X1 , . . . , Xn ) < c,δc (X) ==f2 (X1 , . . . , Xn )H2 , если T (X) > c, > c,H2 , еслиf1 (X1 , . . . , Xn )назовем критерием отношения правдоподобия (КОП).Размер и вероятность ошибки второго рода этого критерия равны соответственноα1 (δc ) = PH1 (T (X) > c) = R(c);α2 (δc ) = PH2 (T (X) < c).63Лемма Неймана — Пирсона. Пусть выполнено (19). Тогда существует постоянная c,при которой критерий отношения правдоподобия является1) минимаксным критерием; число c следует выбрать так, чтобы вероятности ошибокпервого и второго рода были одинаковы: α1 (δc ) = α2 (δc );2) байесовским критерием при заданных априорных вероятностях r и s; число c выбирается равным отношению r/s;3) для любого 0 < ε 6 PH1 (f2 (X) > 0) наиболее мощным критерием размера ε;число c должно быть выбрано так, чтобы размер критерия равнялся ε: α1 (δc ) = ε.Доказательство.
Доказать достаточно два утверждения: существование постоянной c,удовлетворяющей первому и третьему пунктам леммы, и оптимальность соответствующего критерия. Начнем с третьего пункта.1. Докажем, что для любого 0 < ε 6 PH1 (f2 (X) > 0) существует постоянная c такая,что R(c) = α1 (δc ) = ε.Функция R(c) = PH1 (T (X) > c) не возрастает по c. Предел R(c) при c→∞ равеннулю, поскольку событие {T (X) = ∞} = {f1 (X) = 0} имеет нулевую вероятностьPH1 (f1 (X) = 0) = 0. Заметим также, чтоR(+0) = PH1 (T (X) > 0) = PH1 (f2 (X) > 0) > ε.Итак, R(c) непрерывно меняется от R(+0) до 0, поэтому для любого 0 < ε 6 R(+0)существует c такое, что R(c) = α1 (δc ) = ε.2.
Для первого пункта докажем существование такой c, что α1 (δc ) = α2 (δc ).Функция α2 (δc ) = PH2 (T (X) < c), в отличие от R(c), не убывает по c. К тому жепри c → 0 величина α2 (δc ) стремится к PH2 (T (X) = 0) = PH2 (f2 (X) = 0) = 0.Она тоже, подобно R(c), при c > 0 непрерывна по c из-за предположения (19):ZZf1 (y) dy = cPH1 (T (X) = c) = 0.f2 (y) dy = cPH2 (T (X) = c) ={f2 (y)=cf1 (y)}{f2 (y)=cf1 (y)}Поэтому функции R(c) = α1 (δc ) и α2 (δc ) пересекаются хотя бы однажды.3.
Далее нам потребуется следующее красивое равенство.Лемма 2.Введем функцию φ(y) = min { f2 (y), c f1 (y) }. Для нееZα2 (δc ) + cα1 (δc ) =φ(y) dy.IRnДоказательство.Zα2 (δc )+cα1 (δc ) = PH2 (T (X) < c)+cPH1 (T (X) > c) =Zf2 (y) dy+c{T (y)<c}f1 (y) dy.{T (y)>c}Но на множестве {T (y) < c} = {f2 (y) < cf1 (y)} подынтегральная функция f2 (y)совпадает с φ(y). И на множестве {T (y) > c} = {f2 (y) > cf1 (y)} подынтегральная64функция cf1 (y) тоже совпадает с φ(y).
Продолжая цепочку равенств, получимZZZφ(y) dy =φ(y) dy.φ(y) dy +α2 (δc ) + cα1 (δc ) ={T (y)>c}{T (y)<c}IRnПусть δ — любой другой критерий. Лемма 2 влечет странное следствие:Следствие 4.Каково бы ни было c > 0, вероятности ошибок любогокритерия δ связаны с вероятностями ошибок КОП δc неравенствомα2 (δ) + cα1 (δ) > α2 (δc ) + cα1 (δc ).(20)Доказательство. Рассматривая для краткости нерандомизированный критерий δ,получимZZα2 (δ) + cα1 (δ) =f2 (y) dy + cf1 (y) dy >{δ(y)=H1}Z>φ(y) dy +{δ(y)=H1}{δ(y)=H2}ZZφ(y) dy ={δ(y)=H2}φ(y) dy = α2 (δc ) + cα1 (δc ).IRn4.
Используя неравенство (20), докажем оптимальность КОП во всех трех смыслах.I. Пусть c таково, что α1 (δc ) = α2 (δc ) = max{α1 (δc ), α2 (δc )}. Тогда правая частьнеравенства (20) равна (1 + c) max{α1 (δc ), α2 (δc )}, и для любого иного критерия δ(1 + c) max{α1 (δc ), α2 (δc )} 6 α2 (δ) + cα1 (δ) 6 (1 + c) max{α1 (δ), α2 (δ)}.Итак, max{α1 (δc ), α2 (δc )} 6 max{α1 (δ), α2 (δ)}, т.
е. δc — минимаксный.II. Пусть c = r/s и s 6= 0. Тогда для любого иного критерия δ неравенство (20)превращается в определение байесовского критерия:rrα2 (δ) + α1 (δ) 6 α2 (δc ) + α1 (δc ), или sα2 (δ) + rα1 (δ) 6 sα2 (δc ) + rα1 (δc ).ssЕсли же s = 0, то c = ∞. Тогда КОП имеет нулевой размер и автоматическиявляется байесовским.III. Пусть c таково, что α1 (δc ) = ε. Любой иной критерий δ из класса Kε имеетразмер α1 (δ) 6 ε. Используя в неравенстве (20) оба этих размера, получимα2 (δc ) + cε = α2 (δc ) + cα1 (δc ) 6 α2 (δ) + cα1 (δ) 6 α2 (δ) + cε.Итак, α2 (δc ) 6 α2 (δ), т.
е. δc — НМК в классе Kε .Наконец лемма Неймана — Пирсона доказана.65Пример 31. Имеется выборка X1 , . . . , Xn из нормального распределения со средним a и единичной дисперсией. Построим минимаксный, байесовский для r = 1/3,s = 2/3 и наиболее мощный размера ε критерии для проверки гипотезы H1 = {a = a1 }против альтернативы H2 = {a = a2 }, где a1 < a2 .Отношение правдоподобия имеет абсолютно непрерывное распределение при любой из гипотез, поэтому критерий отношения правдоподобия 28 будет нерандомизированным, и достаточноописать только его критическую область δ(X) = H2 . Она определяется неравенством nnf2 (X)1X1X22T (X) =(Xi − a1 ) −(Xi − a2 )> c.(21)= expf1 (X)22i=1i=1Критерий будет байесовским при c = r/s = 1/2.
Упростим неравенство (21). Получимδ(X) = H2приX>122 (a2− a21 ) −a2 − a11nln 2Например, при a1 = 0 и a2 = 1 критическая область имеет вид X >.12−1nln 2.Чтобы построить минимаксный и наиболее мощный критерии, запишем неравенство (21) вэквивалентном виде X > c1 , и искать будем c1 , а не c. Размер и вероятность ошибки второгорода равны соответственно√√√α1 (δ) = PH1 X > c1 = PH1 √n (X−a1 ) > √ n (c1 −a1 ) = 1 − Φ√n (c1 −a),0,11α2 (δ) = PH2 X < c1 = PH2 n (X−a2 ) < n (c1 −a2 ) = Φ0,1 n (c1 −a2 ) .√При α1 (δ)=ε получим НМК размера ε. Отсюда n(c1 −a1 ) = τ1−ε , где τ1−ε — квантиль√уровня 1 − ε стандартного нормального распределения.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
