Математическая статистика (PDF), страница 14

. . , Xn ) =nYi=1f2 (Xi )Предполагается, что распределения F1 и F2 либо оба дискретны, либо оба абсолютно непрерывны.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранЗамечание 17. Если одно из распределений дискретно, а другое абсолютно непрерывно, товсегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мырассматривать не будем. Математики вместо этого могут предполагать, что оба распределенияабсолютно непрерывны относительно одной и той же σ-конечной меры и имеют относительнонее плотности f1 (y) и f2 (y).Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия.Напомню, что функция правдоподобия есть плотность распределения выборки.Обратимся к примеру 30. Естественным кажется принимать вторую гипотезу, еслиX1 лежит правее точки пересечения плотностей c = 1/2.

То есть там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерийсравнивает отношение f2 (x1 , . . . , xn )/f1 (x1 , . . . , xn ) с единицей, относя к критическойобласти ту часть IRn , где это отношение больше единицы. Заметим, что при этом мыполучим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.УйтиСтр. 122Если же нужно получить критерий c заранее заданным размером α1 = ε, либоиметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр: там, где вторая плотностьв c раз превосходит первую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2 (x1 , .

. . , xn )/f1 (x1 , . . . , xn ) не с единицей, а с некоторойпостоянной c.Назовем отношением правдоподобия частноеT (x) = T (x1 , . . . , xn ) =ОглавлениеJJIIJIНа стр. ... из 179Назадf2 (x1 , . . . , xn ),f1 (x1 , . . . , xn )(18)рассматривая его лишь при таких значениях x, когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.Конструкция критерия, который мы живописали выше, сильно усложнится в случае,когда распределение случайной величины T (X) не является непрерывным, т. е. существуеттакое число c, что ∆c = PH1 (f2 (X)/f1 (X) = c) отлична от нуля.

Это означает, что нанекотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношениеправдоподобия постоянно. Относя это множество целиком к критическому множеству илицеликом исключая из него, мы меняем вероятность ошибки первого рода (размер) критерияна положительную величину ∆c :Во весь экранPH1 (T (X) > c) = PH1 (T (X) > c) + PH1 (T (X) = c) = PH1 (T (X) > c) + ∆c .УйтиСтр. 123И если вдруг мы захотим приравнять вероятность ошибки первого рода к заранее выбранномучислу ε, может случиться так, что критерий с критическим множеством S = {T (x) > c} имеетразмер больший, чем ε, а критерий с критическим множеством S = {T (x) > c} — размерменьший, чем ε.Поэтому для математиков, не читающих [1], мы сформулируем замечательно мощноеутверждение мелким шрифтом, зато в общем случае.

Затем для почти математиков сформулируем и докажем частный, но наиболее частый случай, когда отношение правдоподобия T (X)имеет при верной первой гипотезе непрерывную функцию распределения, т. е. ∆c = 0 длялюбого c.7.3.1. Из человеколюбияОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранОпределение 26. Функция δ(X), принимающая значения в интервале [0, 1] в зависимости отзначений выборки, называется рандомизированным критерием. Значение этой функции трактуют как вероятность принять вторую (так удобнее) гипотезу в некотором дополнительномэксперименте. Т.

е., получив значение δ(X) = 3/4, мы должны дополнительно провести испытание с вероятностью успеха 3/4, и в случае успеха принять H2 , в случае неудачи — H1 .Значение δ(X) = 1 предписывает принять вторую гипотезу (с вероятностью 1, т. е. обязательно), а значение δ(X) = 0 предписывает не принимать вторую гипотезу, а принять первую.Напомним, что T (X) есть отношение правдоподобия, которое мы ввели в (18).Определение 27.0,δc,p (X) = p,1,Рандомизированный критерий, устроенный следующим образом:если T (X) < c, принимается H1 , если T (X) < c,если T (X) = c, = с вероятностью p принимается H2 , если T (X) = c,если T (X) > c,принимается H2 , если T (X) > c,называется критерием отношения правдоподобия (КОП).УйтиРазмер и мощность КОП вычисляются по формуле полной вероятности. Размер равенСтр.

124α1 (δc,p ) = PH1 (принять H2 ) = 1 · PH1 (T (X) > c) + p · PH1 (T (X) = c) = EH1 δc,p (X).Мощность равна1 − α2 (δc,p ) = PH2 (принять H2 ) = 1 · PH2 (T (X) > c) + p · PH2 (T (X) = c) = EH2 δc,p (X).Вероятность ошибки второго рода можно найти и иначе:ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранα2 (δc,p ) = PH2 (принять H1 ) = PH2 (T (X) < c) + (1 − p) · PH2 (T (X) = c) = 1 − EH2 δc,p (X).Лемма Неймана — Пирсона.

Существуют постоянные c и p, при которых критерий отношенияправдоподобия является1) минимаксным критерием; числа c и p следует выбрать так, чтобы вероятности ошибокпервого и второго рода были одинаковы: α1 (δc,p ) = α2 (δc,p );2) байесовским критерием при заданных априорных вероятностях r и s; число p может бытьлюбым, а c выбирается равным отношению r/s;3) для любого 0 < ε < 1 наиболее мощным критерием размера ε; числа c и p должны бытьвыбраны так, чтобы размер критерия равнялся ε:α1 (δc,p ) = PH1 (T (X) > c) + p · PH1 (T (X) = c) = ε.УйтиСтр. 125Мы не ограничиваем значения c областью c > 0. Возможность брать c = 0 (меньше бессмысленно, ибо T (x) > 0) избавляет от ограничения ε 6 PH1 (f2 (X) > 0) на возможный размер НМК.

Это довольно сомнительное обобщение — ведь уже критерий δ(X) = I(f2 (X) > 0)имеет единичную мощность при размере равном PH1 (f2 (X) > 0). Можно увеличивать размери дальше, но мощности расти уже некуда. Такой НМК будет принимать с положительнойвероятностью гипотезу H2 там, где она верна быть не может — в области f2 (x) = 0.7.3.2.Лемма Неймана — ПирсонаВсюду далее предполагается, чтоФункция R(c) = PH1 (T (X) > c) непрерывна по c при c > 0.Оглавление(19)Функция R(c) есть просто хвост функции распределения случайной величины T (X):R(c) = 1 − PH1 (T (X) < c).JJIIJIЕе непрерывность означает, что величина ∆c = PH1 (T (X) = c) равна нулю длялюбого c > 0.

Это предположение избавляет нас от необходимости рассматриватьрандомизированные критерии. Итак,На стр. ... из 179НазадВо весь экранУйтиОпределение 28. В предположении (19) критерийf2 (X1 , . . . , Xn )H1 , если T (X) < c, H1 , если f1 (X1 , . . . , Xn ) < c,δc (X) ==f2 (X1 , . . . , Xn )H2 , если T (X) > c, > c,H2 , еслиf1 (X1 , .

. . , Xn )назовем критерием отношения правдоподобия (КОП).Размер и вероятность ошибки второго рода этого критерия равны соответственноСтр. 126α1 (δc ) = PH1 (T (X) > c) = R(c);α2 (δc ) = PH2 (T (X) < c).Лемма Неймана — Пирсона. Пусть выполнено (19). Тогда существует постоянная c,при которой критерий отношения правдоподобия являетсяОглавление1) минимаксным критерием; число c следует выбрать так, чтобы вероятности ошибокпервого и второго рода были одинаковы: α1 (δc ) = α2 (δc );2) байесовским критерием при заданных априорных вероятностях r и s; число c выбирается равным отношению r/s;JJIIJI3) для любого 0 < ε 6 PH1 (f2 (X) > 0) наиболее мощным критерием размера ε;число c должно быть выбрано так, чтобы размер критерия равнялся ε: α1 (δc ) = ε.На стр. ... из 179НазадВо весь экранДоказательство.

Доказать достаточно два утверждения: существование постоянной c,удовлетворяющей первому и третьему пунктам леммы, и оптимальность соответствующего критерия. Начнем с третьего пункта.1. Докажем, что для любого 0 < ε 6 PH1 (f2 (X) > 0) существует постоянная c такая,что R(c) = α1 (δc ) = ε.УйтиФункция R(c) = PH1 (T (X) > c) не возрастает по c. Предел R(c) при c→∞ равеннулю, поскольку событие {T (X) = ∞} = {f1 (X) = 0} имеет нулевую вероятностьPH1 (f1 (X) = 0) = 0. Заметим также, чтоR(+0) = PH1 (T (X) > 0) = PH1 (f2 (X) > 0) > ε.Стр.

127Итак, R(c) непрерывно меняется от R(+0) до 0, поэтому для любого 0 < ε 6 R(+0)существует c такое, что R(c) = α1 (δc ) = ε.2. Для первого пункта докажем существование такой c, что α1 (δc ) = α2 (δc ).ОглавлениеФункция α2 (δc ) = PH2 (T (X) < c), в отличие от R(c), не убывает по c. К тому жепри c → 0 величина α2 (δc ) стремится к PH2 (T (X) = 0) = PH2 (f2 (X) = 0) = 0.Она тоже, подобно R(c), при c > 0 непрерывна по c из-за предположения (19):ZZPH2 (T (X) = c) =f2 (y) dy = cf1 (y) dy = cPH1 (T (X) = c) = 0.{f2 (y)=cf1 (y)}JJIIJI{f2 (y)=cf1 (y)}Поэтому функции R(c) = α1 (δc ) и α2 (δc ) пересекаются хотя бы однажды.3. Далее нам потребуется следующее красивое равенство.На стр. ... из 179НазадЛемма 2.Во весь экранВведем функцию φ(y) = min { f2 (y), c f1 (y) }.

Для нееZα2 (δc ) + cα1 (δc ) =φ(y) dy.IRnУйтиДоказательство.Zα2 (δc )+cα1 (δc ) = PH2 (T (X) < c)+cPH1 (T (X) > c) =Zf2 (y) dy+c{T (y)<c}Стр. 128f1 (y) dy.{T (y)>c}Но на множестве {T (y) < c} = {f2 (y) < cf1 (y)} подынтегральная функция f2 (y)совпадает с φ(y). И на множестве {T (y) > c} = {f2 (y) > cf1 (y)} подынтегральнаяфункция cf1 (y) тоже совпадает с φ(y). Продолжая цепочку равенств, получимZZZα2 (δc ) + cα1 (δc ) =φ(y) dy +φ(y) dy =φ(y) dy.{T (y)<c}{T (y)>c}IRnОглавлениеПусть δ — любой другой критерий. Лемма 2 влечет странное следствие:JJIIJIСледствие 4.Каково бы ни было c > 0, вероятности ошибок любогокритерия δ связаны с вероятностями ошибок КОП δc неравенствомНа стр.

... из 179α2 (δ) + cα1 (δ) > α2 (δc ) + cα1 (δc ).Назад(20)Во весь экранУйтиДоказательство. Рассматривая для краткости нерандомизированный критерий δ,получимZZα2 (δ) + cα1 (δ) =f2 (y) dy + cf1 (y) dy >{δ(y)=H1}Z>Стр. 129φ(y) dy +{δ(y)=H1}{δ(y)=H2}ZZφ(y) dy ={δ(y)=H2}φ(y) dy = α2 (δc ) + cα1 (δc ).IRn4. Используя неравенство (20), докажем оптимальность КОП во всех трех смыслах.I. Пусть c таково, что α1 (δc ) = α2 (δc ) = max{α1 (δc ), α2 (δc )}. Тогда правая частьнеравенства (20) равна (1 + c) max{α1 (δc ), α2 (δc )}, и для любого иного критерия δОглавление(1 + c) max{α1 (δc ), α2 (δc )} 6 α2 (δ) + cα1 (δ) 6 (1 + c) max{α1 (δ), α2 (δ)}.Итак, max{α1 (δc ), α2 (δc )} 6 max{α1 (δ), α2 (δ)}, т.

е. δc — минимаксный.JJIIJIНа стр. ... из 179НазадII. Пусть c = r/s и s 6= 0. Тогда для любого иного критерия δ неравенство (20)превращается в определение байесовского критерия:rrα2 (δ) + α1 (δ) 6 α2 (δc ) + α1 (δc ), или sα2 (δ) + rα1 (δ) 6 sα2 (δc ) + rα1 (δc ).ssВо весь экранЕсли же s = 0, то c = ∞. Тогда КОП имеет нулевой размер и автоматическиявляется байесовским.УйтиIII. Пусть c таково, что α1 (δc ) = ε. Любой иной критерий δ из класса Kε имеетразмер α1 (δ) 6 ε. Используя в неравенстве (20) оба этих размера, получимα2 (δc ) + cε = α2 (δc ) + cα1 (δc ) 6 α2 (δ) + cα1 (δ) 6 α2 (δ) + cε.Итак, α2 (δc ) 6 α2 (δ), т. е. δc — НМК в классе Kε .Стр.