Н.И. Чернова - Лекции по матстату (1115348), страница 10
Текст из файла (страница 10)
Величину 1 − β назовеммощностью критерия:~ 6= H2 ) = PH (X~ ∈ Rn \S) def= β.α2 (δ) = PH (δ(X)22Мощность критерия можно записать следующим образом:~ = H2 ) = PH (X~ ∈ S).1 − β = PH2 (δ(X)2Заметим, что ошибки 1-го и 2-го рода вычисляются при разных предположениях о распределении(если верна H1 и если верна H2 ), так что никаких фиксированных соотношений (типа α = 1 − β, независимо от вида гипотез и вида критерия) между ними нет.Рассмотрим в качаества примера «крайний случай», когда независимо ни от чего всегда принимаетсяодна гипотеза.44~ ≡ H1 , то есть S =Ø. Тогда α = PH ( принять H2 ) =Пример 27. Имеются гипотезы H1 , H2 и критерий δ(X)10, β = PH2 ( принять H1 ) = 1.~ ≡ H2 , то есть S = Rn . Тогда α =Наоборот: пусть имеются гипотезы H1 , H2 и критерий δ(X)PH1 ( принять H2 ) = 1, β = PH2 ( принять H1 ) = 0.Примеры 27 и 28 показывают общую тенденцию: при попытке уменьшить одну из ошибок критериядругая, как правило, увеличивается.
А в упражнении после примера 28 приведено отклонение от этой«тенденции»: для заданного критерия можно построить и «очень плохой» критерий, у которого обе ошибки больше, чем у заданного.Пример 28. Имеется выборка объема 1 из нормального распределения Na,1 . Проверяются простыеH1 : a = 0,гипотезыИспользуется следующий критерий (при заданной постоянной c):H2 : a = 1.H1 , если X1 6 c,δ(X1 ) =H2 , если X1 > c.На графике изображены плотности, соответствующие гипотезам, и вероятности ошибок 1-го и 2-го родакритерия δ:α = PH1 (δ(X1 ) = H2 ) = PH1 (X1 > c),β = PH2 (δ(X1 ) = H1 ) = PH2 (X1 6 c).Рис. 8: Две простые гипотезы.Хорошо видно, что при c % ∞ вероятность ошибки 1-го рода α & 0, но вероятность ошибки 2-города β % 1.Упражнение.
Рассмотрим критерий следующего вида (c1 < c2 — постоянные):H1 , если X1 ∈ [c1 , c2 ],δ1 (X1 ) =H2 , если X1 6∈ [c1 , c2 ].Нарисовать на графике вероятности ошибок 1-го и 2-го рода критерия δ1 и убедиться, что при одной итой же вероятности ошибки 1-го рода критерий δ1 обладает большей вероятностью ошибки 2-го рода,чем критерий δ.Итак, два главных вывода:1. Критерий тем лучше, чем меньше вероятности ошибок.2. Сравнивать критерии по паре ошибок α(δ1 ) 6 α(δ2 ), β(δ1 ) 6 β(δ2 ) удается далеко не всегда.7.3Способы сравнения критериевОграничимся, для простоты, задачей сравнения двух простых гипотез.Пусть имеются критерии δ1 и δ2 с ошибками 1-го и 2-го рода α(δi ), β(δi ), i = 1, 2.Перечислим общепринятые подходы к сравнению критериев:1.
Минимаксный подход.Говорят, что критерий δ1 не хуже, чем δ2 (в смысле минимаксного подхода), если max{α(δ1 ), β(δ1 )} 6max{α(δ2 ), β(δ2 )}.45Определение 24. Критерий δ называют минимаксным критерием, если он лучше (не хуже) всех других критериев в смысле минимаксного подхода.Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшую ошибку» max{α(δ), β(δ)}среди всех прочих критериев.Упражнение. Убедиться, что в примере 28 критерий δ является минимаксным, если c = 1/2.2. Байесовский подход.Этот подход применяют в двух случаях:а) если известно априори, что с вероятностью p справедлива гипотеза H1 , а с вероятностью q = 1 − p —гипотеза H2 ,б) если задана линейная «функция потерь»: потери от ошибочного решения равны p, если происходитошибка 1-го рода, и равны q, если второго.
Здесь p + q уже не обязательно равно 1, но потери можносвести к единице нормировкой p/(p + q) и q/(p + q).Говорят, что критерий δ1 не хуже, чем δ2 (в смысле байесовского подхода), если pα(δ1 ) + qβ(δ1 ) 6pα(δ2 ) + qβ(δ2 ).Определение 25. Критерий δ называют байесовским критерием, если он лучше (не хуже) всех другихкритериев в смысле байесовского подхода.Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешенную ошибку» pα(δ) +qβ(δ) среди всех прочих критериев. По формуле полной вероятности это есть вероятность ошибки критерия в случае (а), или математическое ожидание потерь в случае (б).Упражнение.
Убедиться, что в примере 28 критерий δ является байесовским для p = q, если c = 1/2.3. Выбор наиболее мощного критерия.Ошибки 1-го и 2-го рода обычно неравноправны (см. пример 26, и пусть «изделие» = самолет или ядерный реактор). Поэтому возникает желание контролировать одну из ошибок (скажем, 1-го рода). Например, зафиксировать ее на достаточно низком (безопасном) уровне, и рассматривать только критерии стакой или еще меньшей вероятностью ошибки 1-го рода. Среди них наилучшим, очевидно, следует признать критерий, обладающий наименьшей вероятностью ошибки 2-го рода.~ : α(δ) 6 ε}Введем при ε ∈ [0, 1] класс критериев Kε = {δ(X)Определение 26. Критерий δ ∈ Kε называют наиболее мощным критерием (НМК) уровня ε (в классе Kε ), если β(δ) 6 β(δ0 ) для любого критерия δ0 ∈ Kε .Если имеется более двух гипотез, то сравнивать критерии в смысле определения 26 можно, если зафиксировать все ошибки, кроме одной.7.4 Построение НМК.
Лемма Неймана - ПирсонаМы рассмотрим подробно третий подход к сравнению критериев, и научимся строить наиболее мощныйкритерий заданного уровня.~ = (X1 , . . . , Xn ) — выборка (набор независимых, одинаково распределенных величин), иПусть Xимеются две гипотезы о распределении Xi :~ =H1 : X i ⊂= F1 с плотностью f1 (y), Ψ1 (X)nYf1 (Xi ) − функция правдоподобияnYf2 (Xi ) − функция правдоподобия1~ =H2 : X i ⊂= F2 с плотностью f2 (y), Ψ2 (X)1Предполагается, что распределения F1 , F2 либо оба дискретны, либо оба абсолютно непрерывны.46Замечание 19. Если данное предположение не выполнено, то всегда существует критерий с нулевыми вероятностями ошибок (см.
задачу 9.1 в задачнике [1]).Мы собираемся выбирать гипотезу в зависимости от отношения функций правдоподобия. Напомню,что функция правдоподобия есть плотность выборки.Если не ставить перед собой задачу получить определенное значение ошибки 1-го рода, этот подходвыглядит так: «там, где вторая плотность больше, выбираем 2-ю гипотезу, там, где первая — первую».Если же нужно получить критерий заданного уровня α = ε, то данный подход выглядит так: «там, гдевторая плотность в c больше первой, выбираем 2-ю гипотезу, иначе — первую».
При этом c выбираюттак, чтобы ошибка 1-го рода равнялась ε.~ = Ψ1 (X)~ – в первом случае, или Ψ2 (X)~ =Проблема возникает лишь в том случае, когда Ψ2 (X)~cΨ1 (X) – во втором.Если такое событие имеет нулевую вероятность, то можно выбирать любую гипотезу, и это никак нескажется на ошибках.Если же это событие происходит с положительной вероятностью, то при попадании выборки в этуобласть мы не знаем какую из гипотез предпочесть — они «равновозможны».
В этом случае нет болееразумного подхода, чем подбросить монету и выбрать одну из гипотез наудачу (не обязательно с равнымивероятностями – это зависит от требуемой ошибки 1-го рода).Итак,Лемма 11 (Нейман, Пирсон). Для любого ε ∈ [0, 1] НМК уровня ε существует и совпадает скритерием отношения правдоподобия:~Ψ2 (X)~ = H1< c |=⇒ δ(X) если~Ψ1 (X)~Ψ2 (X)~ = H2если> c |=⇒ δ(X)~Ψ1 (X)~~ = H2 с вероятностью p,Ψ2 (X)δ(X)=c|=⇒если~ = H1 с вероятностью 1 − p,~δ(X)Ψ1 (X)при этом c и p определяются из уравнения α(δ) = ε, или!~Ψ(X)2~ = H2 ) = PHα(δ) = PH1 (δ(X)> c + p · PH11~Ψ1 (X)!~Ψ2 (X)= c = ε.~Ψ1 (X)(12)~~~~~Замечание 20. Отношение Ψ2 (X)/Ψ1 (X) рассматривается только при X таких что Ψ1 (X)+Ψ2 (X) >0. Напоминаю, что c/∞ = 0, c/0 = ∞ (все постоянные и «нули» здесь положительны).Следующие замечание и определение предназначены тем, кто заметил несоответствие формулировкилеммы здесь и в любом учебнике (например, в [2]) и собирается пользоваться классической, а не упрощенной формой НМК.Замечание 21.
На самом деле критерий, предлагаемый в теореме, не является критерием в смыслеопределения 21. Это не просто функция из Rn в {H1 , H2 }, но случайная функция (т.е. зависящая еще иот результата некоторого случайного эксперимента).Введем понятие рандомизированного критерия.~ наОпределение 27. Пусть имеются гипотезы H1 , H2 . Рандомизированным критерием π = π(X)зывается функцияπ : Rn → [0, 1],~ ∈ Rn равная вероятности принять гипотезу H2 .при каждом X47Если использовать определение 27, критерий отношения правдоподобия в лемме Неймана - Пирсонапримет вид:~Ψ2 (X)0, если<c~Ψ1 (X)~~ = 1, если Ψ2 (X) > cπ(X)~Ψ1 (X)~Ψ2 (X)= c, p, если~Ψ1 (X)где c и p по-прежнему определяются из уравнения α(π) = ε, которое можно записать так:!!~~Ψ2 (X)Ψ2 (X)~ = ε.α(π) = PH1> c + p · PH1= c = EH1 (π(X))~~Ψ1 (X)Ψ1 (X)7.5Доказательство леммы Неймана - Пирсона1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
