1612725170-d2dcc605205feb3d5b9a0101f2221951 (828894), страница 14
Текст из файла (страница 14)
Но если сравнивать критерии по двум вероятностям ошибок одновременно, чтобыαi (δ1 ) 6 αi (δ2 )приi = 1, 2,то слишком многие критерии окажутся несравнимыми. Например, рассмотрим два крайних случая, когда критерий, независимо от выборки,всегда принимает одну и ту же гипотезу.~ ≡ H1 всегда выбирает первуюП р и м е р 36. Пусть критерий δ(X)гипотезу.
Тогда α1 = PH1 (δ = H2 ) = 0, α2 = PH2 (δ = H1 ) = 1.~ ≡ H2 всегда выбирает вторую гипотеНаоборот: пусть критерий δ(X)зу. Тогда α1 = PH1 (δ = H2 ) = 1, α2 = PH2 (δ = H1 ) = 0.§ 2. Подходы к сравнению критериев83П р и м е р 37. Имеется выборка объёма n = 1 из нормального распределения Na, 1 и две простые гипотезы H1 = {a = 0} и H2 = {a = 1}.Рассмотрим при некотором b ∈ R следующий критерий:(H1 , если X1 6 b,δ(X1 ) =H2 , если X1 > b.Изобразим на графике (рис.
10) соответствующие гипотезам плотностираспределений и вероятности ошибок первого и второго рода критерия δα1 = PH1 (X1 > b),α2 = PH2 (X1 6 b).N0,1N1,1α20α1b1Рис. 10. Две простые гипотезыВидим, что с ростом числа b вероятность ошибки первого рода α1уменьшается, но вероятность ошибки второго рода α2 растёт.Итак, примеры 36 и 37 показывают общую тенденцию: при попыткеуменьшить одну из вероятностей ошибок другая, как правило, увеличива~ ∈ S) за счёт сужения критическойется. Так, если уменьшать α1 = PH1 (Xобласти S, то одновременно будет расти вероятность ошибки второго рода~ ∈ S).и уменьшаться мощность критерия 1 − α2 = PH2 (XПеречислим общепринятые подходы к сравнению критериев.
Ограничимся для простоты задачей проверки двух простых гипотез. Пусть имеются критерии δ и ρ с вероятностями ошибок первого и второго родаα1 (δ), α2 (δ) и α1 (ρ), α2 (ρ).Минимаксный подход. Говорят, что критерий δ не хуже критерия ρ всмысле минимаксного подхода, еслиmax{α1 (δ), α2 (δ)} 6 max{α1 (ρ), α2 (ρ)}.О п р е д е л е н и е 25. Критерий δ называется минимаксным, если онне хуже всех других критериев в смысле минимаксного подхода.Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшую ошибку» max{α1 (δ), α2 (δ)} среди всех прочих критериев.84ГЛАВА VII. ПРОВЕРКА ГИПОТЕЗУ п р а ж н е н и е . Убедиться, что в примере 37 критерий δ при b = 1/2является минимаксным.Байесовский подход.
Этот подход применяют в следующих случаях:а) если известно априори, что с вероятностью r верна гипотеза H1 , а с вероятностью s = 1 − r — гипотеза H2 ; б) если задана линейная «функцияпотерь»: потери от ошибочного решения равны r, если происходит ошибка первого рода, и равны s, если второго. Здесь r + s уже не обязательноравно 1, но потери можно свести к единице нормировкой r0 = r/(r + s)и s0 = s/(r + s).Пусть априорные вероятности или потери r и s заданы. Говорят, чтокритерий δ не хуже критерия ρ в смысле байесовского подхода, еслиrα1 (δ) + sα2 (δ) 6 rα1 (ρ) + sα2 (ρ).О п р е д е л е н и е 26. Критерий δ называют байесовским, если онне хуже всех других критериев в смысле байесовского подхода.Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешенную ошибку» rα1 (δ)+sα2 (δ) среди всех прочих критериев.
По формуле полной вероятности это есть вероятность ошибки критерия в случае(а) или математическое ожидание потерь в случае (б).У п р а ж н е н и е . Убедиться, что в примере 37 критерий δ при b = 1/2является байесовским для r = s.Выбор наиболее мощного критерия. Ошибки первого и второго родаобычно неравноправны. Поэтому возникает желание контролировать однуиз ошибок. Например, зафиксировать вероятность ошибки первого родана достаточно низком (безопасном) уровне и рассматривать только критерии с такой же или ещё меньшей вероятностью этой ошибки. Срединих наилучшим следует признать критерий c наименьшей вероятностьюошибки второго рода.~ | α1 (δ) 6 ε}.Введём при ε ∈ [0, 1] класс критериев Kε = { δ(X)О п р е д е л е н и е 27. Критерий δ0 ∈ Kε называют наиболее мощнымкритерием (НМК) размера ε , если α2 (δ0 ) 6 α2 (δ) для любого другогокритерия δ ∈ Kε .В следующем параграфе мы рассмотрим способы построения оптимальных критериев.
Оказывается, все оптимальные критерии (минимаксные,байесовские, наиболее мощные) могут быть построены простым выборомразличных констант в некотором универсальном критерии — критерииотношения правдоподобия.§ 3. Построение оптимальных критериев85§ 3.
Построение оптимальных критериев~ = (X1 , . . . , Xn ) соКритерий отношения правдоподобия. Выборка Xстоит из независимых и одинаково распределённых величин, про распределение которых возможны только две гипотезы:= F1 } иH1 = {Xi ⊂= F2 }.H2 = {Xi ⊂Пусть f1 (y) и f2 (y) — плотности распределений F1 и F2 соответственно.Термин «плотность» здесь понимается в смысле равенства (6) на с. 27.Построим функции правдоподобия для этих распределений:nnYY~~f1 (X) =f1 (Xi ) и f2 (X) =f2 (Xi ).i=1i=1Пусть выполнено предположение (I).(I) Распределения F1 и F2 либо оба дискретны, либо оба абсолютнонепрерывны.З а м е ч а н и е 16.
Если одно из распределений дискретно, а другое абсолютно непрерывно, то всегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мы рассматривать не будем.Математики вместо (I) могут предполагать, что оба распределения абсолютно непрерывны относительно одной и той же σ -конечной меры и имеют относительно неё плотности f1 (y) и f2 (y).Мы будем выбирать гипотезу в зависимости от отношения функцийправдоподобия. Обратимся к примеру 37.
Естественным кажется принимать вторую гипотезу, если X1 лежит правее точки пересечения плотностей b = 1/2: там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерий сравнивает отношение f2 (x1 , . . . , xn )/f1 (x1 , . . . , xn ) с единицей, относя к критическойобласти ту часть Rn , где это отношение больше единицы. Заметим, чтопри этом мы получим ровно один, не обязательно оптимальный, критерийс некоторым фиксированным размером и мощностью.Если нужно получить критерий c заранее заданным размером α1 = ε,либо иметь возможность варьировать и размер, и мощность критерия, тоследует рассмотреть класс похожим образом устроенных критериев, введясвободный параметр: там, где вторая плотность в c раз превосходитпервую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2 (x1 , . . . , xn )/f1 (x1 , .
. . , xn ) не с единицей, а с некоторойпостоянной c.86ГЛАВА VII. ПРОВЕРКА ГИПОТЕЗНазовём отношением правдоподобия частноеT (~x) = T (x1 , . . . , xn ) =f2 (x1 , . . . , xn ),f1 (x1 , . . . , xn )(21)рассматривая его лишь при таких значениях ~x, когда хотя бы одна изплотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.Конструкция критерия, который мы описали выше, сильно усложнит~ не являетсяся в случае, когда распределение случайной величины T (X)непрерывным, т.
е. существует такоечисло c, вероятность попасть в кото~~рое ∆c = PH1 f2 (X)/f1 (X) = c отлична от нуля. Это означает, что нанекотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение правдоподобия постоянно. Относя это множествоцеликом к критическому множеству или целиком исключая из него, мыменяем вероятность ошибки первого рода (размер) критерия сразу на положительную величину ∆c :~ > c) = PH (T (X)~ > c) + PH (T (X)~ = c) = PH (T (X)~ > c) + ∆c .PH (T (X)1111И если вдруг мы захотим приравнять размер критерия заранее выбранному числу ε, может случиться так, что у критерия с критическим множеством S = {T (~x) > c} размер превысит ε, а у критерия с критическиммножеством S = {T (~x) > c} размер будет меньше, чем ε.Чтобы избежать этой искусственной проблемы, предположим (II).~ > c) непрерывна по c при c > 0.(II) Функция R(c) = PH1 (T (X)Здесь R(c) есть просто хвост функции распределения случайной вели~ вычисленной при верной первой гипотезе:чины T (X),~ < c).R(c) = 1 − PH1 (T (X)~ = c) равнаЕё непрерывность означает, что величина ∆c = PH1 (T (X)нулю для любого c > 0.О п р е д е л е н и е 28.
В условиях предположений (I), (II) критерий(f (X , . . . , Xn )~ < c, H1 , если 2 1< c,H1 , если T (X)f1 (X1 , . . . , Xn )~δc (X) ==~ >cH2 , если f2 (X1 , . . . , Xn ) > cH2 , если T (X)f1 (X1 , . . . , Xn )назовём критерием отношения правдоподобия (КОП). Размер и вероятность ошибки второго рода этого критерия равны соответственно~ > c) = R(c),~ < c).α1 (δc ) = PH (T (X)α2 (δc ) = PH (T (X)12§ 3. Построение оптимальных критериев87Явный вид оптимальных критериев. Следующая теорема утверждает,что все оптимальные критерии суть критерии отношения правдоподобия.Третье утверждение теоремы называют леммой Неймана — Пирсона.Т е о р е м а 21.
Пусть выполнены предположения (I) и (II). Тогда критерий отношения правдоподобия является1) минимаксным критерием при c таком, что α1 (δc ) = α2 (δc );2) байесовским критерием при заданных априорных вероятностяхr и s, если c = r/s;~ > 0), если c выбрано так,3) НМК размера ε, где 0 < ε 6 PH1(f2 (X)что α1 (δc ) = ε.У п р а ж н е н и е . Прочитать доказательство теоремы 21 в [1, § 2, гл. 3].П р и м е р 38. Дана выборка X1 , . . .
, Xn из нормального распределения со средним a и единичной дисперсией. Построим минимаксный,байесовский при r = 1/3, s = 2/3 и наиболее мощный критерии для проверки гипотезы H1 = {a = a1 } против альтернативы H2 = {a = a2 }, гдеa1 < a 2 .Отношение правдоподобия имеет абсолютно непрерывное распределение при любой из гипотез, поэтому условие (II) выполнено. Построим критерий отношения правдоподобия. Достаточно описать его критическую~ = H2 }. Она определяется неравенствомобласть S = {δ(X))( nnXX~1~ = f2 (X) = exp 1(Xi − a1 )2 −(Xi − a2 )2 > c.
(22)T (X)~f1 (X)22i=1i=1Критерий будет байесовским при c = r/s = 1/2. Упростим неравенство (22). Получим~ = H2δ(X)приX>a1 + a2ln 2−.2n(a2 − a1 )Чтобы построить минимаксный и наиболее мощный критерии, запишемнеравенство (22) в эквивалентном виде X > c1 , и искать будем c1 , а не c.Размер и вероятность ошибки второго рода равны соответственно√√α1 (δ) = PH1 X > c1 = PH1n (X−a1 ) > n (c1 −a1 ) =√= 1 − Φ0,1 n (c1 −a1 ) ,√√α2 (δ) = PH2 X < c1 = PH2n (X−a2 ) < n (c1 −a2 ) =√= Φ0,1 n (c1 −a2 ) .88ГЛАВА VII. ПРОВЕРКА ГИПОТЕЗ√Равенство α1 (δ) = ε означает, что n(c1 −a1 ) = τ1−ε , где τ1−ε — квантиль уровня 1 − ε стандартногонормального распределения.
Тогда выра√зим c1 = a1 + τ1−ε / n. Получим НМК размера ε~ = H2δ(X)приτ1−εX > a1 + √.nПри α1 (δ) = α2 (δ) получим минимаксный критерий. Пользуясь свойствами функции распределения стандартного нормального закона, запишем√√√1 − Φ0,1 n (c1 − a1 ) = Φ0,1 n (c1 − a2 ) = 1 − Φ0,1 n (a2 − c1 ) ,откуда c1 − a1 = a2 − c1 и c1 = (a1 + a2 )/2. Минимаксный критерий имеетвид~ = H2 при X > a1 + a2 .δ(X)2П р и м е р 39.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
