Н.И. Чернова - Математическая статистика (1119916), страница 15
Текст из файла (страница 15)
Ограничимся для простоты задачей проверки двух простых гипотез. Пусть имеются критерии δ и ρ с вероятностями ошибок первого и второго родаα1 (δ), α2 (δ) и α1 (ρ), α2 (ρ).Минимаксный подход. Говорят, что критерий δ не хуже критерия ρ всмысле минимаксного подхода, еслиmax{α1 (δ), α2 (δ)} 6 max{α1 (ρ), α2 (ρ)}.О п р е д е л е н и е 25. Критерий δ называется минимаксным, если онне хуже всех других критериев в смысле минимаксного подхода.Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшую ошибку» max{α1 (δ), α2 (δ)} среди всех прочих критериев.84ГЛАВА VII.
ПРОВЕРКА ГИПОТЕЗУ п р а ж н е н и е . Убедиться, что в примере 37 критерий δ при b = 1/2является минимаксным.Байесовский подход. Этот подход применяют в следующих случаях:а) если известно априори, что с вероятностью r верна гипотеза H1 , а с вероятностью s = 1 − r — гипотеза H2 ; б) если задана линейная «функцияпотерь»: потери от ошибочного решения равны r, если происходит ошибка первого рода, и равны s, если второго. Здесь r + s уже не обязательноравно 1, но потери можно свести к единице нормировкой r0 = r/(r + s)и s0 = s/(r + s).Пусть априорные вероятности или потери r и s заданы. Говорят, чтокритерий δ не хуже критерия ρ в смысле байесовского подхода, еслиrα1 (δ) + sα2 (δ) 6 rα1 (ρ) + sα2 (ρ).О п р е д е л е н и е 26.
Критерий δ называют байесовским, если онне хуже всех других критериев в смысле байесовского подхода.Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешенную ошибку» rα1 (δ)+sα2 (δ) среди всех прочих критериев. По формуле полной вероятности это есть вероятность ошибки критерия в случае(а) или математическое ожидание потерь в случае (б).У п р а ж н е н и е . Убедиться, что в примере 37 критерий δ при b = 1/2является байесовским для r = s.Выбор наиболее мощного критерия. Ошибки первого и второго родаобычно неравноправны. Поэтому возникает желание контролировать однуиз ошибок. Например, зафиксировать вероятность ошибки первого родана достаточно низком (безопасном) уровне и рассматривать только критерии с такой же или ещё меньшей вероятностью этой ошибки.
Срединих наилучшим следует признать критерий c наименьшей вероятностьюошибки второго рода.~ | α1 (δ) 6 ε}.Введём при ε ∈ [0, 1] класс критериев Kε = { δ(X)О п р е д е л е н и е 27. Критерий δ0 ∈ Kε называют наиболее мощнымкритерием (НМК) размера ε , если α2 (δ0 ) 6 α2 (δ) для любого другогокритерия δ ∈ Kε .В следующем параграфе мы рассмотрим способы построения оптимальных критериев. Оказывается, все оптимальные критерии (минимаксные,байесовские, наиболее мощные) могут быть построены простым выборомразличных констант в некотором универсальном критерии — критерииотношения правдоподобия.§ 3.
Построение оптимальных критериев85§ 3. Построение оптимальных критериев~ = (X1 , . . . , Xn ) соКритерий отношения правдоподобия. Выборка Xстоит из независимых и одинаково распределённых величин, про распределение которых возможны только две гипотезы:= F1 } иH1 = {Xi ⊂= F2 }.H2 = {Xi ⊂Пусть f1 (y) и f2 (y) — плотности распределений F1 и F2 соответственно.Термин «плотность» здесь понимается в смысле равенства (6) на с. 27.Построим функции правдоподобия для этих распределений:nnYY~~f1 (X) =f1 (Xi ) и f2 (X) =f2 (Xi ).i=1i=1Пусть выполнено предположение (I).(I) Распределения F1 и F2 либо оба дискретны, либо оба абсолютнонепрерывны.З а м е ч а н и е 16.
Если одно из распределений дискретно, а другое абсолютно непрерывно, то всегда существует критерий с нулевыми вероятностями ошибок. Смешанные распределения мы рассматривать не будем.Математики вместо (I) могут предполагать, что оба распределения абсолютно непрерывны относительно одной и той же σ -конечной меры и имеют относительно неё плотности f1 (y) и f2 (y).Мы будем выбирать гипотезу в зависимости от отношения функцийправдоподобия. Обратимся к примеру 37. Естественным кажется принимать вторую гипотезу, если X1 лежит правее точки пересечения плотностей b = 1/2: там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерий сравнивает отношение f2 (x1 , .
. . , xn )/f1 (x1 , . . . , xn ) с единицей, относя к критическойобласти ту часть Rn , где это отношение больше единицы. Заметим, чтопри этом мы получим ровно один, не обязательно оптимальный, критерийс некоторым фиксированным размером и мощностью.Если нужно получить критерий c заранее заданным размером α1 = ε,либо иметь возможность варьировать и размер, и мощность критерия, тоследует рассмотреть класс похожим образом устроенных критериев, введясвободный параметр: там, где вторая плотность в c раз превосходитпервую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2 (x1 , .
. . , xn )/f1 (x1 , . . . , xn ) не с единицей, а с некоторойпостоянной c.86ГЛАВА VII. ПРОВЕРКА ГИПОТЕЗНазовём отношением правдоподобия частноеT (~x) = T (x1 , . . . , xn ) =f2 (x1 , . . . , xn ),f1 (x1 , . . . , xn )(21)рассматривая его лишь при таких значениях ~x, когда хотя бы одна изплотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.Конструкция критерия, который мы описали выше, сильно усложнит~ не являетсяся в случае, когда распределение случайной величины T (X)непрерывным, т. е. существует такоечисло c, вероятность попасть в кото~~рое ∆c = PH1 f2 (X)/f1 (X) = c отлична от нуля.
Это означает, что нанекотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношение правдоподобия постоянно. Относя это множествоцеликом к критическому множеству или целиком исключая из него, мыменяем вероятность ошибки первого рода (размер) критерия сразу на положительную величину ∆c :~ > c) = PH (T (X)~ > c) + PH (T (X)~ = c) = PH (T (X)~ > c) + ∆c .PH (T (X)1111И если вдруг мы захотим приравнять размер критерия заранее выбранному числу ε, может случиться так, что у критерия с критическим множеством S = {T (~x) > c} размер превысит ε, а у критерия с критическиммножеством S = {T (~x) > c} размер будет меньше, чем ε.Чтобы избежать этой искусственной проблемы, предположим (II).~ > c) непрерывна по c при c > 0.(II) Функция R(c) = PH1 (T (X)Здесь R(c) есть просто хвост функции распределения случайной вели~ вычисленной при верной первой гипотезе:чины T (X),~ < c).R(c) = 1 − PH1 (T (X)~ = c) равнаЕё непрерывность означает, что величина ∆c = PH1 (T (X)нулю для любого c > 0.О п р е д е л е н и е 28.
В условиях предположений (I), (II) критерий(f (X , . . . , Xn )~ < c, H1 , если 2 1< c,H1 , если T (X)f1 (X1 , . . . , Xn )~δc (X) ==~ >cH2 , если f2 (X1 , . . . , Xn ) > cH2 , если T (X)f1 (X1 , . . . , Xn )назовём критерием отношения правдоподобия (КОП). Размер и вероятность ошибки второго рода этого критерия равны соответственно~ > c) = R(c),~ < c).α1 (δc ) = PH (T (X)α2 (δc ) = PH (T (X)12§ 3. Построение оптимальных критериев87Явный вид оптимальных критериев. Следующая теорема утверждает,что все оптимальные критерии суть критерии отношения правдоподобия.Третье утверждение теоремы называют леммой Неймана — Пирсона.Т е о р е м а 21.
Пусть выполнены предположения (I) и (II). Тогда критерий отношения правдоподобия является1) минимаксным критерием при c таком, что α1 (δc ) = α2 (δc );2) байесовским критерием при заданных априорных вероятностяхr и s, если c = r/s;~ > 0), если c выбрано так,3) НМК размера ε, где 0 < ε 6 PH1(f2 (X)что α1 (δc ) = ε.У п р а ж н е н и е . Прочитать доказательство теоремы 21 в [1, § 2, гл. 3].П р и м е р 38.
Дана выборка X1 , . . . , Xn из нормального распределения со средним a и единичной дисперсией. Построим минимаксный,байесовский при r = 1/3, s = 2/3 и наиболее мощный критерии для проверки гипотезы H1 = {a = a1 } против альтернативы H2 = {a = a2 }, гдеa1 < a 2 .Отношение правдоподобия имеет абсолютно непрерывное распределение при любой из гипотез, поэтому условие (II) выполнено. Построим критерий отношения правдоподобия. Достаточно описать его критическую~ = H2 }. Она определяется неравенствомобласть S = {δ(X))( nnXX~1~ = f2 (X) = exp 1(Xi − a1 )2 −(Xi − a2 )2 > c.
(22)T (X)~f1 (X)22i=1i=1Критерий будет байесовским при c = r/s = 1/2. Упростим неравенство (22). Получим~ = H2δ(X)приX>a1 + a2ln 2−.2n(a2 − a1 )Чтобы построить минимаксный и наиболее мощный критерии, запишемнеравенство (22) в эквивалентном виде X > c1 , и искать будем c1 , а не c.Размер и вероятность ошибки второго рода равны соответственно√√α1 (δ) = PH1 X > c1 = PH1n (X−a1 ) > n (c1 −a1 ) =√= 1 − Φ0,1 n (c1 −a1 ) ,√√α2 (δ) = PH2 X < c1 = PH2n (X−a2 ) < n (c1 −a2 ) =√= Φ0,1 n (c1 −a2 ) .88ГЛАВА VII. ПРОВЕРКА ГИПОТЕЗ√Равенство α1 (δ) = ε означает, что n(c1 −a1 ) = τ1−ε , где τ1−ε — квантиль уровня 1 − ε стандартногонормального распределения.
Тогда выра√зим c1 = a1 + τ1−ε / n. Получим НМК размера ε~ = H2δ(X)приτ1−εX > a1 + √.nПри α1 (δ) = α2 (δ) получим минимаксный критерий. Пользуясь свойствами функции распределения стандартного нормального закона, запишем√√√1 − Φ0,1 n (c1 − a1 ) = Φ0,1 n (c1 − a2 ) = 1 − Φ0,1 n (a2 − c1 ) ,откуда c1 − a1 = a2 − c1 и c1 = (a1 + a2 )/2. Минимаксный критерий имеетвид~ = H2 при X > a1 + a2 .δ(X)2П р и м е р 39. Имеется выборка X1 , .
. . , Xn из нормального распределения со средним a = 0 и дисперсией σ2 , σ > 0. Построим наиболеемощный критерий размера ε для проверки гипотезы H1 = {σ = σ1 } против альтернативы H2 = {σ = σ2 }, где σ1 < σ2 .Отношение правдоподобия снова имеет абсолютно непрерывное распределение при любой из гипотез, поэтому условие (II) выполнено. Крити~ = H2 }ческая область критерия отношения правдоподобия S = {δ(X)определяется неравенством( )Xnn11~ = σ1 exp 1T (X)−Xi2 > c,n22σ22σ1σ2i=1что равносильно неравенству X 2 > c1 .
Найдём c1 , при котором размеркритерия равен ε :2nXncnc11α1 (δ) = PH1 X 2 > c1 = PH1> 2 = 1 − Hn= ε.22σ1σ1σ1Отсюда nc1 / σ21 = h1−ε , где h1−ε — квантиль χ2-распределения с n степенями свободы. Тогда c1 = h1−ε σ21 /n и НМК размера ε имеет вид~ = H2δ(X)приX2 >h1−ε σ21.nСледующее определение касается асимптотических свойств последовательности критериев, построенных по выборке растущего объёма n в задаче проверки двух простых гипотез.89§ 3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
