Н.И. Чернова - Математическая статистика (1115306), страница 12
Текст из файла (страница 12)
Нам неизвестно, какая из гипотез верна в действительности, поэтому следует считаться сгипотетическими вероятностями ошибок критерия. Если много раз применять критерий квыборкам из распределения, для которого гипотеза Hi верна, то примерно доля αi такихвыборок будет признана противоречащей гипотезе Hi .7.1. Две простые гипотезыРассмотрим подробно случай, когда имеются две простые гипотезы о распределениинаблюдений:H1 = F = F1 , H 2 = F = F2 .Каков бы ни был критерий δ(X) : IRnзначений.
То есть область IRn делится наH1 ,δ(X) =H2 ,→ {H1 , H2 }, он принимает не более двухдве части IRn = S ∪ (IRn \S) так, чтоесли X ∈ IRn \S,если X ∈ S.Область S, в которой принимается вторая (альтернативная) гипотеза, называют критической областью.Определение 22. Вероятность ошибки первого рода α1 = α1 (δ) называют размеромили уровнем значимости критерия δ:α1 = α1 (δ) = PH1 (δ(X) 6= H1 ) = PH1 (δ(X) = H2 ) = PH1 (X ∈ S).Мощностью критерия δ называют величину 1 − α2 , где α2 = α2 (δ) — вероятностьошибки второго рода критерия δ.
Мощность критерия равна1 − α2 (δ) = 1 − PH2 (δ(X) 6= H2 ) = PH2 (δ(X) = H2 ) = PH2 (X ∈ S).58Заметим, что вероятности ошибок первого и второго рода вычисляются при разныхпредположениях о распределении (если верна H1 и если верна H2 ), так что никакихраз и навсегда фиксированных соотношений (например, α1 = 1 − α2 , независимо отвида гипотез и вида критерия) между ними нет.Рассмотрим крайний случай, когда критерий, независимо от выборки, всегда принимает одну и ту же гипотезу.Пример 29. Имеются гипотезы H1 , H2 и критерий δ(X) ≡ H1 , то есть S пусто.Тогда α1 = PH1 (принять H2 ) = 0, α2 = PH2 (принять H1 ) = 1.Наоборот: пусть имеются гипотезы H1 , H2 и критерий δ(X) ≡ H2 , то есть S = IRn .Тогда α1 = PH1 (принять H2 ) = 1, α2 = PH2 (принять H1 ) = 0.Примеры 29 и 30 показывают общую тенденцию: при попытке уменьшить одну извероятностей ошибок критерия другая, как правило, увеличивается.
Так, если уменьшать α1 = PH1 (X ∈ S) мы будем, сужая критическую область S, то одновременнобудет уменьшаться мощность критерия 1 − α2 = PH2 (X ∈ S).Пример 30. Имеется выборка объема 1 из нормального распределения Na,1 и двепростые гипотезы о среднем: H1 = {a = 0} и H2 = {a = 1}. Рассмотрим следующийкритерий (при некотором вещественном c):H1 , если X1 6 c,δ(X1 ) =H2 , если X1 > c.Изобразим на графике соответствующие гипотезам плотности и вероятности ошибокпервого и второго рода критерия δ:α1 = PH1 (δ(X1 ) = H2 ) = PH1 (X1 > c),α2 = PH2 (δ(X1 ) = H1 ) = PH2 (X1 6 c).N0,1N1,1α2α10c1Рис. 8: Две простые гипотезы.Видим, что с ростом c вероятность ошибки первого рода α1 уменьшается, но вероятность ошибки второго рода α2 растет.Итак, критерий тем лучше, чем меньше вероятности его ошибок.
Но сравниватькритерии по паре вероятностей ошибокαi (δ1 ) 6 αi (δ2 )приi = 1, 2,как правило, не удается.7.2. Подходы к сравнению критериевОграничимся, для простоты, задачей проверки двух простых гипотез. Пусть имеются критерии δ и ρ с вероятностями ошибок первого и второго рода α1 (δ), α2 (δ)и α1 (ρ), α2 (ρ).Перечислим общепринятые подходы к сравнению критериев.591. Минимаксный подход.Говорят, что критерий δ не хуже критерия ρ в смысле минимаксного подхода, еслиmax{α1 (δ), α2 (δ)} 6 max{α1 (ρ), α2 (ρ)}.Определение 23.
Критерий δ называют минимаксным критерием, если он не хужевсех других критериев в смысле минимаксного подхода.Иначе говоря, минимаксный критерий имеет самую маленькую «наибольшуюошибку» max{α1 (δ), α2 (δ)} среди всех прочих критериев.Упражнение.если c = 1/2.Убедиться, что в примере 30 критерий δ является минимаксным,2. Байесовский подход.Этот подход применяют в двух случаях:а) если известно априори, что с вероятностью r справедлива гипотеза H1 , а с вероятностью s = 1 − r — гипотеза H2 ,б) если задана линейная «функция потерь»: потери от ошибочного решения равны r, если происходит ошибка первого рода, и равны s, если второго. Здесь r + s ужене обязательно равно 1, но потери можно свести к единице нормировкой r 0 = r/(r + s)и s 0 = s/(r + s).Пусть априорные вероятности или потери r и s заданы.
Говорят, что критерий δне хуже критерия ρ в смысле байесовского подхода, еслиrα1 (δ) + sα2 (δ) 6 rα1 (ρ) + sα2 (ρ).Определение 24. Критерий δ называют байесовским критерием, если он не хуже всехдругих критериев в смысле байесовского подхода.Иначе говоря, байесовский критерий имеет самую маленькую «средневзвешеннуюошибку» rα1 (δ) + sα2 (δ) среди всех прочих критериев.
По формуле полной вероятности это есть вероятность ошибки критерия в случае (а) или математическое ожиданиепотерь в случае (б).Упражнение. Убедиться, что в примере 30 критерий δ является байесовским вслучае r = s, если взять c = 1/2.3. Выбор наиболее мощного критерия.Ошибки первого и второго рода обычно неравноправны. Поэтому возникает желаниеконтролировать одну из ошибок (скажем, первого рода).
Например, зафиксировать еевероятность на достаточно низком (безопасном) уровне, и рассматривать только критерии с такой или еще меньшей вероятностью ошибки первого рода. Среди них наилучшим, очевидно, следует признать критерий, обладающий наименьшей вероятностьюошибки второго рода.60Введем при ε ∈ [0, 1] класс критериев Kε = {δ(X) : α1 (δ) 6 ε}.Определение 25. Критерий δ0 ∈ Kε называют наиболее мощным критерием (НМК)размера ε, еслиα2 (δ0 ) 6 α2 (δ)для любого другого критерия δ ∈ Kε .7.3.
Построение оптимальных критериевСледующее замечательное утверждение, по недоразумению называемое леммой, заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболеемощные) критерии могут быть построены в самом общем случае простым выборомразличных констант в одном и том же критерии — критерии отношения правдоподобия.Пусть X = (X1 , . . .
, Xn ) — выборка (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении Xi :H1 = {Xi имеют распределение F1 } иH2 = {Xi имеют распределение F2 }Пусть f1 (y) — плотность распределения F1 , f2 (y) — плотность распределения F2 , аf1 (X) = f1 (X1 , . . . , Xn ) =nYf1 (Xi ) иf2 (X) = f2 (X1 , . . . , Xn ) =nYf2 (Xi )i=1i=1— соответствующие функции правдоподобия.Предполагается, что распределения F1 и F2 либо оба дискретны, либо оба абсолютно непрерывны.Замечание 17. Если одно из распределений дискретно, а другое абсолютно непрерывно, товсегда существует критерий с нулевыми вероятностями ошибок.
Смешанные распределения мырассматривать не будем. Математики вместо этого могут предполагать, что оба распределенияабсолютно непрерывны относительно одной и той же σ-конечной меры и имеют относительнонее плотности f1 (y) и f2 (y).Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия.Напомню, что функция правдоподобия есть плотность распределения выборки.Обратимся к примеру 30.
Естественным кажется принимать вторую гипотезу, еслиX1 лежит правее точки пересечения плотностей c = 1/2. То есть там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерийсравнивает отношение f2 (x1 , . . . , xn )/f1 (x1 , . . . , xn ) с единицей, относя к критическойобласти ту часть IRn , где это отношение больше единицы. Заметим, что при этом мыполучим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.Если же нужно получить критерий c заранее заданным размером α1 = ε, либоиметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр: там, где вторая плотностьв c раз превосходит первую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2 (x1 , .
. . , xn )/f1 (x1 , . . . , xn ) не с единицей, а с некоторойпостоянной c.61Назовем отношением правдоподобия частноеT (x) = T (x1 , . . . , xn ) =f2 (x1 , . . . , xn ),f1 (x1 , . . . , xn )(18)рассматривая его лишь при таких значениях x, когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.Конструкция критерия, который мы живописали выше, сильно усложнится в случае,когда распределение случайной величины T (X) не является непрерывным, т. е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
