Н.И. Чернова - Лекции по математической статистике (1115346), страница 13
Текст из файла (страница 13)
... из 179НазадВо весь экранУпражнение. Вычислить вероятности ошибок первогои второго рода того жекритерия,еслигипотезызанумероватьиначе:H=изделиебракованноеи H2 =1изделие годное .Надеемся, что читатель сделал для себя следующие выводы:1. Статистический критерий не отвечает на вопрос, верна или нет проверяемая гипотеза. Онлишь решает, противоречат или не противоречат выдвинутой гипотезе выборочные данные,можно ли принять или следует отвергнуть данную гипотезу.УйтиСтр.
1152. Если есть одна основная гипотеза, а все остальное — нежелательные отклонения от нее, товывод «данные противоречат гипотезе» всегда весомее, нежели вывод «данные не противоречат гипотезе».3. Нам неизвестно, какая из гипотез верна в действительности, поэтому следует считаться сгипотетическими вероятностями ошибок критерия. Если много раз применять критерий квыборкам из распределения, для которого гипотеза Hi верна, то примерно доля αi такихвыборок будет признана противоречащей гипотезе Hi .7.1.Две простые гипотезыРассмотрим подробно случай, когда имеются две простые гипотезы о распределениинаблюдений:H1 = F = F1 , H 2 = F = F2 .ОглавлениеJJIIJIНа стр.
... из 179Каков бы ни был критерий δ(X) : IRnзначений. То есть область IRn делится наH1 ,δ(X) =H2 ,→ {H1 , H2 }, он принимает не более двухдве части IRn = S ∪ (IRn \S) так, чтоесли X ∈ IRn \S,если X ∈ S.Область S, в которой принимается вторая (альтернативная) гипотеза, называют критической областью.НазадВо весь экранУйтиОпределение 22.
Вероятность ошибки первого рода α1 = α1 (δ) называют размеромили уровнем значимости критерия δ:α1 = α1 (δ) = PH1 (δ(X) 6= H1 ) = PH1 (δ(X) = H2 ) = PH1 (X ∈ S).Мощностью критерия δ называют величину 1 − α2 , где α2 = α2 (δ) — вероятностьошибки второго рода критерия δ. Мощность критерия равнаСтр. 1161 − α2 (δ) = 1 − PH2 (δ(X) 6= H2 ) = PH2 (δ(X) = H2 ) = PH2 (X ∈ S).Заметим, что вероятности ошибок первого и второго рода вычисляются при разныхпредположениях о распределении (если верна H1 и если верна H2 ), так что никакихраз и навсегда фиксированных соотношений (например, α1 = 1 − α2 , независимо отвида гипотез и вида критерия) между ними нет.ОглавлениеРассмотрим крайний случай, когда критерий, независимо от выборки, всегда принимает одну и ту же гипотезу.JJIIJIНа стр. ...
из 179НазадВо весь экранУйтиСтр. 117Пример 29. Имеются гипотезы H1 , H2 и критерий δ(X) ≡ H1 , то есть S пусто.Тогда α1 = PH1 (принять H2 ) = 0, α2 = PH2 (принять H1 ) = 1.Наоборот: пусть имеются гипотезы H1 , H2 и критерий δ(X) ≡ H2 , то есть S = IRn .Тогда α1 = PH1 (принять H2 ) = 1, α2 = PH2 (принять H1 ) = 0.Примеры 29 и 30 показывают общую тенденцию: при попытке уменьшить одну извероятностей ошибок критерия другая, как правило, увеличивается. Так, если уменьшать α1 = PH1 (X ∈ S) мы будем, сужая критическую область S, то одновременнобудет уменьшаться мощность критерия 1 − α2 = PH2 (X ∈ S).Пример 30.
Имеется выборка объема 1 из нормального распределения Na,1 и двепростые гипотезы о среднем: H1 = {a = 0} и H2 = {a = 1}. Рассмотрим следующийкритерий (при некотором вещественном c):H1 , если X1 6 c,δ(X1 ) =H2 , если X1 > c.Изобразим на графике соответствующие гипотезам плотности и вероятности ошибокпервого и второго рода критерия δ:α1 = PH1 (δ(X1 ) = H2 ) = PH1 (X1 > c),α2 = PH2 (δ(X1 ) = H1 ) = PH2 (X1 6 c).ОглавлениеN0,1N1,1α2JJIIJIНа стр. ... из 179α10c1Рис. 8: Две простые гипотезы.Видим, что с ростом c вероятность ошибки первого рода α1 уменьшается, но вероятность ошибки второго рода α2 растет.НазадВо весь экранИтак, критерий тем лучше, чем меньше вероятности его ошибок. Но сравниватькритерии по паре вероятностей ошибокαi (δ1 ) 6 αi (δ2 )Уйтиi = 1, 2,как правило, не удается.7.2.Стр.
118приПодходы к сравнению критериевОграничимся, для простоты, задачей проверки двух простых гипотез. Пусть имеются критерии δ и ρ с вероятностями ошибок первого и второго рода α1 (δ), α2 (δ)и α1 (ρ), α2 (ρ).Перечислим общепринятые подходы к сравнению критериев.1. Минимаксный подход.Говорят, что критерий δ не хуже критерия ρ в смысле минимаксного подхода, еслиmax{α1 (δ), α2 (δ)} 6 max{α1 (ρ), α2 (ρ)}.ОглавлениеОпределение 23. Критерий δ называют минимаксным критерием, если он не хужевсех других критериев в смысле минимаксного подхода.JJIIJIНа стр.
... из 179НазадВо весь экранИначе говоря, минимаксный критерий имеет самую маленькую «наибольшуюошибку» max{α1 (δ), α2 (δ)} среди всех прочих критериев.Упражнение.если c = 1/2.Убедиться, что в примере 30 критерий δ является минимаксным,2. Байесовский подход.УйтиСтр.
119Этот подход применяют в двух случаях:а) если известно априори, что с вероятностью r справедлива гипотеза H1 , а с вероятностью s = 1 − r — гипотеза H2 ,б) если задана линейная «функция потерь»: потери от ошибочного решения равны r, если происходит ошибка первого рода, и равны s, если второго. Здесь r + s ужене обязательно равно 1, но потери можно свести к единице нормировкой r 0 = r/(r + s)и s 0 = s/(r + s).Пусть априорные вероятности или потери r и s заданы.
Говорят, что критерий δне хуже критерия ρ в смысле байесовского подхода, еслиrα1 (δ) + sα2 (δ) 6 rα1 (ρ) + sα2 (ρ).ОглавлениеОпределение 24. Критерий δ называют байесовским критерием, если он не хуже всехдругих критериев в смысле байесовского подхода.JJIIJIНа стр. ... из 179НазадВо весь экранИначе говоря, байесовский критерий имеет самую маленькую «средневзвешеннуюошибку» rα1 (δ) + sα2 (δ) среди всех прочих критериев.
По формуле полной вероятности это есть вероятность ошибки критерия в случае (а) или математическое ожиданиепотерь в случае (б).Упражнение. Убедиться, что в примере 30 критерий δ является байесовским вслучае r = s, если взять c = 1/2.3. Выбор наиболее мощного критерия.УйтиСтр. 120Ошибки первого и второго рода обычно неравноправны.
Поэтому возникает желаниеконтролировать одну из ошибок (скажем, первого рода). Например, зафиксировать еевероятность на достаточно низком (безопасном) уровне, и рассматривать только критерии с такой или еще меньшей вероятностью ошибки первого рода. Среди них наилучшим, очевидно, следует признать критерий, обладающий наименьшей вероятностьюошибки второго рода.Введем при ε ∈ [0, 1] класс критериев Kε = {δ(X) : α1 (δ) 6 ε}.ОглавлениеОпределение 25. Критерий δ0 ∈ Kε называют наиболее мощным критерием (НМК)размера ε, еслиα2 (δ0 ) 6 α2 (δ)для любого другого критерия δ ∈ Kε .JJIIJIНа стр. ...
из 179НазадВо весь экранУйти7.3. Построение оптимальных критериевСледующее замечательное утверждение, по недоразумению называемое леммой, заявляет, что оптимальные во всех трех смыслах (минимаксные, байесовские, наиболеемощные) критерии могут быть построены в самом общем случае простым выборомразличных констант в одном и том же критерии — критерии отношения правдоподобия.Пусть X = (X1 , . .
. , Xn ) — выборка (набор независимых, одинаково распределенных величин), и имеются две гипотезы о распределении Xi :H1 = {Xi имеют распределение F1 }иH2 = {Xi имеют распределение F2 }Пусть f1 (y) — плотность распределения F1 , f2 (y) — плотность распределения F2 , аf1 (X) = f1 (X1 , . . . , Xn ) =nYf1 (Xi ) иi=1Стр. 121— соответствующие функции правдоподобия.f2 (X) = f2 (X1 , .
. . , Xn ) =nYi=1f2 (Xi )Предполагается, что распределения F1 и F2 либо оба дискретны, либо оба абсолютно непрерывны.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранЗамечание 17. Если одно из распределений дискретно, а другое абсолютно непрерывно, товсегда существует критерий с нулевыми вероятностями ошибок.
Смешанные распределения мырассматривать не будем. Математики вместо этого могут предполагать, что оба распределенияабсолютно непрерывны относительно одной и той же σ-конечной меры и имеют относительнонее плотности f1 (y) и f2 (y).Мы будем выбирать гипотезу в зависимости от отношения функций правдоподобия.Напомним, что функция правдоподобия есть плотность распределения выборки.Обратимся к примеру 30.
Естественным кажется принимать вторую гипотезу, еслиX1 лежит правее точки пересечения плотностей c = 1/2. То есть там, где вторая плотность больше, принимать вторую гипотезу, там, где первая — первую. Такой критерийсравнивает отношение f2 (x1 , . . . , xn )/f1 (x1 , . . . , xn ) с единицей, относя к критическойобласти ту часть IRn , где это отношение больше единицы. Заметим, что при этом мыполучим ровно один, не обязательно оптимальный, критерий с некоторым фиксированным размером и мощностью.УйтиСтр.
122Если же нужно получить критерий c заранее заданным размером α1 = ε, либоиметь возможность варьировать и размер, и мощность критерия, то следует рассмотреть класс похожих критериев, введя свободный параметр: там, где вторая плотностьв c раз превосходит первую, выбирать вторую гипотезу, иначе — первую: сравнивать отношение плотностей f2 (x1 , . . .
, xn )/f1 (x1 , . . . , xn ) не с единицей, а с некоторойпостоянной c.Назовем отношением правдоподобия частноеT (x) = T (x1 , . . . , xn ) =ОглавлениеJJIIJIНа стр. ... из 179Назадf2 (x1 , . . . , xn ),f1 (x1 , . . . , xn )(18)рассматривая его лишь при таких значениях x, когда хотя бы одна из плотностей отлична от нуля. Имеется в виду, что 0/a = 0, a/0 = +∞.Конструкция критерия, который мы живописали выше, сильно усложнится в случае,когда распределение случайной величины T (X) не является непрерывным, т. е. существуеттакое число c, что ∆c = PH1 (f2 (X)/f1 (X) = c) отлична от нуля. Это означает, что нанекотором «большом» множестве значений выборки обе гипотезы «равноправны»: отношениеправдоподобия постоянно.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
