Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 38
Текст из файла (страница 38)
5 20. ЗАДАЧИ'ПРОВЕРКИ СТАТИСТИЧЕСКИХ. ГИПОТЕЗ В этом параграфе речь пойдет о простейших задачах проверки гипотез о параметре 6 функции распределения г'(х, 6). Как правило, гипотеза Н и альтернатива К формулируются о возможных значениях неизвестного параметра 0~9, а реШение в пользу Н или К должно быть вынесено на основании наблюдения выборки $ь ..., $„нз распределения , .г (х, 0).
Понятно, что в таком случае Н и К можно просто отождествить с подмножествами 6. Например, если параметр О=р нормального распределения Н(п, Ф) неизвестен, то можно рассматривать гипотезу Н о том, что в=пм при 231 альтернативе К:рФ1м. В этом случае й=)(ь Н можно рассматривать как подмножество прямой Йь состоящее из одной точки ро. .Н=(вз). Соответственно К=К(ро) -Я~~(ре)=Ь вЂ” <р~(ео роро).
Пусть Р— подмножество выборочного пространства Р„, не зависящее от О. Множество Н называется критическим в задаче проверки гипотезы Н при альтернативе К, если гипотеза Н отвергается всякий раз, когда Дь ...Д„')евР, и принимается в противном случае. Решение принять или отвергнуть гипотезу принимается нв основе выборки $ь ..., $„из распределения Р(х, О).
Такой решающей процедуре свойственны ошибки двух типов. Говорят об ошибке 1-го рода, когда на основании выборки отклоняется на самом деле истинная гипотеза, и об ошибке 2-го рода, когда принимается на самом деле неверная гипотеза. При заданном критическом множестве 0 вероятности ошибок 1-го и 2-го рода равны соответственно Р(Дь ...,5„)еп0~0), ОевН, 1 — Р(($ь ...,$„) я0/О)~Р(($ь..., $„) еяК~~О~О), ОяК, и зависят не только от 11, Н и К, но и от конкретного значения параметра 0~6. Чем меньше вероятности ошибок первого и второго рода, тем' лучше решающая процедура. Вероятность отвергнуть гипотезу, когда она на самом деле не верна, равна Р(Яь ...,4„) яР ~ О), ОепК, и называется мощностью решающей процедуры (или критерия) Мощность критерия зависит от ОеиК.
Для иллюстрации введенных понятий вернемся к примеру проверки гипотезы о параметре р нормального распределения. Дисперсию оз будем считать известной. Если р=рэ— истинное значение математического ожидания и ($ь..., $„)— выборка из распределения У(рэ, о'), то согласно (15.3) мэ покрывается случайным доверительным интервалом (15.4) с вероятностью 1 —,а. Следовательно, выбирая для заданного а критическое множество в виде и Г1=~(хм....,х„)вийей — '~ й~ро+ — ~+ 1 кч ВМ а з 1 е + ~ (х„..., х„) я Й„, — ~ х; ц; р, —— 1=! найдем следующее значение для ошибки 1-го рода Р (Я,,..., $„) еп Р ~ р,) = 232 Величина а ошибки 1-го рода называется уровнем критерия.
В данном случае гипотеза Н содержит единственное значение параметра в= рс. Альтернатива К содержит все остальные значения р. Поэтому ошибка второго рода зависит от неизвестного параметра и и не может быть вычислена априори. С этим обстоятельством связаны характерные трудности, возникающие при сравнении различных решающих процедур. Действительно, если б — другая критическая область в 'рассматриваемой задаче проверки гипотезы, для которой ошибка первого рода также равна е: :РЩ -. $ )енб) р4=~х, то судить о том, какая из областей предпочтительнее, можно, лишь сравнивая вероятности ошибок второго рода для 0 и б или соответственно мощности. Но последние зависят от неизвестного параметра рФрю, и может так случиться, что для некоторых пенК предпочтительнее область й, а для других предпочтительнее б.
В таком случае говорят, что решающие процедуры не сравнимы. Если оказывается, что при одном и том' же уровне мощность критерия, отвечающего множеству Р, не меньше, чем мощность, отвечающая Ю, для всех рФрз, причем для некоторого р~рз неравенство строгое, то говорят, что критерий, отвечающий й, равномерно более мощный, чем отвечающий Ю, Разумеется, идеальным был бы равномерно наиболее мощный критерий, но, к сожалению, за редкими исключениями, такой критерий не существует, если К содержит более одного значения параметра. 1з.
Локально наиболее мощные критерии Если в случае Н=(Оз) не существует равномерно наиболее мощный критерий, т. е. не существует критическое множество, наилучшее для каждого ОеяК, то можно попытаться найти критическое множество, наилучшее для' значений параметра О~К, в известном смысле близких к Ом Такой выбор представляет интерес, поскольку именно для близких к Ос значений О велика вероятность ошибочного решения. Рассмотрим задачу проверки гипотезы Н=(О0)с:.В при альтернативе К=(О~В, О>Оз), где 9 — некоторое открытое подмножество действительной прямой Иь Если (~ь...,$„)— выборка из.распределения с плотностью ~(х, О), хйь Ояб, и .0 — критическое множество в выборочном пространстве Н, то вероятность ошибки первого рода задается равен- 233 Р((зг $„)~Р~Ов) ) ь(х,бв)ох=а (2) э ством где Е(х, 8) =)(хь 8)...)(х„, 0) — функция правдоподобия, х=(хь...,'х„)И, Ояй.
При этом мощность критерия для каждого ОенК равна Р(8) =~,Цх,О)Н . о (3) 1 если предположить возможность дифференцирования под знаком интеграла-в (3)., Если К (Оенй, 0(Ов), то 0'(Ов) следует минимизировать, а в случае К=(Оен6, Очьбв) разумно наложить условие локальной несмещенности р'(Ов) =0 и максимизировать р"(Ов) как функцию области О. Такой критерий естественно назвать локально наиболее мощным, несмещенным. Во всех перечисленных задачах при отыскании оптимального критического множества может быть использована Лемма (Нейман — Пирсон). Пусть 1в(х), ~~(х),...,( (х)— интегрируемые функции хе=)г' и 0 — подмножество г(„, д которого ля (6) ~ ~г(х)г)х=сь1'=1,...,гп, о1 где сь 1=1, ...,т, заданные числа.
Если существуют ные Аь...,й, такие, что для подмножества Овс:и'„, которого ~(хв) ъ 44 (х)+ ... +А ) (х) постоянв точках и вне которого (в(х) ~й4(х)+...+й 1 (х), 234 Предположим, что для 0(8) имеет место формула Тейлора Р(8) = а+ (8 — 8,) 0 (0,) + (0-8,)в() (О,У2+о(0 — 8,), м =()(8,). (4) Для этого достаточно, чтобы функция (1(0) была дважды дифференцируема в некоторой окрестности 6 Ов и вторая производная р" (О) непрерывна при 0=Он Если К=(Оян9, 0>Ов), то для получения локально наиболее мощного критерия следует максимизировать 0'(Ов) как функцию области О, илн ()'(Ов) = ~ (И.(х, 0)/08))в в.дх, (5) о выполнены равенства (6), то 4 ~е(х)дх ) )~ Д,>(х)!(х.
Доказательство. Согласно условиям леммы 11 Д„(х)'пх — 1 ~,(х) ох= 1 ~,(х)г(х— Рф'ъ<Ьвпо) 1о(х)дх ~~ 1 ~ х!1!(х)й вмре!то) о, .Апо> !-! — У,й! 1!(х) 1х = О. о «о,по! 7-'Ч Равенство нулю следует из равенств ое'л( ейо) им!(х)дх = ( ~!(х)д», | = 1,...,!и, о' (овло! которые, в свою очередь, еледуют из г!(х) с(х = ~; (х) йх = с!, ! = 1, ..., юп.,ф, Возвращаясь к задаче построения критического множества в локально наиболее мощном критерии, при оговоренных выше предположениях получаем следующий результат.
Теорема 1. 1. Если К=(Ояко, 0)Ое), Н=(84, то критическое множество Р локально наиболее мощного критерия уровня а имеет вид 11= ~хевК дЪ(х,8о) >И 1.(х,О)~, . (7) ге где Й! определяется условием 1, (х, 0 ) Их = а. (8) Аналогично, если К=(Опии, 0(Оо), Н=(Оа), то 0 = (хек Н„, (" < йтЬ(х,О,)~ и Й, определяется условием (8). 2. Если К=(8ен6, ОФОо), Н=(Оа), то критическое множество локально наиболее мощного несмещенного критерия уровня а дается равенством 231 где й, и й, определяются условиями (1 (бо) = ~ Ь(х, бо) дх = а, (Г(8,) =3'а((х Ео),(х 0 ае, о (9) В обоих случаях предполагается, что постоянные й1 и йь йо, удовлетворяющие соответственно условиям (8) и (9), существуют.
Доказательство. 1. Следует доказать, что критическое множество (7) доставляет максимум яронзводной (5). Действительно, пусть б — любое другое критическое множество уровня а: ~ Ях, б,)дх а. (10) о Выберем в лемме 1, (х) = Т. (х, 8,), 1о(х) ~-" —.. Поскольку согласно (7) для хеп() 1о(х)эйли(х), то на основании леммы: ) 1о(х) д > ) 1о(х) о( . о О Следовательно, при указанных в теореме условиях производ- ная Тогда для любого множества б, удовлетворяющего условиям (10), согласно лемме а (.(х, е,) „х> ( аоцх, е,) о т.
е. 1) определяет несмещенный локально наиболее мощный критерий уровня а, 236, ()ф(бо) — 1 И(х' 0) Ь мак апьна. дбо о Случай альтернативы К = (бен9, бибо) вполне аналогичен рассмотренному. 2. На этот раз выберем в лемме 1о(х) = ', 1,(х) = ' ', 1о(х) =с,(х,бо). ао(.(х, Ео) дЬ(х, Ео) або дбо (» р) = (=) Р ~ ~~)~~(х) — р)!! ~, (1 ) ! ! д 1п( (х, И 1 ч.ч ~("! М) ! ! д' 1п 1. (к, )!) и д(!! о! ' (12) Следовательно, критическое мне!кество имеет нид 0 = ~,хан Й» + ~ — ~ '(х! — р~) ] )» 1 ч ° л 1~ — ! ~ (х! — ро) + 1!а ) 1~! где й! и йз определяются условиями ~-(" ро) 4!х = а, ~ ь (х~ Ро),~, (х! "- Рч) !(х = О.
(13) ВтоРое уравнение (13) будет удовлетворено для любого ь„если й, =О. Первое уравнение (13) мо!кно записать в виде 237 В качестве иллюстрации рассмотрим задачу проверки гипотезы о параметре )! нормального распределения У()!, о~) при известной дисперсии ое. Пусть Н (ро) К=(р~ еи( — оо, оо), )!М)!о). Так как л (л л' + л)!/ И= ~хЫ/С„, 1 ~~)~~(х/ — р,)> (~' + ) и) + / 1 1 с. (Ф +и)!/2 + (хаим„, — у (х/ — р,)~( — ' п~, и т/ и" / 1 совпадающем с (1). Пусть теперь Н=(рл) и К=(лл>р>рл).
Согласно теореме 1 критическое множество локально наиболее мощного критерия следует искать в инде п= ~ г„, —,~(,— р) >й,~ ,1 /-! (14) при условии, что ,1 ~ (х~ Рл) //х = /з. о где (4! -. вл) — выборка из распределения /1/(рл, а'). Так 1 как статистика /у ($/ — р„) имеет распределение зГй л л Л/(О, 1), то ~ — д„($/ — рл)~ =Х', и /)з может быть най- иа/! -дено по таблице распределения Хз из условия лл ! Р ~ Х' > 1 + //» — ~ = а. и Заметим, что найденное критическое множество можно записать в виде 1 Так как статистика = ! ($/ — ра) = т) имеет распредет'ли л ! 1 ление У(0, 1), а условие (15) согласно (14) можно записать в виде Р~!)„>й!=~=/х, то //! может быть найдено по таблице нормального распределения.
2'. Случай простой гипотезы и простой альтернативы. Наиболее мощный критерий Если гипотеза Н (альтернатива К) содержит лишь одно значение О Ол (О=О!), то гипотеза (альтернатнва) называется простой. Выше рассматривались задачи проверки простой гипотезы при непростых альтернативах. Посмот- 238 Рим, какие возможны упрощения в том случае, когда как - гипотеза, так и альтернатива просты: Н=(Оо), К=(81), Ольйо. Ограничимся случаем распределения, имеющего плотность ,)(х, 8), О=Оо, Оь Рассмотрим задачу отыскания наиболее мощйого критерия, отвечающего заданному уровню а.