С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 18
Текст из файла (страница 18)
Во избежание малоинтересных усложненийпредположим, что носители плотностей p0 и p1 , т.е. множества вида{~x : p0 (~x) 6= 0} и {~x : p1 (~x) 6= 0} совпадают или почтисовпадают (отличаются на множество нулевого N -мерного объема) ичто отношение правдоподобия Z(~x) — непрерывная функция на своейобласти определения {~x : p0 (~x) 6= 0}.Теорема Неймана-Пирсона (предварительная формулировка).Наиболее мощные критерии любого уровня значимости задаютсякритическими областями видаK(c) = {~x ∈ RN : Z(~x) > c}.(4.1)При этом константа c определяется по уровню значимости ε из уравненияP0 (K(c)) = ε.(4.2)Даже для непрерывных распределений, не говоря уже о дискретных,эта формулировка а) недостаточна; б) не вполне корректна (поэтомумы и назвали ее предварительной).
С другой стороны, болееточная формулировка оказывается более сложной и требующейразвернутых пояснений. Поэтому мы начнем доказательство прямосейчас, комментируя проблемы по ходу рассуждений. Корректнаяформулировка будет дана в конце доказательства, а в следующемпараграфе мы и ее обобщим, введя расширенное толкованиестатистических тестов — так называемые рандомизированные критерии.Заметим, тем не менее, что сама идея критических областей вида(8.1) выглядит очень естественной — чем больше степень концентрацииальтернативной вероятности около точки ~x по сравнению с такойже концентрацией основной вероятности, тем естественнее отвергатьосновную гипотезу.108Глава 4Итак, предположим, что K = K(c) — критическая область вида (8.1),выбранная по уровню значимости ε (позже мы обсудим, как быть, еслиуравнение (7.2) неразрешимо).
Пусть K 0 — критическая область другогокритерия с тем же уровнем значимости (т.е. P0 (K 0 ) ≤ ε). Докажем, чтоm ≥ m0 , т.е. что критерий K не хуже K 0 . Для этого заметим, чтоZZm − m0 =p1 (~x)d~x −p1 (~x)d~xKK0ZZ=p1 (~x)d~x −p1 (~x)d~xK−K 0K 0 −K(из обоих интегралов мы вычли "общую часть— интеграл по пересечениюмножеств K ∩ K 0 ). На множестве K − K 0 ⊂ K выполняется неравенствоp1 (~x) > cp0 (~x), в то время как на множестве K 0 − K ⊂ RN −K — противоположное неравенство p1 (~x) ≤ cp0 (~x) (мы пользуемсяопределением (8.1)). Подставляя эти неравенства, получаемZZ0m−m ≥cp0 (~x)d~x −cp0 (~x)d~xK−K 0K 0 −K·Z¸Zp0 (~x)d~x −p0 (~x)d~x=c00K−KK −K·Z¸Z=cp0 (~x)d~x −p0 (~x)d~xKK0(теперь "общая часть"добавляется обратно, уже с новойподинтегральной функцией).
Остается заметить, что последнеевыражение в квадратных скобках равноP0 (K) − P0 (K 0 ) = ε − P0 (K 0 ) ≥ 0.Обсудим теперь слабые места этого рассуждения. Таких мест можноуказать два. Первое из них уже упоминалось выше — разрешимостьуравнения (8.1). Второе менее существенно, но все же заслуживаетобсуждения — в какой степени можно менять критическую область K,сохраняя уровень значимости и мощность.Итак, обратимся к уравнениям (8.1) и (7.2) и для начала отметим, чтовыбор знака строгого неравенства в (8.1) ничем не мотивирован.
Еслирассмотреть множества видаK̄(c) = {~x ∈ RN : Z(~x) ≥ c}Проверка статистических гипотез109и уравненияP0 (K̄(c)) = ε,(4.3)то с ними можно повторить то же рассуждение. Тем самым, множестваK̄(c) также можно рассматривать в качестве кандидатов на ролькритических областей наиболее мощных критериев. Положимf (c) = P0 (K(c)),f¯(c) = P(K̄(c)).Очевидно, обе эти функции монотонно убывают (в широком смысле),причемf¯(c) ≥ f (c),f¯(c) = lim f¯(t) = lim f (t) = f (c − 0),t%ct%cf (c) = lim f (t) = lim f¯(t) = f¯(c + 0).t&ct&cМы видим, что обе функции f и f¯ имеют одни и те же точки разрывови отличаются как раз в них.
Каждый разрыв (если, конечно, таковыесуществуют) порождает открытый промежуток значений ε, для которыхни уравнение (7.2) (f (c) = ε), ни аналогичное уравнение f¯(c) = ε неимеют решений. Это связано с тем, что множество уровняK̄(c) − K(c) = {~x ∈ RN : Z(~x) = c}имеет ненулевой объем. Проще всего исключить эту возможностьдополнительным условием в формулировке теоремы.Прямо противоположная возможность — наличие многих решенийу уравнения (7.2) (или (7.3)) — может реализоваться лишь дляисключительных значений ε — когда функция f (c) на каком-топромежутке постоянна и равна ε (так будет, если Z(~x) не принимаетзначений из этого промежутка).
Чтобы предусмотреть эту возможностьв формулировке, удобно еще обозначитьc− (ε) = min{c : P0 (K(c)) = ε},c+ (ε) = max{c : P0 (K̄(c)) = ε}.Корректная формулировка будет выглядеть следующим образом.Теорема Неймана-Пирсона (уточненная формулировка).Предположим, что каждое множество уровня{~x ∈ RN : Z(~x) = c}110Глава 4отношения правдоподобия имеет нулевой N -мерный объем (меруЛебега).
Тогда для каждого ε > 0 уравнения (7.2) и (7.3) разрешимы,причем любое измеримое множество K, такое, чтоK(c− (ε)) ⊂ K ⊂ K̄(c+ (ε)),(4.4)(все эти множества почти совпадают), дает нам критическую областьнаиболее мощного критерия уровня значимости ε.Подчеркнем еще раз, что может существовать лишь не более счетногочисла исключительных значений ε, для которых c− (ε) =6 c+ (ε). Дляостальных ε включения (7.4) упрощаются и записываются в видеK(c(ε)) ⊂ K ⊂ K̄(c(ε)).(4.5)Остающаясяпослесделанногоуточненияформулировкинеопределенность в форме критической области K несущественна,~ с вероятностью 1 не попадет.т.к.
в эту зону вектор наблюдений XБолее важным для применений этой теоремы является исключенныйнашей уточненной формулировкой случай, когда оба уравнения (7.2)и (7.3) могут оказаться неразрешимыми. Выход из этого положениядает рандомизация, обсуждающаяся в следующем параграфе. Длядискретных распределений, которые мы еще подробно не обсуждали,именно этот случай неразрешимости становится главным (см. параграф3).4.3РандомизацияКак общая концепция, рандомизация достаточно важна, поэтомупроиллюстрируем соответствующую идею небольшим отвлеченнымпримером, и лишь потом вернемся к проблеме, возникшей в предыдущемпараграфе.Классический пример "неразрешимой"логической ситуации — пример"буриданова осла", не сумевшего сделать выбор между двумяравноценными охапками сена. Рандомизация дает вполне приемлемыйрецепт действий в подобных ситуациях — подбрось монетку и действуйв соответствии с ее "советом".
Конечно, монетка должна бытьсимметричной (как и охапки сена у осла), а кроме того, случайныймеханизм, с этой монеткой связанный, не должен быть связан спрочими сторонами возникшей ситуации — нужно обеспечить некуюПроверка статистических гипотез111"беспристрастность". На язык теории вероятностей это переводитсятермином "независимость— монетка должна быть не зависящей отпрошлого течения явления (а также и настоящего и будущего).Перейдем теперь к задаче предыдущего параграфа.
Мы видели,что отношение прпавдоподобия устанавливает некоторую иерархию~ нашей выборки — чемпредпочтений среди возможных значений Xбольше это отношение, тем менее привлекательнее выглядит основнаягипотеза. Проблема возникает в том случае, когда множествоK(c) = {~x ∈ RN : Z(~x) > c}еще "недостаточно велико": P0 (K(c)) < ε, в то время как множествоK̄(c) = {~x ∈ RN : Z(~x) ≥ ε}уже "слишком велико": P0 (K̄(c)) > ε. Хочется расширить K(c),добавляя не все точки разности K̄(c) − K(c) — их слишком много,а только некоторые из них.
Вопрос в том, какие? С точки зренияотношения правдоподобия все они равноправны, для них Z(~x) = c.Другая мотивировка отсутствует. Следовательно, см. начало параграфа,нужно создать вспомогательный случайный (random) механизм, независящий от наших наблюдений, который бы "за нас решил", какойстатистический вывод делать, если реализовавшийся набор значений~ эмп. оказался в "пограничной области": Z(X~ эмп.
) = c. Этот механизм,Xиспытание с двумя исходами, должен обеспечить требуемый уровеньзначимости ε.Легко сообразить, что вероятность успеха p (будем, дляопределенности, называть успехом вывод H0 — принятие основнойгипотезы) должна удовлетворять соотношениюP0 (K(c)) + (1 − p)[P0 (K̄(c)) − P0 (K(c))] = ε.Эквивалентным образом это можно переписать в видеpP0 (K(c)) + (1 − p)P0 (K̄(c)) = ε.В левой части этого равенства записана выпуклая линейная комбинациядвух вероятностей, одна из которых меньше ε, а другая — больше ε.Очевидно, что найдется единственное p, обеспечивающее равенство.Для дискретных распределений без такой рандомизации фактическине обойтись, т.к.
наши функцииf (c) = P0 (K(c))112иГлава 4f¯(c) = P0 (K̄(c))принимают (в объединении) лишь дискретное множество значений.Уровень значимости ε чаще всего не совпадает ни с одним из этихзначений.Подводя итог, мы можем дать окончательную формулировкутеоремы.Теорема Неймана-Пирсона. В задаче проверки простой гипотезыпри простой альтернативе для любого уровня значимости существуетнаиболее мощный рандомизированный критерий.
Этот критерийопределяется при помощи множеств K(c) и K̄(c) и рандомизации почтиединственным образом.Для краткости мы не включили в эту формулировку подробноеописание множеств K(c) и K̄(c), а также точное значение параметраp рандомизации.Дадим для полноты общее определение рандомизированногокритерия как правила получения статистического вывода.Критической функцией назовем отображениеπ : RN −→ [0, 1].Эта функция определяет вероятность π(~x) принятия основной гипотезы~ = ~x. Сам статистический вывод определяется случайнымпри Xрозыгрышем между двумя возможностями с вероятностями π(~x) и 1 −π(~x) соответственно.
Критерий является нерандомизированным, если егокритическая функция принимает только значения 1 и 0. Множествоπ −1 (0) при этом называется критической областью.Вероятностью ошибки первого рода можно теперь назвать функцию~ θ ∈ Θ0 ,α(θ) = Eθ π(X),а вероятностью ошибки второго рода — функцию~ θ ∈ Θ1 .β(θ) = 1 − Eθ π(X),Сделаем в заключение параграфа несколько замечаний общегохарактера. Прежде всего отметим, что рандомизированные критерии посвоей идее аналогичны смешанным стратегиям в теории игр. Далее, ясно,что если уже в простейшей задаче проверки гипотезы они появились,неизбежно и их появление в более общих задачах.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
