Ю.Н. Тюрин - Лекции по математической статистике (1124591), страница 14
Текст из файла (страница 14)
вероятность события {Х ∈ S}, когда случайный выбор Х , Х ∈ X , происходит согласно распределению вероятностей Q. (Напомним, что гипотезу Н0 мы отвергаем с помощью критерия S, еслипроисходит событие Х ∈ S). Функцию β(·), заданную на множестве распределений P, называютфункцией мощности (критерия S).Согласно сказанному ранее, статистический критерий имеет уровень значимости α, если β(Q) 6 αдля всех Q ∈ P0 . Поскольку каждый критерий уровня α есть одновременно и критерий уровня α′ ,если α < α′ , то полезно определить для критерия его минимальный уровень значимостиsup β(Q).Q∈P0Эту величину называют размером критерия.Когда множество P параметризовано, т.е.
когда P = {Рθ : θ ∈ Θ}, мощность можно считать функциейпараметра θ:β(θ, S) = β(θ) = Рθ (Х ∈ S).В этом случае размер критерия S естьsup Рθ (Х ∈ S).θ∈ θ0Желательные свойства любого статистического критерия, предназначенного для проверки статистическойгипотезы Р ∈ P0 :(a) малый размер,(b) быстрое возрастание его функции мощности (при удалении распределения Q от гипотетического множествараспределений P0 ).6.2. Пример реальной проверки статистической гипотезыМатематическая (статистическая) модель закона Менделя проста. Гибриды первого поколения имеют генотип Aa (и фенотип A). Они производят гаметы (зародышевые клетки) A и a в равных количествах.
При слияниигамет возникают соматические клетки четырех генотипов: AA, Aa, aA и aa (здесь первым указан генотип материнской клетки, вторым - отцовской, для определенности). Если в оплодотворении нет селективности, еслижизнеспособность гамет одинакова, если жизнеспособность потомства (например, всхожесть семян) одинаковаи т.д., то наудачу взятое растение второго поколения имеет один из трех генотипов AA, Aa, aa с вероятностями1 1 1314 , 2 , 4 соответственно. Отсюда следует, что вероятности фенотипов A и a суть 4 и 4 . Поэтому в опыте частотыдолжны относиться (приблизительно) как 3:1.Школа Т. Д. Лысенко в СССР в тридцатые годы пыталась бороться с менделевскими законами наследственности научными методами. Дальнейший рассказ — об одном из эпизодов этой борьбы — представляет собойизвлечение из статьи А.Н.
Колмогорова (1940) «Об одном новом подтверждении законов Менделя», ДАН СССР,том 27, стр.38 — 42.См. также:49А. Н. Колмогоров. Теория вероятностей и математическая статистика. — М.: Наука, 1986.В. Н. Тутубалин. Теория вероятностей и случайных процессов. — М.: изд-во МГУ, 1992 (ч. 2, гл. 3, §1).Работа Колмогорова основывается на экспериментальных данных Н. И. Ермолаевой: «Еще раз о гороховыхзаконах», Яровизация (1939), N 2 (23). Н.
И. Ермолаева экспериментировала с томатами. В ее опытах результатыразделялись по семействам.Например, семейство составляли все растения, выросшие в одном ящике. Семейства мы занумеруем индексом i, i = 1, . . . , N ; N - их общее число. Чистые линии, которые подвергались скрещиванию (гибридизации),отличались внешне: одни имели гладкие, а другие - морщинистые листья.Пусть µi , i = 1, . . . , N , обозначают частоты фенотипа a в каждой из N серий, а ni обозначает число растенийв серии.Если численности ni не слишком малы (порядка нескольких десятков), то по теореме Муавра-Лапласа ипри справедливости законов Менделя нормированные частоты (где p = 14 )µi − ni pξi = p,ni p(1 − p)илиµi − niξi = q 4ni 14 43имеют (приближенно) распределение N (0, 1).
Поэтому на совокупность ξ1 , ξ2 , . . . , ξn можно смотреть как навыборку (объема N ) из N (0, 1). Все это - если верен закон Менделя.Возникает естественная мысль сравнить выборочную функцию FN (x), построенную по этой выборке, и функцию стандартного нормального распределения (функцию Лапласа)Z x21Φ(x) = √e−u /2 du.2π −∞Согласно известной нам теореме Гливенко, случайная величинаDN = sup |FN (x) − Φ(x)|(∗)xPпри больших N должна быть малой, если верны законы Менделя, ибо в этом случае DN −→ 0 при N → ∞.Если же закон Менделя в обсуждаемых опытах не действует, то вероятность появления фенотипа a отличается от 41 .
В этом случае выборочная функция FN (·) сходится не к Φ(·), а к другому пределу.В результатеPDN −→ c > 0,если закон Менделя неверен.Этих соображений, однако, недостаточно для точных статистических выводов. Надо привлечь следующуютеорему.Теорема Колмогорова (1933).DN = sup |FN (x) − Φ(x)|x∈Rи для любого z > 0√P ( N DN < z) −→ K(z),гдеK(z) = 1 + 2∞X(−1)k e−2k2 2z,k=1или K(z) =P∞k −2k2 z 2k=−∞ (−1) eдля z > 0. (Функцию K(·) называют функцией Колмогорова).В случае же его нарушения√N DN −→ ∞ при N → ∞.√Это значит, что для конечных значений N статистика N DN должна принимать большие значения, еслигипотеза неверна.√Таким образом, статистика N D√N различно ведет себя при гипотезе и при ее нарушении (при альтернативе).Именно это позволяет по величине N DN сделать вывод о том, что же действует на самом деле: гипотеза илиальтернатива.50В данном случае естественно следующее решающее правило:отвергать гипотезу о том, что выборка извле√чена из распределения с функцией F (·), если статистика N DN приняла (в опыте) слишком большое значение.Т.е.
столь большое значение, которое маловероятно, если гипотеза верна.Дать точный смысл этому предложению можно так.• Выбираем уровень значимости ε, ε > 0 - это вероятность отвергнуть гипотезу, когда она верна.• По этому значению ε вычисляем критическое значение, скажем Cε ,такое, чтоK(Cε ) = 1 − ε.√• Если наблюдаемое значение N DN превосходит Cε , мы проверяемую гипотезу отвергаем (как говорят на уровне ε).
В данном случае - это гипотеза (закон) Менделя.√Судить о том, совместимо ли наблюденное в опыте значение статистики N DN с проверяемой√ гипотезой,можно и иначе. Как было сказано, против гипотезы (закона Менделя) говорят большие значения N DN , и темсильнее, чем наблюденное значение выше.Рассмотрим вероятность того, что√в независимом повторении проведенного опыта мы получим такое же илидаже большее значение статистики N DN , чем наблюденное. (Вероятность эту вычисляем в предположении,что гипотеза верна).
Наблюденное значение надо признать большим, если его трудно превзойти за счет случайности. То есть, если упомянутая вероятность - малая. И обратно: если эта вероятность не мала, то и наблюденноезначение считать большим не следует; оно совместимо с проверяемой гипотезой.Обсуждаемую вероятность называют p-значением (по-английски - p-value). Применять p-значения для проверки гипотез предложил Фишер (R. Fisher).√В данной задаче p-значение равно 1 − K( N DN ).Вернемся к опытам Ермолаевой. Всего было две выборки: N = 98 и N = 123. В обеих выборках наблюденныезначения DN были далеки от критических: их p-значения были равны 0.51 и 0.63 соответственно.
Таким образом,научная атака Т.Д. Лысенко на законы Менделя не удалась.6.3. Оптимальный критерий Неймана-Пирсона(J. Neyman, S. Pearson, 1933)Статистический критерий S для проверки гипотезы H0 : P ∈ P0 против альтернативы H1 : P ∈ P1 естественно называть оптимальным, если среди всех критериев заданного уровня значимости критерий S имеетнаибольшую мощность.Чуть подробнее.
Из двух критериев R и S данного уровня значимости критерий S называют более мощным,еслиβ(Q, S) > β(Q, R)для всех Q ∈ P1 .(1)Критерий S называют оптимальным критерием уровня α, если для любого другого критерия R уровняα выполняется соотношение (1). Критерий S в этом случае называют также равномерно наиболее мощнымкритерием уровня α.Оптимальный выбор критерия для проверки гипотезы H0 : P ∈ P0 против альтернативы H1 : P ∈ P1 возможен лишь в немногих случаях.
(Впрочем, некоторые из них важны для статистической практики.) И там, гдеон удается, всё основано на так называемой лемме Неймана – Пирсона. Она относится к простейшей ситуации:и гипотеза H0 , и альтернатива H1 — простые, то есть оба множества P0 и P1 — одноточечные, каждое из нихсостоит из одного распределения вероятностей P0 и P1 соответственно. (Если множества P0 и P1 состоят каждоеболее чем из одного распределения, гипотезу H0 : P ∈ P0 и альтернативу H1 : P ∈ P1 называют сложными).Оптимальный критерий для проверки простой гипотезы против простой альтернативы мы построим в элементарной ситуации, когда распределения P0 и P1 либо оба дискретны, либо оба имеют плотности (относительнонекоторой меры на X ).Пусть f0 (х ) и f1 (х ), х ∈ X , суть две плотности распределений на X (или два дискретных распределения наX ).
Пусть наблюдение Х получено выбором элемента из X согласно f0 либо f1 . Рассмотрим гипотезу H0 : Химеет плотность (распределение) f0 и альтернативу H1 : Х имеет плотность (распределение) f1 .Рассмотрим множество видаSλ = {x : f1 (x) − λf0 (x) > 0}, λ > 0(2)как критерий для H0 против H1 . [Точнее, мы рассмотрим всё семейство множеств указанного вида, параметризованное переменной λ > 0, как семейство критических множеств. Эти критические множества различаютсяуровнями значимости.]Пусть R — какой-либо статистический критерий для проверки H0 против H1 по наблюдению Х , R ⊂ X .51Предположим, чтоP0 (X ∈ R) 6 P0 (X ∈ Sλ ).(3)То есть вероятность ошибки I рода для R не выше чем для Sλ . [В типичном случае для данного R можноподобрать критерий Sλ вида (b) с тем же уровнем значимости. Тогда в (3) стоит равенство.]Тогда(a)P1 (X ∈ R) 6 P1 (X ∈ Sλ ),(b)P0 (X ∈ Sλ ) 6 P1 (X ∈ Sλ ).Пункт (a) означает, что критерий Sλ имеет наибольшую мощность среди всех критериев, уровень значимостикоторых не превосходит уровня значимости Sλ .Пункт (b) касается свойств самого критерия Sλ и утверждает, что функция мощности критерия Sλ возрастаетпри переходе от гипотетического распределения P0 к альтернативному P1 .
[Такое свойство критерия называют несмещенностью. Оно означает, что более вероятно (с помощью этого критерия) отвергнуть проверяемуюгипотезу, когда она неверна, чем когда она верна - весьма естественное качество для критерия.]Критерии вида (2) называют критериями Неймана – Пирсона, а сформулированное выше утверждение обоптимальности критериев (2) — леммой (теоремой) Неймана – Пирсона.Доказательства для распределений, имеющих плотности и для дискретных распределений происходят одинаково - с той разницей, что интегралы заменяются суммами. Поэтому достаточно рассмотреть что-либо одно;для определённости - плотности.Записи будут компактными, если вместе с критериями R и Sλ рассмотреть их индикаторные функции IR (х )и IS (х ):((1, для x ∈ Sλ ,1, для x ∈ R,,IS (x) =IR (x) =0, для x ∈/ Sλ .0, для x ∈/ R;С помощью IR , IS вероятности событий (Х ∈ R), (Х ∈ Sλ ) можно записать в виде математических ожиданий.Усреднение (математическое ожидание) по P0 обозначим через E0 , усреднение по P1 - через E1 .
Например,P0 (Х ∈ R) = E0 IR (X), а предложение (3) имеет видE0 IR (X) 6 E0 IS (X).(4)Доказательство утверждения (a).Легко проверить, что справедливо неравенствоIR (x)[f1 (x) − λf0 (x)] 6 IS (x)[f1 (x) − λf0 (x)].(5)Действительно, если f1 (x) − λf0 (x) > 0, то IS (x) = 1 и (5) превращается в очевидное утверждение IR (x) 6 1.Если же f1 (x) − λf0 (x) < 0, то IS (x) = 0, и потому правая часть (5) обращается в нуль, а левая часть (5) приэтом неположительна, так что (5) верно и в этом случае.Интегрируем (5) по всему пространству.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
