Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 20
Текст из файла (страница 20)
Но в целом такие удачи редки. Теоретиками предлага"лись многие идеи, как рационально выбирать критические множества.Но удовлетворительного общего решения этой проблемы нет.99Статистики критериев. Обычно для построения критического мно"жества используется следующий подход. Пусть T — некоторая функцияна множестве X, принимающая числовые значения. Мы будем называтьT статистикой критерия. Как правило, статистику T выбирают та"ким образом, чтобы ее распределения при гипотезе и при альтернативекак можно более различались (в случае, если множества распределенийH и H «касаются» друг друга — чтобы различие в распределениях Tбыло как можно большим по мере удаления истинного распределениянаблюдений от гипотетического). При таком выборе статистики T обыч"но некоторые значения T (например, слишком большие или слишкоммалые) являются нетипичными при гипотезе и типичными при альтер"нативе.
Поэтому для построения критического множества A выбираютнекоторое множество вещественных чисел A (множество «нетипичных»при гипотезе значений статистики T ), и полагают множество A какA = {x | T (x) ∈ A } .Это множество будет критическим для гипотезы на уровнеmaxP ∈H P (A). Поскольку множество A полностью определяется поA , множество A тоже называют критическим.Читатель может подумать, что мы не продвинулись ни на шаг впе"ред: вместо выбора критического множества A надо выбирать критиче"ское множество A . Но дело в том, что обычно множество A устроеноочень просто. Например, если статистика критерия T выбрана так,что она принимает небольшие значения при гипотезе и большие —при альтернативе, то множество A следует выбирать как {y | y a},где a — некоторое число.
При другом поведении статистики T мно"жество A может быть устроено по"другому, например {y | y a} или{y | y a или y b}. Разумеется, следует выбирать множество A так,чтобы maxP ∈H P (A) ε, где ε — уровень значимости критерия. Сконкретными примерами применения данного подхода можно познако"миться ниже в этой главе.Ошибки первого и второго рода. При проверке статистическихгипотез возможны ошибочные заключения двух типов:••отвержение гипотезы в случае, когда она на самом деле верна;неотвержение (принятие) гипотезы, если она на самом деленеверна.Эти возможности называются соответственно ошибками первогорода и ошибками второго рода.Из"за различного подхода к гипотезе и альтернативе, наше отно"шение к ошибками первого и второго рода также неодинаково.
При100построении статистических критериев мы фиксируем максимальную до"пустимую вероятность ошибки первого рода (то есть уровень значи"мости критерия), и стремимся выбрать критическое множество такимобразом, чтобы минимизировать вероятность ошибки второго рода (илихотя бы сделать так, чтобы эта вероятность была как можно меньшепо мере удаления истинного распределения от гипотетического илигипотетических).Мощность критерия. Обозначим через β вероятность ошибки вто"рого рода статистического критерия. Если альтернативная гипотезаявляется сложной, то эта вероятность, естественно, зависит от выбораконкретного альтернативного распределения. Если мы рассматриваемальтернативы из какого"либо параметрического семейства распределе"ний Pθ , значение β также можно считать функцией от θ.Величину 1 − β обычно называют мощностью критерия.
Ясно,что мощность критерия может принимать любые значения от 0 до 1.Чем ближе мощность критерия к единице, тем более эффективен (бо"лее «мощен») критерий. Многие известные статистические критерииполучены путем нахождения наиболее мощного критерия при заданныхпредположениях о гипотезе и альтернативе.3.3. ƒПокажем на примерах, как может проходить математическая форма"лизация практических задач и как сформулированные на естественномязыке вопросы превращаются в статистические гипотезы.Тройной тест. Рассмотрим распространенный в психологии трой"ной тест (его другое название — тест дегустатора, см. [107]).
Он состоитиз серии одинаковых опытов, в каждом из которых испытуемому предъ"являют одновременно три стимула. Два из них идентичны, а третийнесколько отличается. Испытуемый, ориентируясь на свои ощущения,должен указать этот отличающийся стимул. Например, испытуемомумогут быть предложены три стакана с жидкостью: два с чистой водой,а третий — со слабым раствором сахара, либо наоборот — два стаканаподслащенных, а третий — с чистой водой. Задание для испытуемого —указать стакан, отличающийся от двух других.Опыты стараются организовать так, чтобы они проходили в одина"ковых условиях и чтобы в каждом из них испытуемый мог полагатьсятолько на свои ощущения. В результате подобного однократного экс"перимента можно получить как правильный, так и неправильный ответ.101При слабой концентрации раствора, когда его трудно отличить от воды,из одного ответа нельзя сделать определенного заключения о способ"ности испытуемого чувствовать данную концентрацию.
Испытуемыйможет случайно ошибиться, даже если в целом он способен отличатьданную концентрацию сахара от чистой воды. С другой стороны, пра"вильный ответ не исключает того, что испытуемый его просто угадал,не отличая раствора от воды.Эти свойства эксперимента мы можем перечислить в виде следу"ющих допущений:•••в каждом испытании ответ испытуемого случаен;существует вероятность правильного ответа, которая неизменнаво все время испытаний;результаты отдельных испытаний статистически независимы.Коротко это выражается так: статистической моделью экспериментаслужит схема Бернулли.Сформулировав математическую модель явления, перейдем к вы"движению статистических гипотез.
Интересующая нас способность ис"пытуемого характеризуется вероятностью правильного ответа, которуюмы обозначим p. В этом опыте она нам неизвестна. Естественно, эта ве"роятность зависит от степени концентрации сахара. Если концентрацияочень мала и не воспринимается, то у испытуемого нет оснований длявыбора. Он «наудачу» будет указывать один из трех стаканов. В этихусловиях вероятность правильного ответа p = 1/3.Предположим, что экспериментатора интересует, начиная с какихконцентраций испытуемый отличает раствор от воды.
Тогда для дан"ной концентрации экспериментатор может выдвинуть предположение,что испытуемый ее ощутить не состоянии. В изложенной модели этопредположение превращается в статистическую гипотезу о том, чтоp = 1/3. Примем следующую форму записи статистической гипотезы:H : p = 1/3. Если же экспериментатор предполагает, что испытуемыйможет ощутить наличие сахара, то соответствующая статистическаягипотеза состоит в том, что p > 1/3, т.е. H : p > 1/3. Возможна игипотеза о том, что p < 1/3, она соответствует тому, что испытуемыйспособен отличить раствор от воды, но принимает одно за другое.Экспериментатор может выдвигать и другие гипотезы о способностииспытуемого к различению концентраций.
Например, возможна такаягипотеза: испытуемый способен ощутить присутствие сахара, ошибаясьодин раз из десяти. В этом случае вероятность правильного ответаравна 0.9 и гипотеза примет вид: H : p = 0.9.102Заметим, что с чисто математической точки зрения гипотеза видаH : p = 1/3 проще, чем p > 1/3 или p < 1/3. Действительно, при p = 1/3мы имеем дело с одним (полностью заданным) биномиальным распреде"лением, а в других случаях перед нами семейство распределений.
Ясно,что с одним распределением иметь дело проще.Сейчас мы не будем рассматривать процесс проверки этих гипотез(он описан в п. 3.4), а вместо этого приведем еще один пример переводаестественнонаучной задачи на статистический язык, т.е. построениястатистической модели явления и выдвижения гипотезы для проверки.Парные наблюдения. На практике часто бывает необходимо срав"нить два способа действий по их результатам.
Речь может идти о срав"нении двух методик обучения, эффективности двух лекарств, произво"дительности труда при двух технологиях и т.д. В качестве конкретногопримера рассмотрим эксперимент, в котором выясняется, на какой изсигналов человек реагирует быстрее: на свет или на звук.Эксперимент был организован следующим образом (см. [33]). Ка"ждому из семнадцати испытуемых в случайном порядке поочередно по"давались два сигнала: световой и звуковой. Интенсивность сигналовбыла неизменна в течение всего эксперимента. Увидев или услышавсигнал, испытуемый должен был нажать на кнопку.
Время междусигналом и реакцией испытуемого регистрировал прибор. Результатыэксперимента приведены в табл. 3.1.Таблица 3.1Время реакции на свет и на звук, в миллисекундахixiyiixiyi1234567822310420918318016821517218119417315316817616315291011121314151617200191197183174176155115163155156178160164169155122144i — номер испытуемого, i = 1, . .
. , 17; xi — времяего реакции на звук, yi — время его реакции на свет.Вместо поставленного выше вопроса о том, на какой из сигналовчеловек отвечает быстрее, выдвинем другой: можно ли считать, чтовремя реакции человека на свет и на звук одинаковы? Логически этивопросы тесно связаны: если мы отвечаем отрицательно на второй изних, мы тем самым признаем, что различия есть. После этого уже не"103трудно понять, когда время реакции меньше. Если же на второй вопросмы отвечаем положительно, то первый после этого просто снимается.
Сматематической же точки зрения второй вопрос проще, как мы увидимиз дальнейшего обсуждения.Итак, время реакции на звук, X, и время реакции на свет, Y , различ"но у разных людей, несмотря на то, что во время опыта они находилисьв одинаковых условиях. Ясно, что наблюдаемый разброс во времениреакции не связан с изучаемым явлением (различием двух действий).По"видимому, этот разброс можно объяснить различиями между испы"туемыми и/или нестабильностью времени отклика на сигнал у каждогоиспытуемого. Как бы то ни было, эти колебания не имеют отношенияк той закономерности, что нас интересует.
Поэтому мы объявляем ихслучайными. Так сделан первый шаг к статистической модели: перемен"ные xi и yi признаны реализациями случайных величин, скажем Xi иYi . Поскольку каждый испытуемый решал свои задачи самостоятельно,не взаимодействуя с другими испытуемыми и не испытывая с их сторо"ны влияния, мы будем считать случайные величины X1 , Y1 , . . . , X17 , Y17независимыми (в теоретико"вероятностном смысле).Выбор статистической модели.
Дальнейшее уточнение статисти"ческой модели в подобных задачах может идти различными путями, взависимости от природы эксперимента и наших знаний о ней. Одинпуть связан с предположением о том, что случайные величины Xi иYi имеют некоторые конкретные законы распределения. Например, мыможем предположить, что Xi и Yi — независимы и имеют нормальныераспределения с одной и той же дисперсией (обозначим ее σ 2 ).
Тогда,если ввести для средних значений обозначения: M Xi = ai , M Yi = bi гдеi = 1, . . . , 17, то можно сформулировать наши допущения так: случай"ные величины Xi , Yi подчиняются распределениям N (ai , σ 2 ), N (bi , σ 2 )соответственно, где параметры a1 , b1 , . . . , a17 , b17 , σ 2 нам неизвестны.При этих обозначениях выдвинутый вопрос о равном времени реак"ции на свет и на звук может быть сформулирован как статистическаягипотеза:H : a1 = b1 , a2 = b2 , . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
