Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 19
Текст из файла (страница 19)
3.3 — там показано, как описываемые понятия иподходы возникают в практических задачах.Статистические гипотезы. В обычном языке слово «гипотеза»означает предположение. В том же смысле оно употребляется и в на"учном языке, используясь в основном для предположений, вызывающихсомнения. В математической статистике термин «гипотеза» означает95предположение, которое не только вызывает сомнения, но и которое мысобираемся в данный момент проверить.При построении статистической модели приходится делать многоразличных допущений и предположений, и далеко не все из них мысобираемся или можем проверить. Эти предположения относятся какк выборочному пространству, так и к распределению вероятностей P (·)на нем.Вопросов о выборочном пространстве обычно не возникает.
Во"просы и сомнения относятся к распределению вероятностей. Срединих бывают и такие: обладает ли P (·) определенным свойством? (Этосвойство P (·) выражает в статистической форме вопрос, интересующийисследователя с содержательных позиций.) Вопрос можно поставить вформе проверки предположения: сначала высказать гипотезу «Распре"деление вероятностей обладает таким"то свойством», а затем спросить,верно ли это. Предположение может быть как о конкретном законераспределения (например: «данные являются выборкой из нормальногозакона с заданными параметрами»), так и о частных характеристикахраспределения, таких как симметрия, принадлежность к определенномутипу, о значениях параметров и т.д.
Соответственно различают простыеи составные (сложные) гипотезы:••простая гипотеза полностью задает распределение вероятно"стей;сложная гипотеза указывает не одно распределение, а некото"рое множество распределений. Обычно это множество распре"делений, обладающих определенным свойством (свойствами).Статистическая проверка гипотезы состоит в выяснении того, на"сколько совместима эта гипотеза с имеющимся (наблюдаемым) резуль"татом случайного выбора. Надо, следовательно, решить, совместимо лис наблюдением x определенное множество распределений вероятностейP (·), соответствующих данной гипотезе.Как итог обсуждения можно высказать следующее определение.Определение. Статистическая гипотеза — это предположениео распределении вероятностей, которое мы хотим проверить поимеющимся данным.Остается выяснить, как это можно сделать.Проверка гипотез.
Поговорим прежде о проверке гипотез вооб"ще. Лучше всего, если гипотезу можно проверить непосредственно, —тогда не возникает никаких методических проблем. Но если прямогоспособа проверки у нас нет, приходится прибегать к проверкам косвен"96ным. Это значит, что приходится довольствоваться проверкой некото"рых следствий, которые логически вытекают из содержания гипотезы.Если некоторое явление логически неизбежно следует из гипотезы, нов природе не наблюдается, то это значит, что гипотеза неверна.
Сдругой стороны, если происходит то, что при гипотезе происходить недолжно, это тоже означает ложность гипотезы. Заметим, что подтвер"ждение следствия еще не означает справедливости гипотезы, посколькуправильное заключение может вытекать и из неверной предпосылки.Поэтому, строго говоря, косвенным образом доказать гипотезу нельзя,хотя опровергнуть — можно.Впрочем, когда косвенных подтверждений накапливается много,общество зачастую расценивает их как убедительное доказательство впользу гипотезы. В языке это отражается так, что бывшую гипотезуначинают именовать законом.Скажем, когда Ньютон выдвинул для объяснения движения небесных телсвой закон всемирного тяготения, он выглядел как некое предположение.
Поотношению к планетам он давал не больше сведений, чем законы Кеплера.Ньютону нужны были новые объекты, на которых он мог бы проверить действиесвоего открытия. Таким небесным телом могла бы быть Луна. Мы знаемсейчас, что на ее движение оказывают влияние своим притяжением не толькоЗемля, но и Солнце, а также другие планеты. Поэтому ее движение неявляется в точности эллиптическим, а из"за близости Луны к Земле мы можемнаблюдать эти отклонения. Ньютону удалось объяснить многие особенностидвижения Луны, но полностью удовлетворен он не был. Может быть, именнопоэтому он так долго медлил с опубликованием своего открытия.
Для решенияэтой и других задач небесной механики понадобились усилия лучших ученыхследующего, восемнадцатого века1 .Однако впоследствии на основании формулы Ньютона были объяснены нетолько движение Луны, но и траектории комет, открыты планеты Уран, Нептуни Плутон. Поэтому предположение Ньютона стало считаться уже не гипотезой,а законом природы, в справедливости которого никто не сомневается. Лишь вовторой половине XX века, когда стало возможным измерять координаты небес"ных тел (в частности, искусственных спутников Земли) с точностью до санти"метров, их траектории стало необходимо рассчитывать не по закону Ньютона, апо более точным формулам общей теории относительности Эйнштейна.Для проверки естественнонаучных гипотез часто применяется такойпринцип: гипотезу отвергают, если происходит то, что при ее справед"ливости происходить не должно. Проверка статистических гипотез про"исходит так же, но с оговоркой: место невозможных событий занимают1 К слову сказать, теория движения Луны должна быть очень точной, ибо у нас(у человечества) есть очень мощные возможности ее проверки — Лунные и Солнечныезатмения, сведения о которых сохранились в истории за многие тысячелетия.
Теориядолжна не только достаточно точно предсказывать даты близящихся затмений (что от"носительно нетрудно), но и рассчитывать эти даты на много веков назад и получать приэтом верные результаты. Такой точности добиться нелегко.97события практически невозможные. Причина этого проста: пригодныхдля проверки невозможных событий, как правило, просто нет.Альтернативы. Повторим вышесказанное чуть более формально иточно. Итак, пусть H — статистическая гипотеза, т.е. предположениео распределении вероятностей на выборочном пространстве. Будем да"лее говорить о вероятностях событий, вычисленных в предположении,что H справедлива, или, коротко — о вероятностях при H, обозначаяих P (· | H). Если H — простая гипотеза, то для всякого события A(A — множество в выборочном пространстве) его вероятность P (A | H)определена однозначно.
Если гипотеза H сложная (состоит из мно"гих простых), то P (A | H) обозначает все возможные при H значениявероятности события A.Выберем уровень вероятности ε, ε > 0. Условимся считать событиепрактически невозможным, если его вероятность меньше ε. Когда речьидет о проверке гипотез, число ε называют уровнем значимости.Выберем событие A, вероятность которого при гипотезе меньшеε, т.е. P (A | H) < ε. (Если H — сложная гипотеза, то меньше εдолжны быть все возможные при H значения вероятности A.) Правилопроверки H теперь таково:На основании эксперимента мы отвергаем гипотезу H на уровнезначимости ε, если в этом эксперименте произошло событие A.Таким образом, уровень значимости есть вероятность ошибочноотвергнуть гипотезу, когда она верна.Определение.
Событие A называется критическим для гипотезы H, или критерием для H. Если P (A | H) ε, то ε называютгарантированным уровнем значимости критерия A для H.Теперь обсудим вопрос о том, как следует выбирать критическоесобытие. Далеко не всякое маловероятное при гипотезе событие целе"сообразно использовать для ее проверки. Например, если это событиеимеет одну и ту же вероятность и при соблюдении, и при несоблюдениигипотезы, то информация о том, произошло событие или нет, не дастнам ровно никаких сведений о гипотезе.
Поэтому при выборе событияA следует принимать во внимание вероятность этого события не толькопри соблюдении гипотезы, но и при ее несоблюдении!На практике нас, однако, обычно интересуют не все возможные«несоблюдения» гипотезы H, а лишь некоторые. Во"первых, обычно унаблюдаемого явления x имеются или предполагаются некоторые свой"ства, которые выполняются и при соблюдении, и при несоблюденииH, что ограничивает круг возможных распределений при несоблюде"98нии H. Во"вторых, нас могут интересовать некоторые специфические(например, наиболее часто встречающиеся) нарушения H, и мы можемзахотеть построить правило проверки H, «чувствительное» именно кэтим видам отклонений. Поэтому при проверке статистических гипотезрассматривают не только множество распределений на X, допустимыхпри выполнении H, но и указывают множество H распределений на X,которые мы рассматриваем в качестве «альтернативы» гипотезе H.Определение.
Распределения, с которыми мы можем встретиться в случае нарушения H, называют альтернативными рас'пределениями, или альтернативами. (Иногда говорят также оконкурирующих распределениях и о конкурирующих гипотезах.)Ниже мы увидим, что обычно «специализированные», т.е. рассчи"танные на более узкий круг альтернатив, способы проверки статистиче"ских гипотез, являются (для этих альтернатив!) более «мощными», чем«универсальные», т.е. рассчитанные на широкий круг альтернатив.Выбор критического события.
Теперь вернемся к вопросу выборакритического события A. Идеальным было бы найти для проверки Hтакое событие, которое не может произойти при гипотезе и обязательнопроисходит при альтернативе: появление (непоявление) такого событиябыло бы наилучшим индикатором для H. Прекрасно подошло бы и такоекритическое событие, вероятность которого близка к 0 при гипотезе иблизка к 1 при альтернативе. Однако существование такого событиявозможно не всегда.
Например, при проверке гипотезы о том, чтонекоторый параметр распределения равен a, против альтернативы отом, что он не равен a, такого события указать нельзя, посколькупри приближении параметра распределения к a вероятность любогособытия будет приближаться к тому значению, которое она имела бы припараметре, равном a. В подобных случаях приходится довольствоватьсяменьшим: в качестве критического выбирают событие, вероятность(вероятности — если гипотеза сложная) которого (малая при гипотезе)увеличивается по мере удаления распределения от гипотетического(гипотетических).В некоторых случаях эту мысль удается осуществить в виде выбораоптимального критического множества заданного уровня значимости.Именно так обстоит дело для многих широко используемых статистиче"ских моделей. Например, в схеме Бернулли для некоторых практическиважных гипотез и альтернатив существуют наилучшие (наиболее мощ"ные) критерии.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
