Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 63
Текст из файла (страница 63)
. . , r − 1 .rsЗаметим, что в качестве оценки функции распределения можно исполь"зовать и выборочную функцию распределения Fn (x), и другие возмож"ности. В этом случае границами интервалов разбиения будут служитьвыборочные квантили (порядковые статистики).После того, как мы определили интервалы разбиения числовой пря"мой, подсчитываем частоты m1 , . . . , mr , по которым будем вычислятьпотом статистику X 2 (10.9) или (10.10) или какую"либо эквивалентную.Следует подчеркнуть, что согласно теореме Фишера, для вычисленияучаствующих в этих формулах вероятностей pi (θ) следует использо"вать частоты m1 , .
. . , mr , и только их. Никакой другой информациейпользоваться нельзя! Нельзя, например, использовать x, s2 в качествеоценок a и σ 2 , по которым затем вычислять pi (θ). Причина та, что есте"313ственные оценки x, s2 составлены по всей выборке, а должны быть —по частотам mi .Можно даже сказать, какие последствия повлечет за собой наруше"ние этого запрета. Статистика X 2 не будет (асимптотически) следоватьраспределению χ2 с r −3 степенями свободы: ее функция распределенияпройдет несколько ниже. Не будет она следовать и распределению χ2с r − 1 степенями свободы (как было бы при точно известных параме"трах). Ее функция распределения пройдет несколько выше. В качествеиллюстрации на рис. 10.2 приведем графики функций распределенияxи"квадрат с 8, 10, 18 и 20 степенями свободы. Графики, соответству"ющие первым двум распределениям, выделяют область в которой будетпроходить график функции распределения X 2 при r = 11, если длявычисления pi (θ) использовались оценки x, s2 . Последние два графиказадают область нахождения функции распределения X 2 при r = 21.Рис.
10.2. Функции распределения хи"квадрат с 8, 10, 18 и 20 степенями свободыПри больших r относительное различие между квантилями распре"делений χ2 с (r − 3) и (r − 1) степенями свободы невелико. Поэтомупоследствия такой ошибки не опасны. Но при малых r следует дей"ствовать «по теории».Из"за всех этих сложностей, условий и оговорок можно сделатьвывод, что для проверки гипотезы о нормальности выборки критерийР.Фишера подходит плохо. Правильнее вместо этого использовать мо"дификации критериев Колмогорова или омега"квадрат. (Начинать жепроверку нормальности надо с глазомерного метода, использующегонормальную вероятностную бумагу, о чем подробно рассказывалось вглаве 5.) Но для многих распределений вероятностей (например — дис"кретных) другой возможности, чем обсуждаемый критерий хи"квадратФишера, просто нет.31410.7.
& . … …Укажем, наконец, еще одну возможность для проверки согласия,которой тоже часто пользуются. Состоит она в том, что проверяютне исходную гипотезу целиком, а какое"либо ее следствие, котороесчитается важным. Скажем, для нормальной случайной величины ξкоэффициент асимметрииM (ξ − M ξ)3(Dξ) 23(10.11)равен нулю.
Поэтому коэффициент асимметрии выборкиn3i=1 (xi − x)(10.12)s3тоже должен быть близок к нулю, если эта выборка — нормальная.Чтобы судить о том, значимо ли отличается от нуля выборочноезначение (10.12), и тем самым, не нарушено ли обязательное длянормального закона соотношение (10.11), надо знать, как распределенастатистика (10.12) при гипотезе. Для малых выборок исследованиеподобных вопросов возможно далеко не всегда и, во всяком случае,требует особого рассмотрения в каждом случае.
Иное дело большиевыборки.Есть стандартная методика, которая позволяет справиться с этойзадачей. Покажем ее действие на другом примере, поскольку о нор"мальном законе говорилось уже слишком много. Посмотрим, как можнопроверить согласие выборки с распределением Пуассона (см. п. 2.2).Для случайной величины ξ, распределенной по Пуассону,Dξ/M ξ = 1,(10.13)наблюдений. Причина в том, что соотношение типа (10.11) и (10.13)не являются характеристическими: даже если (10.11) справедливо, ононе означает, что ξ непременно распределено нормально. Это свойствонеобходимо для нормальности распределения, но не достаточно.
То жесамое можно сказать о (10.13): это необходимое, но не достаточноеусловие для того, чтобы распределение было пуассоновским. Послеэтого обсуждения обратимся к изучению свойств статистики (10.14).Объем выборки n будем считать большим.Распределение статистики критерия. Воспользуемся тем, чтопри n → ∞ случайные величины S 2 − Dξ и x − M ξ стремятся к 0 (законбольших чисел). Поэтому для пуассоновской выборки:S −DξS2Dξ + (S 2 − Dξ)Dξ 1 + Dξ===ξxM ξ + (x − M ξ)M ξ 1 + x−MMξS 2 − Dξx − Mξ1+1−+ ... .DξMξ2Многоточие заменяет случайную величину, убывающую как n−1 .Раскрыв скобки, получаем, что:S2S 2 − Dξx − Mξ1=1+−+ · · · = 1 + (S 2 − x) + . . . ,xDξMξλИсследуем при n → ∞ поведение выражения S λ−x , главной случай"ной составляющей дроби S 2 /x.
Без ущерба для точности вывода вместоS 2 можно взять случайную величину:21(xi − λ)2 .n i=1nТогда вместо S 2 − x появляется:$1 #(xi − λ)2 − xi .n i=1так как для распределения Пуассона Dξ = M ξ = λ, где λ — пара"метр распределения. Поэтому если выборка x1 , . . . , xn извлечена изпуассоновской генеральной совокупности, то отношениеS 2 /x,где S 2 =n(xi − x)2 /n,(10.14)i=1должно быть близким к 1.
Ниже пойдет речь о том, как это проверить.Предостережение. Но сначала одно замечание общего характе"ра: такие проверки никак не могут доказать соответствия выборкитеоретическому закону даже при неограниченном возрастании числа315nВ силу центральной предельной теоремы эта сумма независимых иодинаково распределенных случайных величин распределена приблизи"тельно нормально, с математическим ожиданием: M [(ξ − λ)2 − ξ] = 0и дисперсией n1 D[(ξ − λ)2 − ξ] = n1 M [(ξ − λ)2 − ξ]2 . Для вычисленияпоследнего выражения надо знать, что четвертый и третий центральныемоменты пуассоновского распределения равны соответственноM (ξ − λ)4 = 3λ2 + λ,316M (ξ − λ)3 = λ .После этого подсчет дает, что D[(ξ − λ)2 − ξ] = 2λ2 .
Следователь"но, статистика (10.14) S 2 /x распределена приблизительно по законуN (1, 2λ2 /n).Критерий проверки гипотезы. Зная распределение статистики(10.14) в случае справедливости нулевой гипотезы о принадлежностивыборки к распределению Пуассона, можно указать пределы, в которыес вероятностью приблизительно, скажем, 0.99 должно попадать отноше"ние S 2 /x в случае справедливости гипотезы: √ S 2 /x − 1 < u0.995 , n√(10.15)λ 2 где uα обозначает квантиль уровня α стандартного нормального рас"пределения.Если мы хотим использовать это соотношение для практическойпроверки гипотезы о пуассоновском распределении выборки, надо заме"нить неизвестное значение λ его оценкой по выборке.
Как отмечалосьранее в главе 4, для больших выборок наилучшей является оценка наи"большего правдоподобия, которая для пуассоновского распределенияравна x. Следовательно, надо проверить по выборке, выполняется лисоотношение:2 √ S 2 /x − 1 √ n < u0.995 = 2.58, т.е.
n S − x < 3.6.4 .√(10.16)2(x) x 2Если это неравенство не выполняется, гипотезу о том, что выборкаизвлечена из распределения Пуассона, следует отвергнуть на уровнезначимости (примерно) 0.01. Понятно, что при другом уровне значи"мости в правой части (10.15) будет стоять другая квантиль и поэтомуправая часть (10.16) тоже будет другой.Обсуждение и обобщения. Поскольку этот способ проверки при"ближенный, то чем большего объема окажется выборка в нашем распо"ряжении, тем точнее будет соблюден номинальный уровень значимости.К сожалению, трудно сказать определенно, начиная с какого n результаттакой проверки заслуживает доверия; по"видимому, для этого требуетсяне менее сотни наблюдений.Подобным образом может быть проверено любое свойство теорети"ческого распределения, если только мы располагаем достаточно боль"шой выборкой.
Главное здесь — выбор самого свойства. Эта харак"теристика распределения должна быть существенна для дальнейшего.Как правило, знания о типе распределения нужны для того, чтобы наих основе сделать по выборочным данным те или иные выводы. Неред"ко оказывается, что для справедливости этих выводов особенно важны317лишь некоторые свойства теоретического закона распределения. Имен"но эти свойства и надо в первую очередь проверить.Например, при применении критерия Стьюдента к выборкам, не"сколько отличающимся от нормальных, результаты будут близки к пра"вильным (для больших выборок), если коэффициенты асимметрии иэксцесса такие же, как у нормального закона. Поэтому в проверкуна нормальность в этом случае надо включить вычисление выборочныхкоэффициентов асимметрии и эксцесса и их значимости. Критериипроверки нормальности, опирающиеся на эти коэффициенты, подробноизложены в [19].10.8.
STADIA SPSSВ этом параграфе мы покажем, как процедуры проверки согласиямогут быть реализованы в статистических пакетах. Мы будем интере"соваться в первую очередь типичными ситуациями, но не обойдем и тетонкости, которые отмечали в этой главе. Как будет видно, порой онибывают существенны для правильных статистических выводов. В раз"бираемых ниже примерах особое внимание будет обращено, во"первых,на чувствительность поведения статистик Колмогорова и хи"квадрат к«грубым» ошибкам в наблюдениях, и, во"вторых, на важность правиль"ного определения минимальных уровней значимости этих критериевдля сложных гипотез.10.8.1. STADIAПример 10.1к.
Проверим согласие распределения выборки диа"метров головок заклепок (табл. 1.1) с нормальным распределением,используя критерий Колмогорова. Проведем аналогичные расчеты для«цензурированной» выборки.Ïîäãîòîâêà äàííûõ. Данные этого примера уже рассматривалисьв примерах 1.1к и 5.1к. Там же описан ввод (загрузка) данных в редакторбазы данных пакета в переменную d (рис. 1.16).
Как отмечалось впримере 5.1к, указанная выборка содержит одно резко выделяющеесянаблюдение, равное 14.56. Удалив это значение, поместим оставшиесяданные в переменную dc.Âûáîð ïðîöåäóðû. В меню Статистические методы (рис. 1.17) в разделеРаспределения и частоты выберем пункт U = Согласие распределений.318Рис. 10.3. Окно выборапеременной для анализаРис. 10.6. Пакет STADIA. Графики эмпирической иподобранной гипотетической функции распределения: слева —исходные данные; справа — «цензурированные» данныеРис. 10.4.
Запрос типа распределениядля проверки согласияÇàïîëíåíèå ïîëåé ââîäà äàííûõ. В появившемся окне Анализпеременной (рис. 10.3) задайте переменную для анализа. Для этого вполе Исходн. перем. выделите мышью переменную d и, нажав кнопкузапроса со стрелкой вправо, перенесите ее в поле Для анализа. Затемнажмите кнопку запроса Óòâåðäèòü.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
