Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 29
Текст из файла (страница 29)
При рассмотрении биномиального распре"деления в п. 2.1 мы вводили случайные величины Xi , i = 1, . . . , n,связанные с отдельными испытаниями: Xi = 1 в случае «успеха» виспытании i, и Xi = 0 — в противном случае. Ясно, что мы можемпредставить S в виде суммы X1 + · · · + Xn , где случайные величиныX1 , .
. . , Xn независимы и одинаково распределены, причем для любогоi: M Xi = p. Тогда мы можем переформулировать утверждение теоремыБернулли в виде: X1 + · · · + XnP − M X < ε → 1 при n → ∞.nИтак, здесь среднее арифметическое от большого числа независимых одинаково распределенных случайных слагаемых оказалосьблизким к их математическому ожиданию. На самом деле это утвер"ждение верно не только для величин Xi , полученных из испытанийБернулли, а является гораздо более общим.
Ниже мы докажем егодля любых величин Xi , имеющих дисперсию. А с помощью небольшихматематических усилий условие наличия дисперсии можно заменитьи более слабым.Как мы говорили в п. 1.8, среднее арифметическое является вы"борочным аналогом математического ожидания. Иначе говоря, если вформуле, определяющей математическое ожидание, заменить истиннуюфункцию распределения F случайных величин Xi на выборочную (эмпи"рическую) функцию распределения Fn , то получится формула среднегоарифметического. На самом деле стремление при больших n значения141выборочной характеристики распределения к значению соответствую"щей теоретической характеристики (часто говорят – к ее истинномузначению) справедливо не только для среднего арифметического.
Привесьма слабых предположениях на свойства F и интересующей насхарактеристики распределения при больших n значение выборочнойхарактеристики распределения стремится к значению соответствующей теоретической характеристики. Это утверждение оченьважно для теории вероятностей и статистики, оно называется закономбольших чисел.Пример. Мореплаватели только сравнительно недавно получили возмож"ность определять координаты своего корабля вдали от берегов.
Если широтукорабля несложно установить с помощью астрономических наблюдений, то дляопределения долготы, т.е. угла поворота земного шара, при котором совмеща"ются местный меридиан и гринвичский, надо точно знать гринвичское время.Следовательно, до появления радио было необходимо иметь на корабле часы,точно идущие по гринвичскому времени.Однако до XIX века существовавшие часы не обеспечивали необходимойдля измерения долготы точности. Лишь в XIX веке были сконструированыособо точные часы — хронометр.
И когда в 1831 г. в кругосветное плавание длясоставления карт отправлялся корабль «Бигль» (эта экспедиция сейчас широкоизвестна благодаря участию в ней молодого тогда Ч.Дарвина), капитан корабляФиц Рой, человек просвещенный и ученый, взял с собой 24(!) хронометра. Грин"вичское время капитан определял усреднением показателей всех хронометров.И он был прав, поскольку по закону больших чисел среднее арифметическое отбольшого числа случайных слагаемых близко к среднему арифметическому отих математических ожиданий (как правило, ближе, чем для каждого слагаемогов отдельности).
Подробнее мы обсудим это ниже.Вернемся теперь к закону больших чисел и сформулируем простей"ший его вариант — теорему Чебышева.Теорема Чебышева. Пусть X1 , . . . , Xn — независимые одинаково распределенные случайные величины, имеющие математическоеожидание и дисперсию. Общее значение математического ожиданияэтих величин обозначим через a.
Тогда для любого ε > 0 при n → ∞ X1 + · · · + XnP − a < ε → 1.nВ статистике среднее арифметическое величин X1 , . . . , Xn обозна"чают X. Так что кратко теорему Чебышева можно записать так: X → a.Äîêàçàòåëüñòâî. Для доказательства теоремы нам потребуется нера"венство Чебышева: пусть ξ — неотрицательная случайная величина, имеющаяматематическое ожидание.
В таком случае для любого ε > 0P (ξ ε) 142Mξ.εПроведем доказательство этого неравенства для случая, когда непрерывнаяслучайная величина имеет плотность распределения вероятностей f (x): ∞ ∞Mξ1 ∞xf (x) dx xf (x) dx =P (ξ ε) =f (x) dx ,εεεεεεчто и требовалось доказать.Применив это неравенство к неотрицательной случайной величине ξ =(X − M X)2 , получим, что11M (X − M X)2 = 2 DX,ε2εто есть для любой случайной величины, имеющей математическое ожидание идисперсию, P (|X − M X| > ε) < DX/ε2 .Применим это утверждение к X. Легко видеть, что M X = a, DX = σ 2 /n,где σ 2 = DXi .
По неравенству ЧебышеваP (|X − M X| ε) = P ((X − M X)2 ε2 ) DXσ2→ 0.=ε2ε2 nПоэтому вероятность противоположного события |X − a| < ε стремится к 1,что и требовалось доказать.P (|X − a| ε) Продолжение примера. Вернемся к измерению времени на «Бигле». По"казание каждого прибора xi , i = 1, . . . , n — это измерение, независимое отдругих хронометров.
Подразумевается, что конструкция хронометра такова,что в работе этого прибора отсутствует систематическая ошибка. Это значит,что одни экземпляры хронометров могут «уходить», другие «отставать», но этиошибки случайные, связанные с изготовлением данного образца. Математиче"ски это условие формулируется так: M Xi = a, i = 1, . . . , n. Качество конструк"ции и технологии изготовления хронометров характеризуется тем, насколькооднородна по точности хода вся продукция в целом. Математически это выра"жается разбросом показаний отдельных приборов, т.е.
дисперсией случайныхвеличин Xi . При доказательстве закона больших чисел мы выяснили, что DXв n раз меньше DXi . Поэтому «среднее время» X ближе к истинному, чемможно ожидать того от отдельных значений xi .Доказательство теоремы Бернулли. Из теоремы Чебышева, как ужеговорилось, легко вывести теорему Бернулли. Пусть S — число успехов в nиспытаниях Бернулли, p — вероятность успеха в отдельном испытании. Введемслучайные величины Xi , i = 1, .
. . , n, связанные с отдельными испытаниями.Пусть Xi = 1, если испытание i закончилось «успехом», и Xi = 0 — впротивном случае. Ясно, что S = X1 + · · · + Xn , а случайные величиныX1 , . . . , Xn независимы и одинаково распределены. Легко видеть, что M Xi = p,DXi = p(1 − p), а Sn = X.
По теореме Чебышева P (| S/n − p | < ε) → 1 приn → ∞, что и требовалось доказать.Центральная предельная теорема. Пусть θ — некоторая теоре"тическая характеристика распределения, θn — ее выборочный аналог,полученный по выборке объема n. Закон больших чисел говорит, чтопри n → ∞ θn → θ с вероятностью 1. Однако для практических задачодного утверждения о сходимости недостаточно — хотелось бы знать,143насколько далеко θn может отклоняться от θ при конкретных значенияхn. Например, мы можем захотеть построить интервал, в который θn − θпопадает с вероятностью 99%, либо найти среднее квадратическое от"клонение величины θn − θ, чтобы затем, скажем, указывать возможныеграницы для неизвестного нам θ по известному значению θn .Лучше всего, когда мы можем точно вычислить распределение слу"чайной величины θn − θ. Иногда это удается сделать (например, вп. 5.2 мы найдем распределения выборочного среднего и выборочнойдисперсии для нормального распределения), однако это бывает оченьредко.
Обычно функцию распределения θn − θ можно получить толь"ко моделированием√ на ЭВМ. Однако асимптотическое распределениеθn − θ (точнее, n (θn − θ)) известно достаточно хорошо. Оказывается,при весьма слабых предположениях на функцию распределения F ихарактеристику θ случайная величина√n (θn − θ)имеет асимптотически (при n → ∞) нормальное распределение с неко"торыми параметрами (a, σ 2 ). Это утверждение носит гордое имя центральной предельной теоремы. Действительно, это одно из ключевыхположений теории вероятностей и статистики, оно весьма важно как втеоретических исследованиях, так и в прикладных задачах.
В этой кни"ге мы еще неоднократно будем встречаться с различными следствиямицентральной предельной теоремы.√Замечание. Множитель n в приведенной выше формуле показывает,как меняется распределение θn − θ, а значит, точность статистических выво"дов, основанных на θn , при увеличении объема выборки n. Мы видим, чтоувеличение точности (например уменьшение√ длины доверительного интервала,см. ниже) происходит пропорционально 1/ n, а не 1/n, т.е. происходит гораздомедленнее, чем рост числа наблюдений. Отсюда следует, что если мы хотимувеличить точность выводов в 10 раз чисто статистическими средствами, мы,как правило, должны увеличить объем выборки в 100 раз.
Подробнее об этомбудем сказано ниже.4.3. 4.3.1. …В математической статистике и теории вероятностей слово параметр (параметры) имеет два близких по смыслу, но все же различ"ных значения. Параметрами распределения вероятностей называютнабор чисел, значения которых полностью определяют это распреде"144ление как конкретный элемент некоторого семейства вероятностныхраспределений.Например, параметрами нормального распределения вероятностей на чи"словой прямой обычно выступает его математическое ожидание (скажем, a)и дисперсия (скажем, b). В этом случае нормальная плотность как функцияаргумента x, изменяющегося от −∞ до +∞, зависит от x и параметров (a, b):21exp( (x−a)).ϕ(x) = √2πb2bВ дальнейшем параметр (или всю их совокупность) будем обозна"чать одной буквой, скажем, θ.
Если параметр один, то θ — число. Еслипараметров несколько, допустим, r, то θ обозначает их совокупность,скажем, θ = (θ1 , . . . , θr ). Обычно параметризацию семейства распреде"лений вводят так, чтобы между значениями параметров и элементамисемейства устанавливалось взаимно"однозначное соответствие, т.е. что"бы разным наборам θ = (θ1 , . . . , θr ) и θ = (θ1 , .
. . , θr ) соответствовалиразные распределения. В остальном выбор параметров (способов пара"метризации) диктуется конкретными обстоятельствами. Например, длянормального распределения на √прямой возможна и параметризация спомощью параметров a и σ = b.Оценки параметров. Любые характеристики распределения ве"роятностей могут быть выражены через его параметры. Поэтому од"на из основных задач математической статистики — по наблюдениямнад независимыми реализациями случайной величины (т.е. по выборке)сделать выводы о параметрах ее распределения, например, указать ихприближенные значения.Вместо словосочетания «приближенное значение» в статистике ис"пользуется термин «оценка».
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
