С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 5
Текст из файла (страница 5)
Как это ни парадоксально, такоеположение дел вполне устраивает статистиков. Напротив, сходимостьпоследовательности случайных величин поточечно, т.е. для каждогоω ∈ Ω, в статистике практически не используется. Проиллюстрируемситуацию конкретным и очень важным примером.Пусть{Xn }-последовательностьнезависимыходинаковораспределенных случайных величин, принимающих только значения 0и 1, причем вероятностиP(Xn = 1) = pиP(Xn = 0) = q(= 1 − p)не зависят от номера n. Если объявить событие {Xn = 1} успехом вn-м испытании, мы получим последовательность испытаний Бернуллис вероятностью успеха p.
Обозначим традиционным образом через SNчисло успехов в первых N испытаниях (очевидно, SN = X1 + · · · + XN )и рассмотрим относительную частоту успеха — последовательность½ ¾SN.NСогласно интуитивному смыслу вероятностей, эта относительнаячастота должна сближаться с ростом N с вероятностьюсоответствующего события (успеха), т.е. с p. Тем не менее, можно указатьбесчисленное множество реализаций бесконечной последовательностииспытаний, для которых это не так.
Если 0 < p < 1, такими будут,например, реализация, состоящая из сплошных успехов, и реализация,состоящая из сплошных неудач (и много других, в том числе содержащиелишь конечное число успехов или неудач; читатель может предложитьсвои примеры подобных последовательностей). Каждой реализацииотвечает по крайней мере одна точка ω ∈ Ω, и во всех упомянутых вышеслучаяхSN (ω)6→ pприN → ∞.NОснования статистики17С другой стороны, закон больших чисел Бернулли утверждает, чтоSN /N стремится к p по вероятности. Эта теорема (доказываемая вкурсе теории вероятностей) исторически (около 1700 г.) была первымасимптотическим утверждением такого рода, получившим точнуюформулировку и полное обоснование.Мы уже упоминали в предыдущих параграфах, что элементарныеисходы, как правило, ненаблюдаемы.
В обсуждаемом примере этоочень наглядно видно — для определения такого исхода нужнознать бесконечную реализацию испытаний (может быть, и еще чтото), а наблюдаемы лишь конечные последовательности. Тем самым,определение сходимости по вероятности (и не только в рассматриваемомчастном примере) не может войти в противоречие с эмпирическимиданными — наблюдаются обычно лишь события положительнойвероятности, в то время как элементарные исходы имеют нулевуювероятность.Обсудим теперь наш пример с позиций статистики. ИспытанияБернулли с неизвестной вероятностью успеха p могут в определенныхситуациях выступать в роли модели статистических данных, при этомсами эти данные образуют последовательность X1,эмп.
,. . . , XN,эмп. ,состоящую из нулей и единиц. Относительная частота SN /N попринципу соответствия может рассматриваться как оценка неизвестногопараметра p (о свойствах этой оценки см. дальше). Очень важноосознавать, что одна и та же последовательность SN /N имеет (согласнозакону больших чисел) пределом разные значения p, в зависимостиот способа вычисления вероятностей. Если зафиксировать ту изаприори допустимых мер, которая соответствует испытаниям Бернуллис некоторым конкретным значением p, то по этой вероятности пределомпоследовательности SN /N будет именно это p.
Собственно здесь икроется возможность оценить неизвестную вероятность p — типичныеэмпирические данные как бы автоматически ведут себя нужнымобразом. Так же обстоит дело и в других задачах оценивания (болееточно об этом пойдет речь дальше) —разные априори допустимыевероятностные меры имеют и асимптотически различимые множестватипичных реализаций. Мы еще будем возвращаться к этому примеру помере введения других видов предельного перехода.Сформулируем наиболее распространенные условия, гарантирующиесходимость по вероятности.18Глава 1Условие Чебышёва.
Если {Xn } — последовательность случайныхвеличин с конечными математическими ожиданиями и дисперсиями,причемEXn → 0, VXn → 0,то Xn → 0 по вероятности.Этот результат почти сразу вытекает из неравенства Чебышёва,доказываемого в курсе теории вероятностей:P(|X − EX| ≥ ε) ≤VX.ε2Действительно, подставляя Xn вместо X и учитывая сходимостьдисперсий VXn к нулю, получаем, что Xn − EXn → 0 по вероятности.Теперь, используя сходимость математических ожиданий EXn к нулю,получаем искомое: Xn → 0 по вероятности. Тонкости этого рассуждения,связанные с одновременным использованием сходимости по вероятностии сходимости числовых последовательностей, мы опускаем.Закон больших чисел Хинчина ([12]). Если {Xn } —последовательность независимых одинаково распределенных величин сконечными математическими ожиданиями, то последовательностьX̄ =X1 + · · · XNNсходится по вероятности к общему значению этих математическихожиданий2 .Закон больших чисел для зависимых наблюдений будет обсуждатьсяв приложении C.Вторым видом предельного перехода, используемым в статистике,является предел с вероятностью 1, он же предел почти всюду илипочти наверное.
Соответствующее определение основывается на томобстоятельстве, что для любой последовательности случайных величин{Xn } определена вероятностьP{ω : ∃ lim Xn (ω)}(∃ - квантор существования). Если эта вероятность равна 1, то говорят,что последовательность Xn сходится с вероятностью 1.Этот вид сходимости можно равносильным образом описать так (ср.с определением сходимости по вероятности):2В такой общности закон больших чисел был доказан уже в ХХ веке — примерно в 1925 г.Основания статистики19для любого положительного числа εlim P(∃n ≥ N : |Xn − X| ≥ ε) = 0.N →∞Из последнего соотношения сразу же вытекает, что из сходимости почтивсюду следует сходимость по вероятности.Приведем без доказательства наиболее важное условие сходимости свероятностью 13 .Усиленный закон больших чисел Колмогорова ([12]).
Если Xn— последовательность независимых одинаково распределенных величинс конечными математическими ожиданиями, то последовательностьX̄ =X1 + · · · XNNсходится с вероятностью 1 к общему значению этих математическихожиданий.Очевидно, этот результат усиливает теорему Хинчина. Частнымслучаем теоремы Колмогорова является усиленный закон больших чиселБореля для испытаний Бернулли:µ¶SNP→ p = 1.(1.1)NСимвол P здесь является сокращением — речь идет о способе подсчетавероятностей, связанном с испытаниями Бернулли с той вероятностьюуспехаp,¢ которая присутствует внутри круглых скобок, в выражении¡ SNN → p . Для большей строгости можно было бы включить символp вероятности успеха в обозначение вероятностной меры и писать Pp .Подобное усложнение обозначений не следует использовать без остройнеобходимости (как сказал бы пользователь — и так понятно).Написанное выше соотношение (1.1) еще выразительнее, чем вконтексте сходимости по вероятности, показывает, что различныеаприори допустимые меры (в данном случае они характеризуютсяразличными p) сосредоточены на реализациях с принципиальноразличными свойствами — с разными частотами успехов, и как раз этаособенность и позволяет делать статистические выводы.Роль в статистике сходимости почти всюду во многом связана стем, что из утверждения о более сильной сходимости легче извлекать3И этот результат доказан в ХХ веке — около 1930 г.20Глава 1теоретические следствия.
Прямое прикладное значение этой сходимостизначительно меньше, чем сходимости по вероятности.Еще один вид предельного перехода лишь косвенно связан сослучайными величинами. Это — слабая сходимость вероятностныхраспределений. Мы ограничимся обсуждением одномерного случая, вкотором можно обойтись соответствующими функциями распределения.Говорят, что последовательность {Fn } функций распределения слабосходится к функции распределения F , если для каждой точки x ∈ R, вкоторой F непрерывна,Fn (x) → F (x)."Слабость"здесь следует понимать по отношению к поточечнойсходимости — не в каждой точке, а лишь в точках непрерывностипредельной функции.В этом определении вообще не фигурируют случайные величины,порождающие рассматриваемые законы распределения. Для случайныхвеличин никакой сходимости не предполагается (формально, они могутдаже иметь совершенно разные области определения), более того, втипичных для приложений случаях сходимости случайных величин ине будет.
Тем не менее, условно говорят, что эти величины сходятся поwраспределению. Иногда слабая сходимость обозначается так: Fn −→ F(weak — слабый).В статистике слабая сходимость появляется во многих такназываемых предельных теоремах. Часто при этом предельный законраспределения непрерывен, а тогда слабая сходимость превращается впоточечную. Более того, можно доказать, что в этом случае (когда Fнепрерывна) поточечная сходимость оказывается равномерной.Примерами предельных теорем являются центральная предельнаятеорема (это — собирательный термин для целого ряд сходных теорем,см.
одну из них ниже), теорема Пуассона (см. следующий параграф),теорема Пирсона (см. главу 4).Сформулируем наиболее важный длястатистики вариант центральной предельной теоремы — теорему Леви́,а также ее частный случай для испытаний Бернулли — интегральнуютеорему Муавра-Лапласа.Теорема Леви́([12]). Пусть {Xn } последовательность независимыходинаково распределенных случайных величин с конечнымиматематическими ожиданиями a = EXn и конечными ненулевымидисперсиями σ 2 = VXn 6= 0.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
