Н.И. Чернова - Теория вероятностей (1119918), страница 22
Текст из файла (страница 22)
Пустьфункция g не убывает и неотрицательна на R. Если E g(ξ) < ∞, тодля любого x ∈ R E g(ξ)P ξ>x 6.g(x)Доказательство. Заметим, что P ξ > x 6 P g(ξ) > g(x) , поскольку функция g не убывает. Оценим последнюю вероятность по неравенствуМаркова, которое можно применять в силу неотрицательности g: E g(ξ)P g(ξ) > g(x) 6.g(x)Бьенеме19 и Чебышёв прямыми методами доказали неравенство, которое нам будет удобно получить как следствие неравенства Маркова.Следствие 18 (неравенство Чебышёва — Бьенеме). Если D ξ существует, то для любого x > 0 DξP |ξ − E ξ| > x 6 2 .xДоказательство. Для x > 0 неравенство |ξ − E ξ| > x равносильнонеравенству (ξ − E ξ)2 > x2 , поэтому2 E ξ − EξDξ22P |ξ − E ξ| > x = P (ξ − E ξ) > x 6= 2.x2xВ качестве следствия получим так называемое «правило трёх сигм»,которое означает, что вероятность случайной величине отличатьсяот своего математического ожидания более чем на три корня издисперсии, мала.
Разумеется, для каждого распределения величина этойвероятности своя: для нормального распределения, например, 0,0027 —см. свойство 12. Мы получим верную для всех распределений с конечнойдисперсией оценку сверху для вероятности случайной величине отличатьсяот своего математического ожидания более чем на три корня из дисперсии.√ 1Следствие 19. Если E ξ2 < ∞, то P |ξ − E ξ| > 3 D ξ 6 .9Доказательство. Согласно следствию 18,p Dξ1P |ξ − E ξ| > 3 D ξ 6 √ 2 = .93 Dξ√ Упражнение.
Найти P |ξ − E ξ| > 3 D ξ , если ξ имеета) равномерное распределение на каком-нибудь отрезке;б) показательное распределение с каким-нибудь параметром;в) распределение Бернулли с параметром 1/2.19 Irénée-JulesBienaymé (28.08.1796 — 19.10.1878, Paris)106ГЛАВА 11. Куда и как сходятся последовательности случайных величин§ 3.
Законы больших чиселОпределение 52. Говорят, что последовательность случайных величин ξ1 , ξ2 , . . . с конечными первыми моментами у д о в л е т в о р я е тз а к о н у б о л ь ш и х ч и с е л (ЗБЧ), еслиξ1 + . . . + ξnE ξ1 + . . . + E ξn p−−→ 0 при n → ∞.(22)nnЗаконами больших чисел принято называть утверждения о том, при каких условиях последовательность случайных величин удовлетворяет законубольших чисел.Выясним сначала, когда выполнен ЗБЧ для последовательности независимых и одинаково распределённых случайных величин.Теорема 33 (З Б Ч Ч е б ы ш ё в а). Для л ю б о й последовательности ξ1 , ξ2 , . .
. попарно независимых и одинаково распределённых случайных величин с конечным вторым моментом E ξ21 < ∞ имеет место сходимость:ξ1 + . . . + ξn p−→ E ξ1 .(23)nЗаметим, что если величины одинаково распределены, то их математические ожидания одинаковы (и равны, например, E ξ1 ), поэтому свойство (22)можно записать в виде (23).ЗБЧ утверждает, что среднее арифметическое большого числа случайных слагаемых «стабилизируется» с ростом этого числа. Как бы сильно каждая случайная величина не отклонялась от своего среднего значения, при суммировании эти отклонения «взаимно гасятся», так что среднееарифметическое приближается к постоянной величине.В дальнейшем мы увидим, что требование конечности второго момента(или дисперсии) связано исключительно со способом доказательства, и чтоутверждение останется верным, если требовать существования только первого момента.Доказательство.
Обозначим через Sn = ξ1 + . . . + ξn сумму первыхn случайных величин. Из линейности математического ожидания получим: E ξ1 + . . . + E ξnn E ξ1Sn=== E ξ1 .EnnnПусть ε > 0. Воспользуемся неравенством Чебышёва (следствие 18) : Sn D SnSn D SnD ξ1 + . . . + D ξnnP −E>ε 6= 2 2 ==nn ε2n εn2 ε 2=n D ξ1D ξ1=→ 0 при n → ∞,22n εnε2(24)ГЛАВА 11. Куда и как сходятся последовательности случайных величин107так как D ξ1 < ∞. Заметим, что дисперсия суммы превратилась в суммудисперсий в силу попарной независимости слагаемых, из-за которой все ковариации cov(ξi , ξj ) в свойстве 14 обратились в нуль при i 6= j.
Сумма жедисперсий слагаемых равняется n D ξ1 из-за их одинаковой распределённости.Замечание 25. Мы не только доказали сходимость, но и получили оценку длявероятности среднему арифметическому любого числа попарно независимых и одинаково распределённых величин отличаться от E ξ1 более чем на заданное ε: ξ1 + . . . + ξnD ξ1P − E ξ1 > ε 6.(25)nnε2Легко видеть, что попарную независимость слагаемых в ЗБЧ Чебышёваможно заменить их попарной некоррелированностью, ничего не меняя в доказательстве. ЗБЧ может выполняться и для последовательности зависимых и разнораспределённых слагаемых. Предлагаю читателям, проследивза равенствами и неравенствами (24), получить доказательство следующего утверждения, предлагающего достаточные условия выполнения ЗБЧ дляпоследовательности произвольных случайных величин.Теорема 34 (З Б Ч М а р к о в а).
Последовательность случайныхвеличин ξ1 , ξ2 , . . . с конечными вторыми моментами удовлетворяетЗБЧ при выполнении любого из следующих условий:D Sn→ 0 при n → ∞;n2б) если ξ1 , ξ2 , . . . независимы и D ξ1 + . . . + D ξn = o(n2 ), т. е. еслиа) если D Sn = o(n2 ), т.
е. еслиD ξ1 + . . . + D ξn→ 0 при n → ∞;n2в) если ξ1 , ξ2 , . . . независимы, одинаково распределены и имеютконечную дисперсию (ЗБЧ Чебышёва).Теорема Маркова утверждает, что ЗБЧ выполнен, если дисперсия суммы n слагаемых растёт не слишком быстро с ростом n.Сильная зависимость слагаемых приводит обычно к невыполнениюЗБЧ. Если, например, D ξ1 6= 0 и ξn ≡ ξ1 , то Sn = nξ1 , и свойство (23)не выполнено (убедиться в этом!). В этом случае не выполнено и условие (а)теоремы Маркова: D Sn = D (nξ1 ) = cn2 . Для одинаково распределённыхслагаемых дисперсия суммы ещё быстрее расти уже не может.Следующее утверждение мы докажем чуть позже.
Сравните его условияс условиями ЗБЧ Чебышёва.Теорема 35 (З Б Ч Х и н ч и н а20 ). Для любой последовательностиξ1 , ξ2 , . . . независимых (в совокупности) и одинаково распределённых случайных величин с конечным п е р в ы м моментом E |ξ1 | < ∞108ГЛАВА 11. Куда и как сходятся последовательности случайных величинимеет место сходимость:ξ1 + . .
. + ξnp−→ E ξ1 .nБолее того, в условиях теоремы 35 имеет место и сходимость п. н. последовательности (ξ1 + . . . + ξn )/n к E ξ1 . Это утверждение называется усиленным законом больших чисел (УЗБЧ) Колмогорова, и его мы доказыватьне будем.Получим в качестве следствия из ЗБЧ Чебышёва закон больших чиселЯ. Бернулли. В отличие от ЗБЧ Чебышёва, описывающего предельное поведение среднего арифметического случайных величин с п р о и з в о л ь н ы м и распределениями, ЗБЧ Бернулли — утверждение только для схемыБернулли.Теорема 36 (З Б Ч Б е р н у л л и). Пусть событие A может произойти в любом из n независимых испытаний с одной и той же вероятностью p, и пусть νn (A) — число осуществлений события A в nиспытаниях. Тогдаνn (A)p−→ p.
При этом для любого ε > 0p(1 − p)− p > ε 6.nnε2n νn (A)P Доказательство. Заметим, что νn (A) есть сумма независимых, одинаково распределённых случайных величин, имеющих распределение Бернулли с параметром p = P(A) (индикаторов того, что в соответствующемиспытании произошло A): νn (A) = ξ1 + . .
. + ξn , где(1, если A произошло в i-м испытании;ξi = Ii (A) =0, если A не произошло в i-м испытании;и E ξ1 = P(A) = p, D ξ1 = p(1−p). Осталось воспользоваться ЗБЧ в формеЧебышёва и неравенством (25).§ 4. Примеры использования ЗБЧ ЧебышёваПример 61. Монета подбрасывается 10 000 раз. Оценим вероятностьтого, что частота выпадения герба отличается от 1/2 на 0,01 или более.Пусть ξ1 , . . . , ξn — независимые случайные величины, каждая из которых имеет распределение Бернулли с параметром p = 1/2 и равна единице,если при соответствующемподбрасываниивыпал герб, и нулю иначе.
НужPn1 νnно оценить P − > 0,01 , где n = 104 , а νn = i=1 ξi — число выn2падений герба. Поскольку D ξ1 = 1/2 · 1/2 = 1/4, искомая оценка сверху20 АлександрЯковлевич Хинчин (19.07.1894 — 18.11.1959)ГЛАВА 11. Куда и как сходятся последовательности случайных величин109выглядит так: νn11 1D ξ1P − > 0,01 6== .24−4n24 · 10 · 104n · 0,01Итак, неравенство Чебышёва позволяет заключить, что в среднем не более чем в четверти случаев при 10 000 подбрасываниях монеты частота выпадения герба будет отличаться от 1/2 на одну сотую или больше.
Мы увидим, насколько это грубая оценка, когда познакомимся с ц е н т р а л ь н о йп р е д е л ь н о й т е о р е м о й.Пример 62. Пусть ξ1 , ξ2 , . . . — случайные величины, дисперсии которых ограничены одной и той же постоянной C, а ковариации любых двух ξiи ξj (i 6= j), не являющихся соседними в последовательности, равны нулю.Удовлетворяет ли эта последовательность ЗБЧ?Воспользуемся подходящим неравенством в (24) и свойством 14: SnSn D Sn> ε 6 2 2;P −Ennn εD (ξ1 + . .
. + ξn ) =nXi=1D ξi + 2Xcov(ξi , ξj ).(26)i<jНо при i < j по условию cov(ξi , ξj ) = 0 для i 6= j − 1. Следовательно, всековариации в равенстве (26) равны нулю, кроме, может быть, cov(ξ1 , ξ2 ),cov(ξ2 , ξ3 ), . . . , cov(ξn−1 , ξn ) (их ровно n − 1 штука).Оценим каждую из них, используя тот факт, что коэффициент корреляции по модулю не превосходит единицы:p√ √pcov(ξi , ξj ) 6 D ξi D ξj 6 C C = C,D Sn =nXi=1D ξi + 2n−1Xcov(ξi , ξi+1 ) 6 nC + 2(n − 1)C.i=1Получаем, что последовательность ξ1 , ξ2 , .
. . удовлетворяет ЗБЧ, так каквыполнено условие (а) теоремы Маркова: D Sn = o(n2 ).Г Л А В А 12Центральная предельная теоремаИз этой первой лекции по теории вероятностей я запомнил только полузнакомый термин «математическое ожидание». Незнакомецупотреблял этот термин неоднократно, и каждый раз я представлял себе большое помещение, вроде зала ожидания, с кафельнымполом, где сидят люди с портфелями и бюварами и, подбрасываявремя от времени к потолку монетки и бутерброды, сосредоточенно чего-то ожидают. До сих пор я часто вижу это во сне.
Но тутнезнакомец оглушил меня звонким термином «предельная теоремаМуавра — Лапласа» и сказал, что всё это к делу не относится.Аркадий и Борис Стругацкие, Стажёры§ 1. Как быстро среднее арифметическое сходитсяк математическому ожиданию?Пусть, как в законе больших чисел Чебышёва, Sn = ξ1 + . . . + ξn —сумма n независимых и одинаково распределённых величин с конечной дисSn p−→ E ξ1 с ростом n. Или, после приведенияперсией. Тогда по ЗБЧnк общему знаменателю,Sn − n E ξ1 p−→ 0.nЕсли при делении на n мы получили в пределе нуль (в смысле некоторой,всё равно какой, сходимости), резонно задать себе вопрос: а не слишкомли на большую величину мы поделили? Нельзя ли поделить на что-нибудь,растущее к бесконечности медленнее, чем n, чтобы получить в пределе ненуль (и не бесконечность, само собой)?Можно поставить этот вопрос по-другому.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
