2002. Теория вероятности и математическая статистика. Лектор - В.Г.Ушаков (1120051), страница 7

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 7)

Неравенства Маркова и Чебышёва.Закон больших чисел в форме Чебышёва1°°. Неравенства Маркова и Чебышёва.Теорема 9 [А. А. Марков]. Пусть ξ ≥ 0, ∃ Eξ < ∞. Тогда для любого положительного εсправедливо неравенство Маркова:P(ξ > ε ) <Если же ξ ≤ C, то дополнительно P(ξ ≥ ε ) ≥Доказательство. Действительно,Eξ = ∫ ξ (ω )P(dω ) =Ω(ω:ξEξ − εCEξε..∫( ξ) (ω) )P(dω ) + ( (∫ ξ) (ω) )P(dω ) > ε ⋅ P(ξ > ε ) + 0 ⋅ P(ξ ≤ ε ) ⇒ P(ξ > ε ) <ω >εω:ξ ω ≤εДокажем теперь аналогичным образом, что если ξ ≤ C, то P(ξ ≥ ε ) ≥Eξ =(ω:ξEξ − εC.∫( ξ) (ω) )P(dω )+ ( (∫ ξ) (ω) )P(dω ) ≤ C ⋅ P(ξ ≥ ε ) + ε ⋅ P(ξ < ε ) ⇒ P(ξ ≥ ε ) ≥ω ≥εEξ.εω:ξ ω <εEξ − ε.CТеорема доказана.Теорема 10 [П.

Л. Чебышёв]. Пусть у случайной величины ξ существует дисперсия.Тогда для любого положительного ε справедливо неравенство Чебышёва:P(ξ − Eξ ≥ ε ) ≤Dξ.ε2Если дополнительно |ξ | < C, тоP(ξ − Eξ ≥ ε ) ≥Dξ − ε 2.4C 2Доказательство. Возведём неравенство |ξ – Eξ | ≥ ε в квадрат:2ξ − Eξ ≥ ε&2 .*')'( ε∗ηСлучайная величина η (Eη = Dξ ) удовлетворяет неравенству Маркова:()Pη > ε∗ <()E ξ − EξEη2⇔ P ξ − Eξ > ε 2 <∗εε22=Dξ.ε2Если дополнительно |ξ | < C, то |ξ |2 < C2, следовательно,η = |ξ – Eξ |2 < 4C2 и P(ξ − Eξ ≥ ε ) ≥Dξ − ε 2.4C 2Теорема доказана.Следствие. Dξ = 0 ⇔ ξ = Eξ с вероятностью 1, то естьP(|ξ – Eξ | < ε) = 1.Доказательство.

Действительно, согласно неотрицательности вероятности и неравенству Чебышёва0 ≤ P(|ξ – Eξ | ≥ ε ) ≤ 0 ⇒ P(|ξ – Eξ | ≥ ε ) = 0 ⇒ P(|ξ – Eξ | < ε) = 1.Следствие доказано.302°°. Закон больших чисел в форме Чебышёва.Определение. Последовательность случайных величин ξ1, …, ξn, … называется независимой, если ∀N, ∀1 ≤ i1 < i2 < … < iN независимы случайные величины ξ i1 ,!, ξ iN .Утверждение.

Пусть ξ1, …, ξn, случайные величины ξ и η составлены как функцииξ = ϕ (ξ1, …, ξ k), η = ψ (ξ k+1, …, ξn).Тогда ξ и η — независимые случайные величины.Рассмотрим последовательность ξ1, …, ξn, …. ОбозначимSn = ξ1 + ξ2 + … + ξn.Будем говорить, что для этой последовательности выполняется закон больших чисел, еслиPS n − ES nn→ 0 .→∞nДля той же последовательности выполняется усиленный закон больших чисел, еслиS n − ES nn→ 0 с вероятностью 1.→∞nОчевидно, если выполняется усиленный закон больших чисел, то выполняется и закон больших чисел.Теорема 11 (закон больших чисел) [П. Л. Чебышёв].

Пусть ξ1, ξ2, … — последовательность независимых случайных величин, ∀i ∃Dξi < C. Тогда выполняется закон большихчисел: ∀ ε > 0 выполняется S − ES nP n≥ ε  → 0 при n → ∞.nДоказательство. Рассмотрим случайную величину Sn. У неё существует дисперсия,равнаяDSn = Dξ1 + … + Dξn,следовательно, к ней применимо неравенство Чебышёва:nDξ i S n − ES nDS n независимость ∑nCCi =1P≥ ε  = P( S n − ES n ≥ nε ) ≤ 2 2=< 2 2 = 2 n→ 0 .2 2→∞nnεnεnεnεТеорема доказана.Замечания.

1. Можно отказаться от равномерной ограниченности Dξi, позволив им расти со скоростью, медленнее линейной.2. Можно ослабить условие независимости: ξi могут быть зависимы, но ковариациидолжны быть небольшими, или, например, зависимо лишь конченое число ξi, так, чтобысумма дисперсий росла медленнее квадратичной функции.§10.

Лемма Бореля-Кантелли. Усиленный закон больших чисел1°°. Лемма Бореля-Кантелли. Напомним определение верхнего предела последователь∞∞ности множеств {An}: lim sup An = #" Ak , то есть множество элементов, бесконечное числоn→∞nn =1 k = nраз входящих в различные элементы последовательности {An}.Определение. Последовательность событий A1, …, An, … называется независимой, если∀N, ∀1 ≤ i1 < i2 < … < iN независимы события Ai1 ,!, AiN .31Лемма [Э. Борель, Ф. Кантелли].

Справедливы следующие две импликации:∞1) если ∑ P(An ) < ∞ ⇒ P lim sup An  = 0 . n→∞ nn =12) если A1, …, An, … независимы и∞∑ P(A ) = +∞ , то P lim sup A  = 1.nn→∞n =1Доказательство. 1) Пусть∞∑ P(An ) < ∞ ⇒n =1nn∞∑ P(A ) → 0 . Тогдаnn→∞k =n∞ ∞ ∀n  ∞ ∞P lim sup An  = P #" Ak  ≤ P " Ak  ≤ ∑ P(Ak ) n→ 0 .→∞ n→∞ n n=1 k =n  k = n  k =n∞∞∞∞2) Рассмотрим дополнение верхнего предела: lim sup An = #" Ak = "# Ak .

Имеемn →∞nn =1 k = nn =1 k = n( )M∞ ∞∞ ∀M ≥n  M независимость MP lim sup An  = P "# Ak  ≤ P # Ak  ≤ P # Ak PA(1 − P(Ak )) .==∏∏k n→∞ nk =nk =n n=1 k =n  k =n  k =n В силу того, что 1 – x ≤ e –x для любого x ∈ [0, 1],MM∏ (1 − P(Ak )) ≤ ∏ e−P( A ) = e−=kk =nM∑ P ( Ak )k nk =n∞ ∀nM→∞→ 0 , следовательно, P # Ak  = 0 ⇒ P lim sup An  = 1 . n→∞ n k =n 2°°. Неравенство Колмогорова.Теорема 12 [А. Н.

Колмогоров]. Пусть ξ1, ξ2, …, ξn, … — последовательность независимых случайных величин, у каждой из которых существует дисперсия Dξ k. Тогда ∀ε > 0DSсправедливо неравенство Колмогорова: P sup S k − ES k ≥ ε  ≤ 2n . 1≤k ≤n εДоказательство. Не ограничивая общности, будем полагать, что Eξ k = 0. ОбозначимB =  sup S k ≥ ε  , Bk = ( S1 < ε , S 2 < ε ,!, S k −1 < ε , S k ≥ ε ), k = 1, 2, …, n 1≤k ≤nnСогласно введённым обозначениям B1, …, Bn, попарно несовместны и B = " Bk . Так какk =1nnk =1k =1nS n2 ≥ S n2IB = S n2 ∑ IBk = ∑ S n2IBk = ∑ (S n − S k + S k ) IBk =k =1nn2n= ∑ S k2IBk + 2∑ S k IBk (S n − S k ) + ∑ (S n − S k ) IBk ,k =1k =1(n)2k =1n()n()DS n = ES n2 ≥ ∑ E S k2IBk + 2∑ E S k IBk (S n − S k ) + ∑ E (S n − S k ) IBk .k =1k =1 *'')''(k =12ES k IBk E (S n − Sk )Функция S k IBk однозначно определяется по ξ1, …, ξk, и равна ϕ (ξ1, …, ξk).

Аналогично функция Sn – Sk = ξ k+1 + … + ξn = ψ (ξ k+1, …, ξn). Случайные величины S k IBk и Sn – Sk независимы,следовательно,n()n()n()n()∑ E Sk2IBk + 2∑ E S kIBk (Sn − Sk ) + ∑ E (Sn − Sk ) IBk = ∑ E Sn2IBk .k =1k =132k =12k =1Поскольку ES n2 I Bk = ∫ S n2P(dω ) , а S n2 ≥ ε 2 , то ES n2 I Bk ≥ ε 2P(Bk ) , следовательно,Bkn nDS n ≥ ∑ ε 2P(Bk ) = ε 2P " Bk  = ε 2P(B ) .k =1 k =1 Теорема доказана.3°°. Усиленный закон больших чисел в форме Колмогорова.Теорема 13 [А. Н. Колмогоров].

Пусть ξ1, ξ2, … — последовательность независимых∞b2случайных величин, Eξ k = ak, Dξ k = bk2 , ∑ n2 < ∞ . Тогда выполняется усиленный законn =1 nбольших чисел, то естьS n − ES nn→ 0 с вероятностью 1.→∞nДоказательство. Введём случайную величину ηn = sup S m − ES m . Очевидно, выполня1≤m≤ 2nется следующее неравенство:1S k − ES k ≤ 2 −nηn+1 , 2 n ≤ k ≤ 2 n+1 .

Таким образом, достаточноkηn+1n→ 0 с вероятностью 1. Для этого достаточно доказать, что ∀ε > 0 вы→∞2nηполняется лишь конечное число событий вида An =  nn+1 > ε  . В силу леммы Бореля2доказать, чтоКантелли достаточно доказать, что∞∑ P(A ) < ∞ . Рассмотрим этот ряд:nn =1n +1∞ 2bk2 ηn+1 неравенство ∞ DS 2n+1Pε>≤= n Колмогорова ∑ 2 2 n ∑∑ 2 2 n ≤∑n =1  2n =1 ε 2n =1 k =1 ε 2∞kn+1k=2n + 1 = log2kn = log2k – 111n∞bk24 ∞ 24 ∞ 2 2 −2 log 2 k −1 4 ∞ 2 2−2 log 2 k −1−2 n≤ 2 ∑ bk ∑ 2 ≤ 2 ∑ bk ⋅≤ 2 ∑ bk ⋅≤ C∑ 2 < ∞ .3ε k =1 n≥log 2 k −1ε k =1ε k =11 − 14k =1 k4Теорема доказана.4°°.

Усиленный закон больших чисел для независимых одинаково распределённыхслучайных величин.Теорема 14. Пусть ξ1, ξ2, …, ξn, … — последовательность независимых, одинаково распределённых случайных величин. Пусть существует Eξ k = a < ∞. Тогда выполняется усиленный закон больших чисел:S n − ES nn→ 0 с вероятностью 1.→∞n33Доказательство. Введём новую последовательность случайных величин:ξ n ,0,ξ n ≤ n,ξ n > n.{ξ n′ }∞n=1 : ξ n′ = Очевидно, все ξ n′ независимы и E ξ = ∫ ξ k (ω )P(dω ) < C k ;kξ < C почти всюду.

Обозначимξ n′′ = ξ n − ξ n′ , ξ n = ξ n′ + ξ n′′ , S n = S n′ + S n′′ .Согласно введённым обозначениямS n − ES n S n′ − ES n′ S n′′ ES n′ − ES n S n′′ ξ1′′ + $ + ξ n′′,.=+ +=nnnnnnРассмотрим событие Bn = (ξ n′′ ≠ 0 ) .∞∞∞∞∞∞∑ P(B ) = ∑ P(ξ ′′ ≠ 0) = ∑ P(ξ ′′ ≠ 0) = ∑ P(ξ ′′ > 0) == ∑ ∑ P(k − 1 < ξ ′′ ≤ k )nnn =1nn =1nn =1n =1nn =1 k = n +1Поскольку ξ n′′ = ξ n − ξ n′ , (ξ n′′ ≠ 0 ) ⇔ (ξ n′ = 0 ) ⇔ (ξ n′ > n ) , следовательно,∞∞n =1n =1∞∞∞∞m∑ P(Bn ) = ∑ P(ξ n > n ) = ∑ P(ξ1 > n ) = ∑∑ P(m < ξ1 ≤ m + 1) = ∑∑ P(m < ξ1 ≤ m + 1) =n =1n =1 m= nm =1 n =1∞= ∑ mP(m < ξ1 ≤ m + 1) ≤ ∫ ξ1 (ω )P(dω ) = E ξ1 (ω ) < ∞ .m =1ΩСледовательно, согласно лемме Бореля-Кантелли,∞∑ P(ξ ′′ ≠ 0) < ∞ ⇒nn =1S n′′ с вероятностью 1n→ 0 .→∞nДокажем теперь, что для ξ n′ выполняется усиленный закон больших чисел.

Спра-ведливо неравенство Dξ n′ ≤ E(ξ n′ ) , так как2Dξ = E(ξ – Eξ )2 = E ξ 2 – (E ξ )2 ≥ E ξ 2 .nПусть F(x) = P(ξn < x), Dξ n′ ≤ E(ξ n′ ) = ∫ x 2 dF (x ). Тогда2−n∞Dξ n′1≤∑∑22n =1 nn =1 n∞n∞∞ ∞1 n−112xdFx()=∑∑2 ∑2∫n =1 n k =0 k < x ≤ k +1k =1 n = k n2∫ x dF (x ) = ∑−n∫ x dF (x ) .2k −1< x ≤kПоскольку∞1∑nn=k2≤C 2, x ≤ k·| x |,kсправедлива цепочка неравенств∞∞1∑∑2k =1 n =k n+∞∞12xdFxCxdFxC≤≤()()∑∑∫∫∫ x dF (x ) = C ∫0 x dF (x ) = CE ξ1 < +∞ ,k =1 k k −1< x ≤kk =1 k −1< x ≤ kk −1< x ≤ k2∞из чего следует, что ξ n′ удовлетворяет усиленному закону больших чисел (теорема 13).Докажем теперь, что34ES n′ − ES n(ξ ′ − ξ ) + (ξ 2′ − ξ 2 ) + $ + (ξ n′ − ξ n ) → 0 ,n→ 0 ⇔ E 1 1n→∞→∞nnили что то же самоеEES ′′− ξ1′′− ξ 2′′ − $ − ξ n′′n→ 0 ⇔ − n n→ 0 ,→∞→∞nnпоследнее верно, так как из сходимости с вероятностью 1 случайной величиныS n′′следуетnеё сходимость в среднем порядка 1.Теорема доказана.§11.

Характеристические функцииПусть ξ — случайная величина. Характеристической функцией случайной величины ξназывается функция, определённая ∀t ∈ R какϕξ (t) = Eeitξ = Ecos(tξ ) + i·Esin(tξ).Свойства характеристических функций:1. ϕξ (0) = 1, |ϕξ (1)| ≤ 1 ∀t, следовательно, для любой случайной величины ξ и для любого t функция ϕξ (t) определена.2. ϕξ (t) равномерно непрерывна на всей числовой оси:|ϕξ (t + ∆) – ϕξ (t)| = |Eei(t+∆)ξ – Eeitξ | ≤ E|ei∆ξ – 1|.3. Следующие утверждения эквивалентны:a) ϕξ (t) принимает лишь действительные значения.b) ϕξ (t) — чётная функция, то есть ϕξ (– t) = ϕξ (t).c) ξ имеет симметричное распределение (то есть ξ и –ξ одинаково распределены):∀x Fξ (x) = P(ξ < x) = P(– ξ < x) = P(ξ > – x) = 1 – P(ξ ≤ – x) = 1 – Fξ (– x + 0).Действительно, ϕξ (t ) = Eeitξ , ϕξ (− t ) = ϕξ (t ) ⇐ ei (− t )ξ = eitξ , что устанавливает эквивалент-ность первых двух утверждений.

Далее, имеем ϕξ (– t) = Eei(–t)ξ = Eeit(–ξ) = ϕ –ξ (t), а так какϕ (t ) = ∫ eitξ dFξ (x ) ,утверждение доказано.4. Теорема 15 [С. Бохнер, А. Я. Хинчин]. Функция ϕξ (t) является характеристическойфункцией случайной величины ξ тогда и только тогда, когда ϕξ (0) = 1, ϕξ (t) положительноопределена, то есть ∀n, ∀t1, …, tn ∈ R, ∀c1, …, cn ∈ C выполняется∑∑ϕ (tnnj =1 k =1ξj− tk )⋅ c j ck ≥ 0 .5.

ϕξ (t) ≡ ϕη (t), тогда и только тогда, когда Fξ (x) ≡ Fη (x).6. Если ξ абсолютно непрерывна с плотностью pξ (x), то+∞ϕξ (t ) = ∫ eitx pξ (x )dx , pξ (x ) =−∞12π+∞∫eϕξ (t )dt .−tx−∞7. Пусть у случайной величины ξ существует момент n-го порядка Eξ n < ∞. Тогда∃d kϕ (t )= ϕ (k ) (t ), ∀k = 1,!, n и ϕ (k)(0) = i kEξk.dt kТак, например, если существует ϕ (2k)(t)|0, то существует Eξ 2k, и ϕ (2k)(0) = (–1) k·Eξ 2k.35Примеры.

Характеристики

Список файлов лекций