А.В. Булинский - Курс лекций по теории вероятностей (1120059), страница 6
Текст из файла (страница 6)
Пусть ξ, η — случайные величины, и ξn → ξ, и|ξ| 6 η. Пусть η ∈ L1 . Тогда Eξn → Eξ. Имеем −ξn > −η и E(−η) > −∞. По лемме ФатуE lim inf(−ξn ) 6 lim inf E(−ξn ) ⇒ E(− lim sup ξn ) 6 − lim sup Eξn .(18)Выносим минус за знак E, и получаем E(lim sup ξn ) > lim sup Eξn . Таким образом,E lim sup ξn > lim sup Eξn > lim inf Eξn > E lim inf ξn .(19)Отсюда всё следует, так как ξ = lim ξn = lim inf ξn = lim sup ξn , а потому Eξ > lim sup Eξn > lim sup Eξn > Eξ.Следовательно, lim Eξn = Eξ. Теорема 3.8.
Пусть (Ω, F , P) и (Θ, B, Pξ ) — вероятностные пространства, где ξ : Ω → Θ — случайнаявеличина, а Pξ = Law(ξ). Пусть также ϕ : Θ → R — борелевская функция. ТогдаZZEϕ ξ(ω) = ϕ ξ(ω) P(dω) = ϕ(θ) Pξ (dθ).(20)ΩΘДокажем утверждение сначала для индикаторов. ИмеемdefEIB ξ(ω) = P (ξ ∈ B) = Pξ (B) =Для простой функции ϕ =nPZIB (θ) Pξ (dθ).(21)Θak IAk утверждение также справедливо по линейности интеграла.k=1Теперь пусть ϕ > 0.
Построим простые функции 0 6 ϕn ր ϕ. По теореме о монотонной сходимостиZZEϕn (ξ) = ϕn (θ) Pξ (dθ) → ϕ(θ) Pξ (dθ) = Eϕ(ξ), n → ∞.Θ+(22)Θ−В общем случае рассмотрим ϕ и ϕи повторим предыдущее рассуждение. Замечание. Как уже было замечено выше, все теоремы о сходимости случайных величин можно переформулировать в терминах сходимости почти наверное, пополнив вероятностное пространство, поскольку значениеинтеграла не зависит от значений функции на множестве меры нуль.Далее будем рассматривать вероятностное пространство с σ-конечной мерой, т. е.
такое, которое можно разбить на счётное число подмножеств, каждое из которых имеет конечную меру.Определение. Пусть ξ — случайная величина. Говорят, что она обладает плотностью, если её функцияраспределения представляется интегралом от неотрицательной функции p(t):Fξ (x) =Zx−∞19p(t) dt.(23)Очевидно, что если функция f интегрируема по Риману, то она интегрируема по Лебегу и интегралы совпадают. Если же существует несобственный интеграл Римана у |f |, то существует и интеграл Лебега и они такжесовпадают.Пусть p(t) — плотность величины ξ.
Введём функциюZZQ(B) := p(t) dt = p(t)IB (t) dt.(24)BRЭта функция является мерой на B(R), так как[ ZXXXZp(t)IBi (t) dt =Q(Bi ).QBi = p(t)IBi (t) dt =(25)RRRxИмеем Q (−∞, x] =p(t) dt = Fξ (x). Значит, Q = Pξ .−∞Теорема 3.9. Пусть случайная величина ξ имеет плотность p(t), а ϕ — борелевская функция. ТогдаZZE ϕ(ξ) = ϕ(x) Pξ (dx) = h(t)p(t) dt.(26)RR3.2. Дисперсия и ковариация. Пространство Lp3.2.1.
Определения и свойстваОпределим понятие «момента инерции» случайной величины — величину среднеквадратичного отклоненияот своего среднего значения.Определение. Пусть существует Eξ 2 . Дисперсией величины ξ называется числоDξ := E(ξ − Eξ)2 .(27)Рассмотрим множество Lp случайных величин ξ на вероятностном пространстве (Ω, F , P), у которых существует E|ξ|p , где p ∈ (1, ∞) — некоторое (фиксированное) число. Введём на нём отношение эквивалентности:pп.н.ξ ∼ η ⇔ ξ = η. Положим Lp := L ∼ — пространство классов эквивалентных функций, интегрируемых вместесо своей p-й степенью.Пространство L2 является полным нормированным (гильбертовым) пространством.
Скалярное произведение вводится так:ZhX, Y i := XY dP.(28)ΩОчевидно, что это симметричная билинейная положительно определённая форма. Как будет показано ниже,п.н.hX, Xi = 0 ⇔ X = 0.Таким образом, Dξ имеет смысл, если ξ ∈ L2 .Раскрывая скобки в определении дисперсии, по свойству линейности получаем22(29)Dξ = E (ξ − Eξ) = E ξ 2 − 2ξEξ + (Eξ)2 = E(ξ 2 ) − (Eξ) .Теперь определим «скалярное произведение» случайных величин.Определение. Ковариацией величин ξ, η ∈ L2 называется числоcov(ξ, η) := E (ξ − Eξ)(η − Eη) .(30)Определение корректно в силу неравенства |XY | 6 12 |X|2 + |Y |2 , где X := ξ − Eξ, а Y := η − Eη.Если в определении раскрыть скобки, получится ещё одна хорошая формула для ковариации:cov(ξ, η) = E(ξ · η) − Eξ · Eη.(31)Замечание.
Если ξ, η — независимые случайные величины, то cov(ξ, η) = 0, так как EξEη = Eξη. Обратное, однако, неверно: существуют зависимые случайные величины, с нулевой ковариацией. В качестве примерагодятся, скажем, sin ν и cos ν, где величина ν равномерно распределена на [0, π].20Теперь сформулируем некоторые свойства дисперсии и ковариации. Очевидно, что ковариация если симметричная билинейная функция на L2 , именно потому она имеет сходство со скалярным произведением. Крометого, Dξ = cov(ξ, ξ), и D(Cξ) = C 2 Dξ.Из свойства билинейности и симметричности ковариации следует, чтоDnXk=1ξk =n XnXcov(ξi , ξj ) =i=1 j=1nXDξk +k=1Xcov(ξi ξj ) =i6=jnXDξk + 2Xcov(ξi , ξj ).(32)i<jk=1PPЕсли же ξk попарно независимы, то D ξk = Dξk .Пример 2.1.
Пусть P(ξ = 1) = p, P(ξ = 0) = 1 − p. Тогда Eξ = p, а Dξ = E ξ 2 − Eξ 2 = p(1 − p).3.2.2. Неравенство ЧебышеваЛемма 3.10 (неравенство Чебышева5 для Lp ). Для ∀ α > 0 выполняется неравенствоZαp · P {x : |f (x)| > α} 6 |f (x)|p dP.(33)ΩПусть L := {ω : |f (x)| < α}, а G := Ω r L. ТогдаZZZZ|f |p dP = |f |p dP + |f |p dP > |f |p dP.ΩLG(34)GПоследний интеграл оценим снизу числом αp P(G), ибо |f |p > αp на G. Значит,RΩ|f |p dP > αp · P {|f | > α}. На языке теории вероятностей это неравенство при p = 1 переформулируется так:P (|ξ| > ε) 6E|ξ|.ε(35)п.н.Следствие 3.3. Dξ = 0 ⇔ E|ξ| = 0 ⇔ ξ = 0. Справа налево утверждение очевидно. Наоборот: положим α = n1 для ∀ n ∈ N. Тогда по условию идоказанному неравенству P |ξ| > n1 6 n · E|ξ| = 0. Так как n произвольно, то P (|ξ| =6 0) = 0. Ещё одно следствие леммы будет много раз применяться в следующей главе.Следствие 3.4 (неравенство Чебышева). DξP |ξ − Eξ| > ε 6 2 .ε(36) Рассмотрим случайную величину η := ξ − Eξ и запишем для неё неравенство Чебышева для L2 .
Это ибудет требуемое неравенство, так как Eη 2 = Dξ. 4. Сходимость случайных величин. Закон больших чисел4.1. Закон больших чисел4.1.1. Простейший вариант ЗБЧPОпределение. Говорят, что ξn → ξ по вероятности, и пишут «ξn −→ ξ», если для ∀ ε > 0 вероятностьотклонения ξn от ξ на величину ε стремится к нулю:P |ξn − ξ| > ε → 0, n → ∞.(1)Докажем теперь один из фундаментальных результатов теории вероятностей.Теорема 4.1 (Закон больших чисел). Пусть {ξn } — последовательность попарно независимых случайных величин.
Пусть также их дисперсии ограничены в совокупности: Dξn 6 C < ∞ для ∀ n. Тогдаnnk=1k=1X1XP 1ξk −→Eξk .nn5 Эталемма в явном виде не доказывалась на лекциях, но она сильно сокращает дальнейшие выкладки.21(2)Введём обозначение: ξ :=1nnPk=1ξk . Нужно показать, что P |ξ − Eξ| > ε → 0. По неравенству ЧебышеваnnX Dξ1 X1C·nC!P |ξ − Eξ| > ε 6 2 = 2 2 Dξk = 2 2Dξk 6 2 2 = 2 → 0, n → ∞.εn εn εn εnεk=1(3)k=1Равенство «!» обусловлено попарной независимостью. Иными словами, при большом количестве случайных испытаний отклонение от среднего значения неслучайно. Это явление, замеченное уже давно, как мы сейчас убедились, имеет строгое математическое обоснование.Следствие 4.1.
В схеме испытаний Бернулли средняя частота успехов стремится к p.4.1.2. Теорема Вейерштрассаf.Покажем, как теперь можно сравнительно просто доказать теорему о плотности многочленов в C[0, 1].Теорема 4.2. Пусть f ∈ C[0, 1]. Тогда найдётся последовательность многочленов {Pn } таких, что Pn ⇒ В силу непрерывности на компакте f ограничена по модулю числом M и равномерно непрерывна нанём. Определим многочлены Бернштейна nXkBn (f, p) :=fCkn pk (1 − p)n−k .(4)nk=00Для удобства считаем, что 0 = 1 и Bn (f, 0) = f (0), а Bn (f, 1) = f (1).
Введём независимые величины(1 с вероятностью p;ξk :=0 с вероятностью (1 − p).Пусть σn := ξ1 + . . . + ξn , тогда P(σn = k) = Ckn pk (1 − p)n−k . Теперь заметим, что nσ XknEff=· P(σn = k) = Bn (f, p).nn(5)(6)k=0Приступим у оценке разности. Так как E(const) = const, и |Eξ| 6 E|ξ|, то имеем σ σ n n |f (p) − Bn (f, p)| = Ef (p) − Ef(7) 6 E f (p) − f = (∗).nn σnПусть событие A := n − p < δ , где δ > 0. Тогда, разбивая разность на две части и оценивая вторую понеравенству Чебышева, получаем σ σ σ σ n nn n (∗) = E f (p) − f− p < δ +2M · P − p > δ 6 · IA + E f (p) − f · IA 6 ωf (δ) · P nnn {zn|}6 ωf (δ) + 2M ·Dσnnδ261= ωf (δ) + 2M ·1n2 δ 2nXk=0Dξk = ωf (δ) + 2M ·np(1 − p)M6 ωf (δ) +→ 0, n → ∞,22n δ2nδ 2так как max p(1 − p) = 14 , а модуль непрерывности f стремится к нулю при достаточно малых δ. [0,1]4.2.
Различные виды сходимости и их взаимосвязь4.2.1. Теорема Пуассона4.2.2. Сходимость по вариации4.2.3. Сходимость по распределению и слабая сходимость4.2.4. Сходимость почти всюду и сходимость по вероятности4.3. Усиленные законы больших чисел и их следствия4.3.1. УЗБЧ для некоррелированных величинТеорема 4.3.
Пусть X1 , . . . , Xn , . . . — случайные величины такие, что DXk 6 c < ∞ ∀k и cov Xi Xj = 0∀i 6= j (т.е. случайные величины X1 , . . . , Xn , . . . некоррелированы). Тогдаnnk=1k=11X1Xп.н.Xk −EXk −→ 0,nn22n−→ ∞.(8)Без ограничения общности можно считать, что EXk = 0 ∀k. Действительно, иначе рассмотрим случайныеnek = Xk − EXk . Для них DXek = DXk 6 c, cov Xei Xej = cov Xi Xj = 0, EXek = 0 ∀k и 1 P Xk −величины Xn1nnPEXk =k=11nnPk=1k=1ek .XДля каждого n > 2 найдем m(n) ∈ N: m(n)2 < n 6 (m(n) + 1)2 . Очевидно, m(n) ր ∞.
Обозначим Sn = X1 +|Sm(n)2 | + Zm(n)|Sn |. . . + Xn . Тогда6, где Zm(n) :=maxXm(n)2 +1 + . . . + Xm(n)2 +k (напоминаем, чтоnn16k62m(n)+1|Sm(n)2 | + Zm(n)Sm(n)2Zm(n)|Sn |22(m(n) + 1) = m(n) + 2m(n) + 1). Далее, имеем662 +2 , поэтому достаточноnnm(n)m(n)Sm(n)2 п.н.Zm(n) п.н.доказать, что→ ∞.2 −→ 0 и2 −→ 0 при n −m(n)m(n)|Sm2 (ω)|Для ∀ε > 0 рассмотрим P ω :> ε . По неравенству Чебышёва и используя условия DXk 6 c < ∞m2∀k и cov Xi Xj = 0 ∀i 6= j, получаем2mPDXk|Sm2 (ω)|DSm2cm2ck=1>ε6=6 2 4 = 2 2.P ω:22424mε mε mε mε m∞∞PP|Sm2 (ω)|1Следовательно,P> ε 6 εc2m2m2 < ∞. По лемме Бореля–Кантелли отсюда следует, что ∀ω ∈ Ω0 ,m=1m=1|S 2 (ω)|S 2 п.н.P(Ω0 ) = 1 ∃N (ω) : m 26 ε ∀m > N .
А это и означает, что m2 −→ 0, m −→ ∞.mmZmТеперь рассмотрим m2 . Имеем:! 2m+12m+1[ X |Zm |22>ε =PP |Xm2 +1 + . . . + Xm2 +k | > εm ,P|Xm2 +1 + . . . + Xm2 +k | > εm6m2k=1k=1и применяя неравенство Чебышёва и условия теоремы, отсюда получаем:P|Zm |>εm262m+1Xk=1D(Xm2 +1 + . . . + Xm2 +k )c(2m + 1)2c6∼ 2 3,ε 2 m4ε 2 m4ε mm−→ ∞,Zm п.н.> ε < ∞. Снова по лемме Бореля–Кантелли получаем−→ 0, m −→ ∞. А так какm2m=1Zm(n) п.н.m(n) ր ∞ при n −→ ∞, то и→ ∞. Теорема доказана. 2 −→ 0, n −m(n)поэтому∞PPZmm24.3.2. Теорема ЭтемадиТеорема 4.4 (Этемади).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
