Лекции по терверу - Горяйнов (1188226), страница 8
Текст из файла (страница 8)
При этом, если η имеет конечноематематическое ожидание Eη = Eϕ(ξ), тоZEϕ(ξ) =ϕ(x)dPξ (x).(7.1)RВ случае ϕ(x) = x мы снова приходим к формуле для вычисления Eξ. Формула (7.1) является основной при вычислениях, связанных со случайной величиной ξ.
В частности, для вычисления дисперсии Dξ = Eξ 2 − (Eξ)2 требуетсясуществование интегралаZEξ 2 =x2 dPξ (x).RВ случае дискретной случайной величины ξ =принимает видEϕ(ξ) =nXk=1ϕ(xk )Pξ ({xk }) =nXk=1Pnk=1xk 1Dk формула (7.1)ϕ(xk )P({ω : ξ(ω) = xk }).Если же распределение вероятностей случайной величины ξ описывается плотностью fξ , то формула (7.1) записывается в видеEϕ(ξ) =ZRϕ(x)fξ (x)dx =Z∞−∞ϕ(x)fξ (x)dx.(7.2)36В. В. ГОРЯЙНОВИнтуитивно этот интеграл можно трактовать как бесконечную сумму произведений значений ϕ(x) случайной величины ϕ(ξ) на вероятности fξ (x)dx,с которыми эти значения принимаются.
Формально интеграл в равенстве (7.2)понимается в смысле Лебега. Однако в случае, когда он существует как несобственный абсолютно сходящийся интеграл Римана, то он будет совпадать синтегралом Лебега.Допустим теперь, что ξ и η — две случайные величины, определенные наодном вероятностном пространстве (Ω, A , P). Тогда мы можем рассмотретьизмеримое отображение (ξ, η) : (Ω, A ) → (R2 , B(R2 )), где B(R2 ) — минимальная σ-алгебра подмножеств в R2 , порожденная открытыми множествами.
Каки в случае одной случайной величины, мы можем определить на B(R2 ) мерупосредством равенстваPξ,η (B) = P({ω : (ξ(ω), η(ω)) ∈ B}),B ∈ B(R2 ).Мера Pξ,η называется совместным распределением случайных величин ξ и η,или распределением вероятностей случайного вектора (ξ, η). Посредством совместной функции распределения Fξ,η легко определяется мера прямоугольниковPξ,η ((a1 , a2 ] × (b1 , b2 ]) = Fξ,η (a2 , b2 ) − Fξ,η (a1 , b2 ) − Fξ,η (a2 , b1 ) + Fξ,η (a1 , b1 ).В случае абсолютно непрерывного совместного распределения, когда существует плотность fξ,η , вероятность попадания случайной точки (ξ, η) в областьD ⊂ R2 определяется двойным интеграломZZP({ω : (ξ(ω), η(ω)) ∈ D}) =fξ,η (x, y)dxdy.DЕсли ϕ(x, y) — борелевская функция и ζ = ϕ(ξ, η) имеет конечное математическое ожидание, тоZZEϕ(ξ, η) =ϕ(x, y)fξ,η (x, y)dxdy.R2В частности,Eξη =ZZxyfξ,η (x, y)dxdy.R2Это дает способ вычисления ковариации cov(ξ, η) случайных величин ξ и η,которые имеют абсолютно непрерывное совместное распределение.§ 8.
Неравенство Чебышева. Закон больших чиселНеравенство Чебышева позволяет оценить вероятность отклонения случайной величины от ее математического ожидания.37ЛЕКЦИИ ПО ТВТеорема 8.1. Пусть случайная величина ξ имеет конечную дисперсию (конечный второй момент). Тогда для любого ε > 0 выполняются следующиенеравенстваE|ξ|P({ω : |ξ(ω)| > ε}) 6,(8.1)εDξP({ω : |ξ(ω) − Eξ| > ε}) 6 2 .(8.2)εДоказательство.
Из очевидного неравенства|ξ| = |ξ|1{|ξ|>ε} + |ξ|1{|ξ|<ε} > ε1{|ξ|>ε}и свойства монотонности математического ожидания получаемE|ξ| > εP({|ξ| > ε}),откуда следует неравенство (8.1). Доказательство неравенства (8.2) основывается на доказанном неравенстве (8.1). Действительно,P({|ξ − Eξ| > ε}) = P({(ξ − Eξ)2 > ε2 }) 6и теорема доказана.Dξε2Неравенство (8.1) иногда называют неравенством Маркова. Для его выполнения достаточно конечности первого момента, т. е. E|ξ| < ∞.
Конечностьвторого момента, т. е. Eξ 2 < ∞, влечет и конечность первого момента. Этоследует из неравенства Шварца(Eξη)2 6 (Eξ 2 )(Eη 2 ),которое легко переносится с простых случайных величин на произвольные.Неравенство (8.2) известно как неравенство Чебышева.Приведем одно из приложений неравенства Чебышева, известное как правило трех сигм. Пусть ξ — случайная величина с математическим ожиданиемEξ = m и дисперсией Dξ = σ 2 . Тогда применение неравенства Чебышева (8.2)с ε = 3σ дает следующую оценку вероятности отклонения случайной величиныот ее математического ожиданияP({|ξ − m| > 3σ}) 61.9Это общее неравенство существенно улучшается в случае конкретных распределений. В частности, если случайная величина ξ имеет нормальное распределение, то вероятность отклонения ξ от m на 3σ очень близка к нулю.Теорема 8.2.
[Закон больших чисел Чебышева] Пусть ξ1 , ξ2 , . . . — последовательность независимых случайных величин, для которых Dξn 6 C, n =1, 2, . . ., при некотором C > 0. Тогда для любого ε > 0 выполняется следующеепредельное соотношение SnESn lim P −>ε= 0,n→∞nn где Sn = ξ1 + . . .
+ ξn .38В. В. ГОРЯЙНОВДоказательство. Применяя неравенство Чебышева (8.2), получаем SnDSnESn P > ε 6 2 2.−nnε nПоскольку случайные величины ξ1 , . . . , ξn независимы, тоDSn = Dξ1 + . . . + Dξn 6 Cn.Следовательно, SnCnESn CP >ε 6 2 2 = 2 → 0−nn ε nε nпри n → ∞. Теорема доказана.Следствие 8.1. Пусть ξ1 , ξ2 , . . . — последовательность независимых случайных величин с одинаковыми математическими ожиданиями Eξn = a иодинаковыми дисперсиями Dξn = σ 2 , n = 1, 2, .
. .. Тогда для любого ε > 0выполняется соотношение Snlim P − a > ε = 0.n→∞nПредельные соотношения в теореме 8.2 и следствии 8.1 принято называтьзаконами больших чисел. Содержание закона больших чисел состоит в том,что среднее арифметическое суммы независимых случайных величин становится близким к постоянной с вероятностью, сколь угодно близкой к единице,при числе слагаемых, стремящимся к бесконечности.
Один из первых законовбольших чисел был получен Бернулли.Теорема 8.3. [Бернулли] Пусть Sn — число успехов в серии из n независимых испытаний с вероятностью p, 0 < p < 1, в отдельном испытании. Тогдадля любого ε > 0 выполняется соотношение Snlim P − p > ε = 0.n→∞nДоказательство. Пусть ξk — индикатор успеха в k-том испытании, т. е.ξk = 1, если в k-том испытании произошел успех, и ξk = 0 в противном случае.Тогда ξ1 , ξ2 , .
. . — последовательность независимых одинаково распределенныхслучайных величин. При этомP(ξk = 1) = p,P(ξk = 0) = 1 − p,Eξk = p,Dξk = p(1 − p).Применяя к этой последовательности следствие 8.1, получаем требуемое утверждение.Замечая, что в условиях теоремы 8.3 Sn — количество успехов в n независимых испытаниях, а Sn /n — частота появления успеха, приходим к теоретическому обоснованию того, что вероятность события проявляется через частотуего появления.39ЛЕКЦИИ ПО ТВНеравенство Чебышева позволяет достаточно просто доказать известнуютеорему Вейерштрасса о равномерном приближении непрерывной на отрезкефункции полиномами.Пусть f — вещественная функция, непрерывная на отрезке [0, 1].
В силу теоремы Кантора она равномерно непрерывна на [0, 1] и ее модуль непрерывностиω(δ; f ) = sup{|f (x0 ) − f (x00 )| : |x0 − x00 | 6 δ,x0 , x00 ∈ [0, 1]}стремится к нулю при δ & 0. Кроме того,sup{|f (x)| : x ∈ [0, 1]} = M < ∞.Для n = 1, 2, . . . определим полиномы Бернштейна nXkBn (x; f ) =fCnk xk (1 − x)n−k .nk=0Их структура связана с законом больших чисел для схемы Бернулли. Действительно, пусть Sn — количество успехов в схеме Бернулли с вероятностьюx ∈ [0, 1] успеха в отдельном испытании. Тогда Sn.Bn (x; f ) = EfnТеорема 8.4. [Бернштейна] Для любой непрерывной на [0, 1] функции fвыполняется предельное соотношениеmax |Bn (x; f ) − f (x)| → 0x∈[0,1]при n → ∞.Доказательство. Пусть δ > 0 и n ∈ N.
Тогда n Xk|Bn (x; f ) − f (x)| = Cnk xk (1 − x)n−k f− f (x) nk=0X6 ω(δ; f )Cnk xk (1 − x)n−kkk: |n−x|6δ+ 2MXkk: |n−x|>δCnk xk (1 − x)n−k .Поскольку DSn = nx(1 − x) 6 41 n, то в силу неравенства Чебышева получаемXCnk xk (1kk: |n−x|>δСледовательно,n−k− x) SnD Snn1= P − x > δ 66.nδ24δ 2 nmax |Bn (x; f ) − f (x)| 6 ω(δ; f ) +x∈[0,1]M.2δ 2 n40В. В. ГОРЯЙНОВПусть теперь ε > 0. Выберем δ > 0 так, чтобы ω(δ; f ) < ε/2.
Затем выберем Nтак, чтобы выполнялось неравенствоMε< .22δ N2Но тогда при n > N и всех x ∈ [0, 1] будет выполняться неравенство|Bn (x; f ) − f (x)| 6ε ε+ = ε2 2и теорема доказана.§ 9. Характеристические функции.Центральная предельная теоремаАналитический аппарат производящих функций является эффективным инструментом, но имеет ограниченную сферу применения в рамках целочисленных случайных величин.
В общем случае аналогичную роль играют характеристические функции.Для определения характеристической функции нам нужно перейти к комплексным случайным величинам. Пусть ξ = ξ1 +iξ2 , где ξ1 и ξ2 — вещественныеслучайные величины с конечными математическими ожиданиями. Тогда определим Eξ = Eξ1 + iEξ2 . Основные свойства математического ожидания (линейность и мультипликативное свойство) переносятся и на комплексные случайныевеличины. Используя тригонометрическую форму записи комплексных чиселz = |z|(cos ϕ + i sin ϕ) = |z|eiϕ ,где ϕ — аргумент комплексного числа, устанавливается неравенствоq22|Eξ| = |Eξ1 + iEξ2 | 6 Eξ1 + ξ2 = E|ξ|.Действительно, пусть Eξ = |Eξ|eiθ . Тогда|Eξ| = e−iθ Eξ = E(e−iθ ξ) = Re{E(e−iθ ξ)} = ERe{e−iθ ξ} 6 E|ξ|.Под характеристической функцией вещественной случайной величины понимается функцияhξ (t) = Eeitξот переменной t ∈ R.
Поскольку |eitξ | = 1, то математическое ожидание вопределении hξ существует, т. е. характеристическая функция (как и функцияраспределения) определена для каждой случайной величины. Характеристическая функция вполне определяется распределением вероятностей случайнойвеличины. Если ξ имеет дискретное распределение P(ξ = xk ) = pk , k = 1, .
. . , n,тоnnXXhξ (t) =pk eixk t =pk (cos xk t + i sin xk t).k=1k=141ЛЕКЦИИ ПО ТВВ случае абсолютно непрерывного распределения, т. е. когда распределениевероятностей случайной величины ξ описывается плотностью fξ (x), характеристическая функция определяется по формулеhξ (t) =Z∞eitx fξ (x)dx.−∞Свойства характеристических функций.1◦ .2◦ .3◦ .4◦ .|hξ (t)| 6 1 и hξ (0) = 1;hξ (−t) = hξ (t);haξ+b (t) = eitb hξ (at), a, b ∈ R;Если ξ1 , . . . ,Qξn — независимые случайные величины и Sn = ξ1 + . . . + ξn ,nто hSn (t) = k=1 hξk (t);5◦ . Функция hξ (t) равномерно непрерывна на R и если E|ξ|n < ∞, то hξ (t)имеет производные до n-го порядка включительно и1 (n)h (0).in ξEξ n =Свойства 1◦ — 4◦ следуют непосредственно из определения характеристической функции и свойств математического ожидания.
Доказательство последнего свойства опирается на теорему Лебега о предельном переходе под знакоминтеграла.Теорема 9.1. [Бохнера] Для того, чтобы непрерывная на R функция h(t) сh(0) = 1 была характеристической функцией некоторого распределения, необходимо и достаточно, чтобы она была положительно определенной, т. е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
