С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 38
Текст из файла (страница 38)
С помощьюформулы (A.1) легко получаем такж嵶 µ¶µ¶µ ¶11311(2k)! √Γ k+= k−k−··· Γ= 2kπ.222222 k!Вычислим теперь непосредственно свертку гамма-плотностей Γ(α, p1 )и Γ(α, p2 ):(g1 ∗ g2 )(x) =Z xαp1 p1 −1 −αy αp2ye(x − y)p2 −1 e−α(x−y) dy =Γ(p2 )0 Γ(p1 )Z xαp1 + p2 −αxy p1 −1 (x − y)p2 −1 dy = (y = xz) =eΓ(p1 )Γ(p2 )0Z 1p1 +p2α−αx(xz)p1 −1 (x − xz)p2 −1 xdz =eΓ(p1 )Γ(p2 )0Z 1p1 +p2αzp1 − 1(1 − z)p2 −1 dz.xp1 +p2 −1 e−αxΓ(p1 )Γ(p2 )0Сравнивая полученное выражение с основной формулой для плотностиΓ(α, p1 + p2 ), получаемZ 111z p1 −1 (1 − z)p2 −1 dz =.Γ(p1 )Γ(p2 ) 0Γ(p1 + p2 )Из этого равенства вытекает, чтоZ 1Γ(p1 + p2 ) p1 −1z(1 − z)p2 −1 dz = 10 Γ(p1 )Γ(p2 )— условие нормировки для плотности бета-распределения.Перейдем теперь к вычислению моментов гамма-распределения.Z ∞Z ∞ pα k+p−1 −αxkkE(X ) =x g(x)dx =xe dx =Γ(p)00αp Γ(p + k) Γ(p + k)==.Γ(p) Γ(p)αkΓ(p)αkПриложения227При натуральном k с помощью формулы(A.1) легко получаемp(p + 1) · · · (p + k − 1)E(X k ) =.αkВ частности,p(p + 1)p.EX = , E(X 2 ) =αα2Из последней формулы следует, чтоp(p + 1) p2pVX =−=.α2α2α2Аналогично проверяется, что2pE[(x − EX)3 ] = 3 .αВ частном случае показательного распределения (p = 1)k!11E(X k ) = k , EX = , VX = 2 .αααМоменты бета-распределения B(p1 , p2 ) вычисляются аналогичнымобразом:E(X k ) =Z 1Γ(p+p)12=xk+p1 −1 (1 − x)p2 −1 dx =xk p(x)dx =Γ(p1 )Γ(p2 ) 00Γ(p1 + p2 ) Γ(p1 + k)Γ(p2 ) Γ(p1 + k)Γ(p1 + p2 )=·=.Γ(p1 )Γ(p2 ) Γ(p1 + p2 + k)Γ(p1 )Γ(p1 + p2 + k)При натуральном k формула (A.1) позволяет вывести отсюдаZ1E(X k ) ==p1 (p1 + 1) · · · (p1 + k − 1).(p1 + p2 )(p1 + p2 + 1) · · · (p1 + p2 + k − 1В частности,EX =p1,p1 + p2E(X 2 ) =p1 (p1 + 1),(p1 + p2 )(p1 + p2 + 1)p1 p2.(p1 + p2 )2 (p1 + p2 + 1)При p1 = p2 = 1 получаем моменты равномерного распределения наh0, 1i:111EX = , E(X k ) =, VX =2k+112(впрочем, их проще вычислить непосредственно).VX =228ПриложенияB.
Многомерное нормальноераспределениеНачнем с определения. Случайный вектор X размерности r имеетнормальное распределение, если для любого z ∈ Rr одномернаяслучайная величина z 0 X нормально распределена. Мы при этомпридерживаемся соглашения, упоминавашегося в параграфе 1.5, о том,что вырожденное распределение считается нормальным.Из приведенного определения следует, что любая компонента Xj(и любой подвектор) нормально распределенного вектора X такжеимеет нормальное распределение (в качестве z 0 берем координатныевекторы (1, 0, · · · , 0),.
. . ,(0, · · · , 0, 1)). Обратное утверждение неверно:если каждая компонента случайного вектора X нормально распределена,сам вектор не обязан иметь нормальное распределение2 .В учебниках теории вероятностей доказывается, что многомерноенормальное распределение однозначно определяется вектором среднихзначений a = EX и матрицей ковариаций C = E[(X − EX)(X − EX)0 ].Более точно, если a ∈ Rr — произвольный вектор, а C — произвольнаясимметричная неотрицательно определенная матрица r-го порядка, тосуществует (единственное) нормальное распределение в Rr , имеющееэтот вектор и эту матрицу в качестве вектора средних и матрицыковариаций.Если C — строго положительно определенная матрица (в этом случаеона невырождена, и существует обратная матрица C −1 ), то нормальноераспределение задается плотностьюp(x) = (2π)−r/2 √11exp{− (x − a)0 C −1 (x − a)}.2det CЕсли C вырождена, то соответствующее нормальное распределениесосредоточено на некотором линейном многообразии меньшейразмерности.
Вводя в нем систему координат, можно в этих координатах2К сожалению, подобную ошибку можно встретить и в популярных учебниках229230Приложениязаписать плотность нормального распределения аналогичной формулой.Пример подобной ситуации можно получить, если нормальнораспределенный вектор X, имеющий плотность, вложить в пространствобольшей размерности. В этом объемлющем пространстве у него уже небудет плотности.Важный частный случай многомерного нормального распределениявозникает при рассмотрении независимых нормально распределенныхвеличин.
Если X1 , · · · , Xr независимы, причем Xi ∈ N(ai , σi2 ) (i =1, · · · , r), то вектор X, составленный из величин X1 , · · · , Xr , всегда имеетмногомерное нормальное распределение с параметрами a = (a1 , · · · , ar )0 ,C = diag(σ12 , · · · , σr2 ).В отдельных случаях оказывается полезной формула для двумернойнормальной плотности (частный случай общей формулы):p(x1 , x2 ) =1p·2πσ1 σ2 1 − ρ2½·¸¾(x1 − a1 )21(x1 − a1 )(x2 − a2 ) (x1 − a1 )2exp −+− 2ρ2(1 − ρ2 )σ12σ1 σ2σ22=(в этой формуле использован вместо ковариации коэффициенткорреляции ρ между компонентами двумерного нормальнораспределенного вектора).C. Закон больших чисел длязависимых случайных величинДля простоты формулировки мы ограничимся случаем центрированныхвеличин: EXn = 0, однако не будем предполагать их одинаковойраспределенности. Условия теоремы, приводимой ниже, используюткорреляционныехарактеристики,поэтомумыпредположим22существование дисперсий σn = E(Xn ) 6= 0.
Обозначим через ρmnкоэффициент корреляции между Xm и Xn .ТЕОРЕМА.Пусть {Xn } — последовательность центрированныхслучайных величин с конечными ненулевыми дисперсиями.Предположим, что последовательность их дисперсий ограничена:σn2 ≤ c < ∞, а коэффициенты корреляции удовлетворяют условиюρmn → 0 при |m − n| → ∞.Тогда для последовательности {Xn } справедлив закон больших чисел:X1 + · · · + XN→ 0 при N → ∞Nпо вероятности.Теорема относительно несложно доказываетсянеравенства Чебышёва: достаточно проверить, что1var(X1 + · · · + XN ) →N →∞ 0.N2припомощи(C.1)Зафиксируем малое положительное число ε и найдем по ε натуральноеK, такое, что|ρmn | ≤ ε при |m − n| > K.231232ПриложенияТогда при N > K можно написать оценкуà N!X11var(X+···+X)=σm σn ρmn ≤1NN2N 2 m,n=1XXc≤ 2|ρmn | +|ρmn ≤N1≤m,n≤N :|m−n|≤K1≤m,n≤N :|m−n|>K¢c ¡ 2N−α(K)+εα(K).NNN2Здесь αN (K) — число слагаемых во второй сумме; легко сосчитать, чтоαN (K) = (N − K − 1)(N − K).
Подставляя это значение в нашу оценкуи переходя к верхнему пределу при N → ∞, получаемlim supN →∞1var(X1 + · · · + XN ) ≤ cε.N2Ввиду призвольности ε это неравенство доказывает (C.1) и теорему.D. Условные математическиеожиданияНапомним сначала простейшее определение условного математическогоожидания.Пусть H — событие ненулевой вероятности, X — случайная величинас конечным математическим ожиданием. Тогда числоE(X|H) =1E(X1H )P(H)(D.1)называется условным ожиданием X при условии H.
Наглядный смыслвыражения в правой части состоит в том, что оно является усреднениемвеличины X по множеству H. В частном случае, когда X = 1A , мыполучаем обычное элементарное определение условной вероятности:P(A|H) = E(1A |H) =E(1A 1H )=P(H)=E(1AH ) P(AH)=.P(H)P(H)Обобщением определения (D.1) является определение условногоожидания относительно разбиения.Пусть H = {H1 , H2 , · · · } — полная группа событий, т.е.
разбиениепространства элементарных исходов Ω на непересекающиеся части:H1 ∪ H2 ∪ · · · = Ω,Hi ∩ Hj = ∅ (i 6= j).Предположим еще, что все вероятности P(Hi ) ненулевые, и составим изусловных математических ожиданий E(X|Hi ) функциюX̂(ω) = E(X|Hi ),ω ∈ Hi .(D.2)Эта функция X̂ называется условным математическим ожиданиемвеличины X относительно разбиения H и обозначается E(X|H).233234ПриложенияПодчеркнем, что здесь условное ожидание перестает быть числоми становится случайной величиной. Ее наглядный смысл —"локальное"усреднение величины X , т.е. усреднение по отдельныммножествам Hi . Случайная величина X̂ постоянна на событиях Hi ив этом смысле измерима относительно σ-алгебры σ(H), порожденнойразбиением H: для каждого промежутка ha, bi его прообраз X̂ −1 (ha, bi)является объединением каких-то из множеств Hi , т.е. элементомσ-алгебры σ(H).Перечислим некоторые основные свойства условного математическогоожидания E(X|H), легко вытекающие из определения:1.
(линейность)E(α1 X1 + α2 X2 |H) = α1 E(X1 |H) + α2 E(X2 |H).2. (формула полного математического ожидания)E(E(X|H)) = EX.3. Множитель Z, измеримый относительно σ-алгебры σ(H) (т.е.локально постоянный = постоянный на множествах Hi ), можновыносить за знак условного математического ожиданияE(ZX|H) = ZE(X|H).4. Если Z измерима относительно σ(H), тоE(ZX) = E(ZE(X|H))(D.3)Для получения последней формулы надо приравнять математическиеожидания обеих частей формулы свойства 3 и упростить левую часть поформуле полного ожидания.Перейдем, наконец, к самому общему определению условногоматематического ожидания. Пусть S — какая-нибудь σ-алгебра,состоящая из событий (не обязательно всех), X — случайная величинас конечным математическим ожиданием.
Определим новую случайнуювеличину X̂ = E(X|S) — условное математическое ожидание Xотносительно S, перечислив свойства, которыми она должна обладать.Таких свойств всего два:I) X̂ измерима относительно S, т.е. прообразы промежутков лежат вS: для любого ha, biX̂ −1 (ha, bi) ∈ S.Приложения235II) Если Y измерима относительно S, тоE(Y X) = E(Y X̂)(точнее, если левая часть определена, то и правая определена, и ониравны между собой почти всюду).Как указано выше, условное ожидание относительно разбиения этимисвойствами обладает. В общем случае, т.е.
когда σ-алгебра S непорождается разбиением, справедлива теорема существования и почтиединственности, которую мы примем без доказательства:Величина X̂, обладающая свойствами I) и II), существует. Любыедве такие величины совпадают с вероятностью 1 (они называютсявариантами условного математического ожидания).Из приведенного определения и теоремы существования вытекаютсвойства 1 — 4, в которых равенство случайных величин следуетпонимать как равенство с вероятностью 1.Свойство 1 приобретает такой вид: α1 X̂1 + α2 X̂2 — один из вариантовусловного математического ожидания для α1 X1 + α2 X2 .В самом деле, формула II) приобретает видE[Y (α1 X1 + α2 X2 )] = E[Y (α1 X̂1 + α2 X̂2 )]и вытекает из аналогичных соотношений для X̂1 и X̂2 .Измеримость линейной комбинации α1 X̂1 + α2 X̂2 (свойство I) ) мыпроверять не будем (эвристически она почти очевидна, а формальноерассуждение несколько тяжеловесно).Свойство 2 — частный случай формулы II) при Y ≡ 1.Наконец, свойство 3 можно переформулировать так: Y X̂ — один извариантов условного математического ожидания для Y X.
Для проверкиформулы II) выберем случайную величину Z, измеримую относительноS. Нужно доказать, чтоE(ZY X̂) = E(ZY X).Это вытекает из того, что произведение ZY измеримых относительно Sвеличин также измеримо (мы не проверяем это свойство). ИзмеримостьY X̂ (свойство I)) следует из тех же соображений.Приведем еще одно полезное свойство условных математическихожиданий:5. Если S1 ⊂ S2 , тоE(E(X|S1 )|S2 ) = E(E(X|S2 )|S1 ) = E(X|S1 )236Приложения(это доказывается похожими рассуждениями).Наиболее важным для большинства приложений является случай,когда σ-алгебра S = σ(U ) порождается некоторой случайной величинойU (или несколькими величинами), т.е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
