А.С. Холево - Курс лекций по теории вероятностей (1120061), страница 5
Текст из файла (страница 5)
. . , xm ) dx1 . . . dxm =(n)(n)(x1 ,...,xn ):f (x1 ,...,xm )∈[yk ,yk+1 ]+∞+∞+∞+∞ZZZZ(n)= lim...ϕ (f (x1 , . . . , xn ))p(x1 , . . . , xm ) dx1 . . . dxm =...f (x1 , . . . , xn )p(x1 , . . . , xm ) dx1 . . . dxm .n→∞−∞−∞−∞−∞Остается только оценить разность интегралов: это делается абсолютно также:ZZ Z (n) f p − ϕ p 6 f − ϕ(n) p 6 εn · 1.18(16)2.4. Дисперсия. Неравенство Чебышева. Закон больших чисел2.4.1. Дисперсия и моментыОпределение. Абсолютным моментом k—ого порядка для случайной величины X называется M |X|k , k ∈ N.Если M |X|k < ∞ =⇒ k—й момент равен M X kОпределение. Центральным k-м моментом называется M (X − M X)k .Определение.
Дисперсией случайной величины X называется DX = M (X − M X)2 .Утверждение 2.9. Если M X 2 < ∞, то существует M X и DX < ∞, причем DX = M X 2 − (M X)2 . Имеем (|x| − 1)2 > 0, поэтому |x| 6 12 + 12 |x|2 , M X 2 < ∞ =⇒ M |X| < ∞ =⇒ ∃ M X =⇒ DX =M (x2 − 2XM X + (M X)2 ) = M X 2 − 2(M X)2 + (M X)2 = M X 2 − (M X)2 .
Пусть X — 2дискретная случайная величина, принимающая значение xj с вероятностью pj . Тогда D X =P(xj − M x ) pjПусть X — абсолютно непрерывная случайная величина с плотностью p(x). Тогда D X =+∞+∞+∞Z2ZZ22(x − M X) p(x) dx =x p(x) dx −xp(x) dx−∞−∞−∞(1 с вероятностью pПример 4.1. x =0 с вероятностью 1 − p Тогда D X = p(1 − p)Пример 4.2. Пуассоновское распределение. xj = j с вероятностью pj =Тогда+∞ XλkD X =k 2 e−λ − λ2 = λ.k!λj −λ,jj! e= 0, 1, . . .
, λ > 0k=0Пример 4.3. Нормальное распределение. D X =+∞Z−∞(x−m)21√(x − m)2 e− 2σ2 = σ 2 .2πσ 22.4.2. Неравенство Чебышева Теорема 2.10 (Неравенство Чебышева). Пусть X — случайная величина, M X 2 < ∞. Тогда длялюбого ε > 0 выполняется неравенство D XP ω : |X(ω) − M X | > ε 6.ε2(0, |x| < ε Положим ϕ(x) :=. Тогда ϕ(x)2 6 x2 , поэтомуε, |x| > εϕ(X(ω)) =(0,ε,с вероятностью P ω : |X(ω)| < εс вероятностью P ω : |X(ω)| > ε .Тогда M ϕ(x)2 = 0 · P ω : |X(ω)| < ε + ε2 · P ω : |X(ω)| > ε Так как ϕ2 (X(ω)) 6 X 2 (ω), то M ϕ2 (x) 6 M X 2 , ε2 P ω : |X(ω)| > ε 6 M X 2 . Осталось заменить X на X − M X .
Определение. X(ω) = Y (ω) с вероятностью 1, если P ω : X(ω) = Y (ω) = 1 (в случае меры Бореля-ЛебегаX = Y п.в.)Теорема 2.11. В предположении конечности дисперсий:1. DX > 0, причём DX = 0 ⇔ X(ω) = M X с вероятностью 1;192. D(cX) = c2 DX, где c — неслучайная величина;3. Если X1 , . . . , Xn — попарно независимые случайные величины, то D(X1 + · · · + Xn ) = DX1 + · · · + DXn .1.
DX > 0 — очевидно.Пусть 0 = DX = M (X − M X)2 . По неравенству Чебышёва:1=0P ω : |X(ω) − M X| >n{ω : X(ω) 6= M X} =По свойству непрерывности вероятности:∞ [1|X − M X| >nn=1P {ω : X(ω) 6= M X} = lim Pn→∞∀n1ω : |X(ω) − M X| >n=0P {ω : X(ω) = M X} = 1 − P {X 6= M X} = 1X(ω) = M X почти наверное (с вероятностью 1).2.
очевидно3. Аддитивность: |XY | 6 21 (X 2 + Y 2 ), (X + Y )2 6 2(X 2 + Y 2 ). Отсюда DX, DY < ∞ ⇒ D(X + Y ) < ∞.D(X1 + · · · + Xn ) = M=MnXi=1nXi=1Xi − M(Xi − M Xi )nXXii=1nXj=1!2=MnXi=1(Xj − M Xj ) ==nXDXi +!2(Xi − M Xi )nXi,j=1Xi6=ji=1=M (Xi − M Xi )(Xj − M Xj ) =n XM (Xi − M Xi )(Xj − M Xj ) =DXi . (17)i=1Последнее равенство верно в силу независимости. На самом деле требуется, чтобы ковариацииcov(X, Y ) := M (X − M X)(Y − M Y )были равны нулю (что верно для независимых случайных величин, но условие независимости не являетсянеобходимым).2.4.3.
ЗБЧ (Закон больших чисел)Теорема 2.12. Пусть X1 , . . . , Xn , . . . — последовательность попарно независимых случайных величин,M (Xi2 ) < ∞, m = M Xi , σ 2 = DXi (математические ожидания и дисперсии одинаковы). Рассмотрим выборочное среднее:n1X(n)X=Xi .n i=1Тогдаn (n)olim P X − m > ε = 0n→∞Говорят, что X(n)стремится к m по вероятности.MX(n)n=1XM Xi = mn i=120(ε > 0).DXВ силу неравенства Чебышёва:(n)=n (n)oσ2P ω : X (ω) − m > ε 6 2 −→ 0.nε n→∞ЗБЧ — широкое обобщение теоремы Бернулли.Пример 4.4. Схема Бернулли.(1 с вероятностью pXi (ω) =0 с вероятностью (1 − p)X(n)n1 Xσ2DXi =2n i=1n— независимы и одинаково распределеныn(ω) =1XXi (ω) = νn i=1m = M Xi = p,— выборочная частота успеховσ 2 = DXi = p(1 − p)P {ω : |ν(ω) − p| > ε} 6p(1 − p)−→ 0nε2 n→∞Точно такую оценку мы получили раньше.2.4.4.
Применение в статистикеX1 , . . . , Xn , . . . — независимые с функцией распределения F (x). F (x) неизвестна и её надо оценить, наблюдаяXi . Выборочная функция распределения:Fn (x) =11(количество тех Xj , j = 1, . . . , n, для которых Xj < x) = N (x)nnp = P {ω : X(ω) < x} = F (x)∀xFn (x) −→ F (x)по вероятностиn→∞3. Характеристические функции3.1. Определения и примерыОпределение. Комплексной случайной величиной называется Z(ω) = X(ω) + iY (ω), где X и Y — вещественные случайные величины на (Ω, A , P ).M Z := M X + iM Y(при условии существования M X и M Y )Для комплексных случайных величин имеют место обычные свойства мат. ожидания.Лемма 3.1. |M Z| 6 M |Z|. PДля дискретных комплексных случайных величин: Z принимает значение zk с вероятностью pk .M Z = zk pk .
В силу обобщённого неравенства треугольникаkX X|M Z| = z k pk 6|zk |pk = M |Z|.kkПроизвольную комплексную случайную величину можно равномерно аппроксимировать дискретными. Определение. Характеристической функцией вещественной случайной величины X называетсяϕ(t) = M eitX ,eiα = cos α + i sin α,α∈R21t ∈ R.(формула Эйлера)Отсюда iα pe = cos2 α + sin2 α = 1Следовательно, ϕ(t) = M eitX существует при всех t ∈ R.ϕ(t) = M (cos tX) + iM (sin tX)Пусть X имеет функцию распределения F . Тогда для любой борелевской функции f такой, что M f (X)существует:+∞ZM f (X) =f (x) dF (x) — интеграл Лебега – Стилтьеса−∞ϕ(t) =+∞Zeitx−∞+∞+∞ZZdF (x) =cos tx dF (x) + isin tx dF (x)−∞−∞X — дискретная случайная величина (принимаетзначение xk с вероятностью pk ).XXXϕ(t) =eitx pk =(cos txk )pk + i(sin txk )pkkkX имеет абсолютно непрерывное распределение сплотностью p(x).
dF (x) = p(x) dxϕ(t) =k+∞Zeitx p(x) dx =−∞— суперпозиция комплексных гармоник.=+∞+∞ZZ(cos tx)p(x) dx + i(sin tx)p(x) dx−∞Пример 1.1. x =(−∞— комплексное преобразование Фурье для p(x).Преобразование Фурье обратимо: по ϕ(t) можновосстановить p(x). ϕ(t) — равнозначный способ задания случайной величины.10с вероятностью pс вероятностью (1 − p)— случайный бит.ϕ(t) = (1 − p) + eit · p.Пример 1.2. Пуассоновское распределение. X : n = 0, 1, 2, . . . с вероятностью pk =ϕ(t) =∞Xeitnn=0λn e−λn! .∞Xitλn e−λ(λeit )n= e−λ= eλ(e −1)n!n!n=0Пример 1.3. Стандартное нормальное распределение.1x2p(x) = √ e− 22π1ϕ(t) = √2π1ϕ (t) = √2π′+∞+∞ZZx2x21eitx e− 2 dx = √cos tx e− 2 dx (для sin получится ноль)2π−∞+∞Z−∞2(−x sin tx)e−∞− x21dx = √2π+∞+∞Z x2 2 11x2− 2− x2 sin tx d e= √ sin tx e−t √e− 2 cos tx dx2π2π−∞−∞|{z}|{z}0+∞Z−∞ϕ(t)′ϕ (t) = −tϕ(t) — линейное дифференциальное уравнение2ϕ(t) = Ce− t2;+∞Zt2ϕ(0) =p(x) dx = 1 ⇒ C = 1 ⇒ ϕ(t) = e− 2−∞1p(x) = √ ϕ(x).2π223.2.
Свойства характеристических функцийТеорема 3.2 (Основные свойства характеристических функций).1◦ ϕ(0) = 1, |ϕ(t)| 6 1 ∀t ∈ R (нормировка);2◦ ϕ(t) является положительно определённой функцией, то естьnXk,j=1ck cj ϕ(tj − tk ) > 0для всех n ∈ N и любых наборов {t1 , . . .
, tn } ⊂ R, {c1 , . . . , cn } ⊂ C;3◦ ϕ(t) равномерно непрерывна по t ∈ R;4◦ Y (ω) = aX(ω) + b (линейное преобразование) ⇒ ϕY (t) = eitb ϕX (at);5◦ Если Y (ω) = X1 (ω) + · · · + Xn (ω), X1 , . . . , Xn независимы, то ϕY (t) = ϕX1 (t) · . . . · ϕXn (t).1. ϕ(t) = M eitX . ϕ(0) = M ei·0·X = M 1 = 1. ∀t2.|ϕ(t)| = M eitX 6 M eitX = M 1 = 1.2! n nnnnXXXXX it X jX=0 6 M cj e j = Mck eitk X cj eitj X =ck cj M e|−itk X+itck cj ϕ(tj − tk ){z}j=1j=1k,j=1k=1k,j=1i(tj −tk )Xe3.
Лемма 3.3. eiα − 1 = 2 sin α2 , α ∈ R.rpp iα qe − 1 = (cos α − 1)2 + sin2 α = 1 − 2 cos α + cos2 α + sin2 α = 2(1 − cos α) = 4 sin2 α = 2 sin α 22 |ϕ(t) − ϕ(s)| = M eitX − M eisX = M eitX 1 − ei(s−t)X 6 M eitX 1 − ei(s−t)X = M ei(s−t)X − 1 =∆z }| { (s− t) X (?)= {в силу леммы} = 2M sin → 0 (∆ → 0)2Обоснуем предельный переход (?).
f∆ (ω) = sin ∆·X(ω). |f∆ (ω)| 6 1 — равномерное ограничение.2∀ фикс. ω ∈ Ωf∆ (ω) → 0 (∆ → 0) — мажорированная сходимость.3.3. Теорема Лебега и ее трагические последствияТеорема 3.4 (Лебега о мажорированной сходимости). Если Xn (ω) → X(ω) для всех ω, причём|Xn (ω) − X(ω)| 6 g(ω),где M g(ω) < ∞, то M Xn → M X.(Это теорема из курса действительного анализа)Поэтому |ϕ(t) − ϕ(s)| → 0 (∆ → 0).constz}|{ 4. ϕY (t) = M eitY = M eit(aX+b) = M eitaX eitb = eitb M ei(ta)X = eitb ϕX (at).Пример 3.1. Характеристическая функция N (m, σ 2 ).(x−m)21p(x) = √2πσe− 2σ2 .2X ∼ N (0, 1) ⇒ Y (ω) = σX(ω) + m ∼ N (m, σ 2 ).t2σ2 t2ϕX (t) = e− 2 ⇒ ϕY (t) = eitm− 2 .При σ 2 = 0: ϕY (t) = eitm — характеристическая функция неслучайной величины X(ω) ≡ m (а плотностьпри σ → 0 не существует).235.
X1 , . . . , Xn — независимые случайные величины ⇒ eitX1 , . . . , eitXn — тоже независимые.ϕY (t) = M eit(X1 +···+Xn ) = M eitX1 . . . eitXn = M eitX1 . . . M eitXn = ϕX1 (t) . . . ϕXn (t)Определение. Моментом n-го порядка случайной величины X называется M X n (если существует). Абсолютным моментом n-го порядка называется M |X|n (может быть = ∞).Теорема 3.5. Пусть M |X|m < ∞.
Тогда ϕ(t) m раз дифференцируема при всех t ∈ R, причём ϕ(k) (0) == i M X k , k ∈ {1, . . . , m}. Имеет место разложение в ряд Тейлора:kϕ(t) =mX(it)kk=0k!M X k + o(tm ) при t → 0. ϕ(k) (t) = ik M eitX (x)k , k ∈ {0, . . . , m} — получается формальным дифференцированием под знакомматематического ожидания. Нужно обосновать законность такого дифференцирования.|X|k 6 |X|m + 1(k ∈ {1, . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
