Лекции по теории вероятностей (Б.И.Волков, 2006), страница 4

Найти плотность pη (y), если η = f (ξ).Для произвольной области имеем:Zpη (y)dy = P (η ∈ D) = P (f (ξ) ∈ D) = P (ξ ∈ f −1 (D)) =D=Zpξ (x)dx =Zpξ (f−1Df −1 (D)¯¯¯ ∂(x) ¯¯ dy.(y)) ¯¯∂(y) ¯Отсюда в силу произвольности D получаем, чтоpη (y) = pξ (f −1 (y))| ∂(x)|dy.∂(y)Пример.

Задана плотность pξ (x1 , x2 ). Найти распределение ξ1 + ξ2 .Пустьη1 = ξ 1 + ξ 2 , y1 = x 1 + x 2 , x1 = y 1 − y 2 ,| = 1.| ∂(x)∂(y)η2 =ξ2 ,y2 =x2 ,x2 =y2 ,Тогда pη (y) = pξ (y1 − y2 , y2 ) иR∞pη1 (y1 ) =pξ (y1 − y2 , y2 )dy2 .−∞Если ξ и η независимы, то pη1 (y1 ) =R∞−∞pξ1 (y1 − y2 )pξ2 (y2 )dy2 (свертка!).Независимость функций от независимых сл. величин. Рассмотрим дискретный случай.

Пусть ξ и η независимые сл. величины, тогда f 1 (ξ) и f2 (η)(где f1 и f2 измеримые функции) также независимые сл. величины.Действительно, пусть ξ принимает значения xi , а η значения y j . Для любых s и t имеем:XP {f1 (ξ) = s, f2 (η) = t} =P {ξ = xi , η = yj } =i:f1 (xi )=sj:f2 (yj )=t=Xi:f1 (xi )=sP {ξ = xi } ·Xj:f2 (yj )=tP {η = yj } = P {f1 (ξ) = s} · P {f2 (η) = t}.Числовые характеристики случйных величин. Моменты.Начальный момент порядка k:R∞ kR∞ kξk =x pξ (x)dx, если|x| pξ (x)dx < +∞ илиkξ =−∞∞Pi=1xki pi ,если∞Pi=1−∞|xi |k pi < +∞.Математическое ожидание или среднее значение:Теорема.

Пусть сл. величина η = f (ξ). Тогда11ξ=η=R∞−∞11если момент существуетR∞xdFξ (x).−∞f (x)dFξ (x).Конспект лекций по теории вероятностей 200615Доказательство (для дискретных случайных величин)η=∞Xyk P (η = yk ) =k=1Следствие:(PXkPC k ξk ) =ykXpi =(ξ −f (xi )pi .ii:f (xi )=ykC k ξk .Центральный момент k-го порядкаXR∞ξ)k =(x −ξ)k dFξ (x).−∞R∞Центральный момент второго порядка (ξ− ξ)2 =(x− ξ)2 dFξ (x) = ξ−∞√носит название дисперсии,ξ стандартное отклонение.ξ = (ξ − ξ)2 = ξ 2 − ( ξ)2 .Свойства математического ожидания и дисперсии.1. (ξ + η) = ξ + η ==Z∞zpξ+η (z)dz =Z∞(x + y)+Z∞Zp(x, y)dxdy =yp(x, y)dxdy =−∞Z∞Z∞Zxp(x, y)dxdy+−∞−∞−∞−∞Z∞xpξ (x)dx +−∞Z∞ypη (y)dy.−∞(Аналогично для дискретных сл.

величин.)2. (C1 ξ + C2 η) = C1 ξ + C2 η и Aξ = A ξ ( A матрица, ξ сл.вектор).3. Если ξ и η независимы, то (ξη) = ξ η. (При ξ < ∞, η < ∞.Заметим, что (ξη) в этом случае существует.)Обратное неверно! Пусть, например, ξ и η независимые сл. величины иη = ξ = 0. Тогда (ξη)ξ = ξ 2 η = 0. но отсюда не следует, что ξη и ηнезависимы.

В самом деле,η\ξ-12но P {ξη = 1, ξ = −1} =49-124/9 2/9 ,2/9 1/96= P {ξη = 1}P {ξ = −1} =8.27Примеры моментовПусть ξi число успехов в i-м испытании Бернулли. ξ i = 1 · p + 0 · q = p,2ξ = 12 · p + 02 · q = p, ξi = p − p2 − pq.Распределение Пуассона∞∞PPk−1kd λk λ n! e−λ = λe−λ dλk λn! e−λ = λe = λ. Аналогичным приемомMξ =k=0k=1получаем ξ 2 = λ + λ2 и ξ = λ.Нормальное распределение N(µ, σ 2 ):16Конспект лекций по теории вероятностей 2006p(x) =√ 12πσ 2exp{− 2σ1 2 (x − µ)2 }.ξ=Z∞xp(x)dx =Z∞x√−∞−∞=√12πσ 2Z∞12πσ 2exp{−(y + µ) exp{−1(x − µ)2 }dx =22σ1 2y }dy = µ.2σ 2−∞АналогичноZ∞ξ=−∞ц. 61σ2(x − µ)2 √exp{− 2 (x − µ)2 }dx = √2σ2π2πσ 21Z∞−∞4.

Неравенства.а/ ξ > η ⇒ ξ > η (Следствие 2.)б/ Нер-во Коши-Буняковского(ξ − λη)2 = ξ 2 − 2λ ξη + λ2 η 2 > 0 ⇒ ( ξη)2 6Если равенство, то ∃λ, (ξ − λη)2 = 0.в/ Неравенство Маркова.P {|ξ| > ε} 6t2t2 e− 2 dt = σ 2 .ξ 2 η2.|ξ|k, k = 1, 2, ....εkПустьη=½0, |ξ| 6 ε,ε, |ξ| > ε.Тогда |η|k 6 |ξ|k ⇒ εk P {|ξ| > ε} 6 |ξ|k .При k = 2 неравенство Чебышёва 12 .5.

C = 0. Обратно: если ξ = 0, то P {ξ = const} = 1. Доказательство.∀ε > 0 P {|ξ| > ε} = 0. Рассмотрим последовательность Ak = {|ξ − ξ| > k1 }.Ak ↑ A = {|ξ − ξ| > 0} ⇒ P {|ξ − ξ| > 0} = lim P {|ξ − ξ| > k1 } = 0.k→∞Возвращаясь к неравенству Коши: если равенство, то ∃λ, такое, чтоξ − λη = const с вероятностью 1 (почти наверное).6.

Cξ = C 2 ξ.¸2·nnnPPP(ξi − ξi )ξi==(ξi −7.ξ i )2 +i=1i=1nPi,j=1,i6=jnP(=(ξi −ξi )(ξj −ξj ) =nPi=1ξi +nPi=1covξi ξji,j=1,i6=jξi если ξi , ξj попарно независимы формула Бьенемэ.)i=1Моменты векторных случайных величин.ξ = ( ξ1 , ξ2 , ..., ξn ), Aξ = A ξ,ξ = ( ξ1 , ξ2 , ..., ξn )12Пафнутий Львович Чебышёв 1821 1894 русский математик, создатель Петербургскойнаучной школы.Конспект лекций по теории вероятностей 2006kcovξi ξj k ковариационная матрица. Введем rij17covξ ξ= √ i j , |rij | 6 1.ξiξjКаков смысл rij ? Пусть |rij |=1 и ε=±1, тогда¶2µ√ξi + ε √ξj= 2(1 + εrij ) = 0 и величины ξi и ξj линейно завиξiξjсимы с вероятностью 1.Условное математическое ожидание(ξ|η = y) =Z∞xpξ|η (x|y)dx.−∞Это случайная величина, функция от η. Она обладает всеми свойствами математического ожидания с вероятностью 1.p (x,y)Если учесть, что pξ|η (x|y) = ξη, тоpη (y)[ (ξ|η = y)] =Z∞−∞=Z∞ Z∞Z∞−∞xpξ|η (x|y)dx pη (y)dy =xpξη (x, y)dxdy =ξ.−∞ −∞Задача о наилучшем среднеквадратичном приближении.Пусть ξ и η сл.

величины, наблюдаем ξ, требуется оценить η, т.е. найтитакую функцию f (·), что (η − f (ξ))2 ∼ minf (·)Теорема. f (ξ) = (η|ξ) (п.н.).Доказательство. (η − f (ξ))2 =[ ((η − f (ξ))2 |ξ)] == [ ((η − (η|ξ) + (η|ξ) − f (ξ))2 |ξ)] == { ((η − (η|ξ))2 |ξ) + 2 ((η − (η|ξ))( (η|ξ) − f (ξ))|ξ)++( (η|ξ) − f (ξ))2 |ξ)} = (η − (η|ξ))2 + ( (η|ξ) − f (ξ))2 >> (η − (η|ξ))2 , т.к. ((η − (η|ξ))( (η|ξ) − f (ξ))|ξ) = 0,причем равенство выполняется, только если f (ξ) = (η|ξ) (п.н.).Другие задачи наилучшего приближения.1) Приближение постоянной. (ξ − C)2 ∼ min ⇒ ξ 2 − 2C ξ + C 2 ∼ minC⇒ C = ξ и min (ξ − C)2 = ξ.2) Приближение η по наблюдениям ξ в классе линейных функций.(η − aξ − b)2 =(η − aξ)2 − 2b (η − aξ) + b2 ∼ min .a,bC(4)Дифференцируя (4) по (b), находим b = η − a ξ, после чего (∗) принимает вид(η − η −a(ξ − ξ))2 = η −2acovξη +a2 ξ, дифференцируя по (a), получаем(ξ − ξ) + η.−2covξη + 2a ξ = 0 ⇒ a = covξη и aξ + b = a(ξ − ξ) + η = covξηcovξξξц.

718Конспект лекций по теории вероятностей 2006Среднеквадратичная ошибка при этом равна=(η −η − a(ξ −(η − aξ − b)2 =2ξ) = η − 2acovξη + a2(covξη)2ξ= η−.ξЗадача наилучшего линейного приближения в векторном случае. Пустьξ измеренный вектор, ξ = 0, η = 0. Нужно найти матрицу A, такую, чтоkη − Aξk2 ∼ min.Akη − Aξk2 =Y (A) ==∗Xi(η − Aξ)2i =tr(η − Aξ)(η − Aξ) = tr Σηη − tr AΣξη − tr Σηξ A∗ + tr AΣξξ A∗ .Здесь Σηη = ηη ∗ , Σηξ = ηξ ∗ , Σξξ = ξξ ∗ , а знак (∗ ) означает сопряжение(транспонирование).Варьируя Y по A, получим δY = Y (A + δA) − Y (A) == − tr δAΣξη − tr Σηξ δA∗ + tr δAΣξξ A∗ + tr AΣξξ δA∗ = 0.Отсюда, учитывая, что tr Q∗ = tr Q, имеем tr(Σηξ − AΣξξ )δA = 0, откуда всилу произвольности δA следует Σηξ = AΣξξ , таким образом, A = Σηξ Σ−1ξξ и−1η̂ = Σηξ Σξξ ξ. При этом с.к.

ошибка (погрешность) линейного приближения равнаkη − η̂k2 = tr(Σηη − Σηξ Σ−1ξξ Σξη )иkη − ηk2 = tr Σηη априорная погрешность.Последовательности случайных величин. Сходимость. Виды сходимости.Сходимость последовательностей случайных величин требует уточнения.Начнем с наиболее часто используемых типов.Определение сходимости по вероятности. Говорят, что последовательностьслучайных величин {ξn } сходится к случайной величине ξ по вероятности, еслиP∀ε > 0: lim P {|ξ − ξn | > ε} = 0, при этом иногда пишут ξn −→ ξ.n→∞n→∞Закон больших чисел в форме Чебышёва.Пусть ξi попарно независимы, причем ξn < C (ограничены в совокупности). Тогдаn1XP(ξ − ξi ) −→ 0.ηn =n→∞n iPДоказательство.

ηn = n2 ξi < Cn .Из неравенства Чебышёва следуетP {|ηn | > ε} 6Cηn<−→ 0.ε2nε2 n→∞Следствия.1. Пустьξk = µ, ξn < C. Тогда1n∞Pi=1Pξi −→ µ.n→∞Конспект лекций по теории вероятностей 2006192. Пусть ξi число успехов при одном испытании в схеме Бернулли. Тогдаξi = p, ξi = pq и∞1XPξi −→ p.n→∞n i=13. Теорема Маркова. Пусть ξn = µ. Снимем условие независимости, но поnPтребуем, чтобы n1ξi → 0. Тогда из неравенства Чебышёва получаем непосредственноi=1nn1X1XPξi −→n i=1 n→∞ n i=1ξi = µ.Характеристические функции.Определение. Характеристической функцией называетсяeiξt ,fξ (t) =причем этот момент существует всегда, так как |eiξt | = 1.Примеры.Распределение Пуассона:fξ (t) =eiξt = e−λ∞Xeikt λkk=0n!= eλ(eit −1).Нормальное распределение:fξ (t) =eiξt1=√2πZ∞t2x2eixt e− 2 dx = e− 2 .−∞Из очевидных свойств отметим следующие: f (0) = 1, |f (t)| 6 1, четность ивещественность f (t) эквивалентны и в этом случае f (t) = cos(ξt).