Лекции по терверу - Горяйнов (1188226), страница 5
Текст из файла (страница 5)
Дисперсией случайной величины ξ называется числоВеличина σξ =клонением.√Dξ = E(ξ − Eξ)2 .Dξ называется стандартным (или среднеквадратическим) от-Свойства дисперсии.1◦ . Dξ = Eξ 2 − (Eξ)2 ;2◦ . Для любого вещественного числа c и случайной величины ξ имеют месторавенстваD(cξ) = c2 Dξ,D(ξ + c) = Dξ;19ЛЕКЦИИ ПО ТВ3◦ . Равенство Dξ = 0 возможно лишь в случае P(ξ = Eξ) = 1, т. е.
случайнаявеличина ξ почти наверное равна постоянной.Доказательство. Используя свойство линейности математического ожидания, получаемDξ = E(ξ − Eξ)2 = Eξ 2 − 2Eξ · Eξ + (Eξ)2 = Eξ 2 − (Eξ)2 .Пусть теперь c ∈ R и ξ — случайная величина. ТогдаD(cξ) = E(cξ − cEξ)2 = c2 E(ξ − Eξ)2 = c2 Dξ,а такжеD(ξ + c) = E(ξ + c − E(ξ + c))2 = E(ξ − Eξ)2 = Dξ.Из свойства монотонности математического ожидания 3◦ следует, что Dξ =E(ξ − Eξ)2 > 0 и равенство Dξ = 0 возможно лишь в случае ξ − Eξ = 0 почтинаверное.Независимость случайных величин.Пусть ξ — случайная величина с представлением (5.1). Информация о том,какое из значений x1 , .
. . , xn приняла случайная величина ξ, эквивалентна тому,что мы знаем, какое из событий D1 , . . . , Dn разбиения Dξ произошло. Но тогдамы можем сказать о любом событии из алгебры Aξ произошло оно или нет.Другими словами, алгебра Aξ отражает информацию, связанную со случайнойвеличиной ξ. В связи с этим естественно ввести следующее определение.Определение 5.3. Случайные величины ξ и η, определенные на вероятностном пространстве (Ω, A , P), называются независимыми, если независимыалгебры Aξ и Aη .Напомним, что условие независимости алгебр Aξ и Aη эквивалентно тому,что для любых A ∈ Aξ и B ∈ Aη выполняется равенство P(AB) = P(A)P(B).Кроме того, в силу теоремы 3.4 для того, чтобы ξ и η были независимы, достаточно выполнения условия P(DH) = P(D)P(H) для любых D ∈ Dξ и H ∈ Dη .Теорема 5.1.
Если ξ и η — независимые случайные величины, тоEξη = Eξ · Eη,D(ξ + η) = Dξ + Dη.Доказательство. ПустьnXξ =xi 1Di ,η =i=1mXyj 1Hj .j=1Тогда, в силу независимости случайных величин, выполняются равенства P(Di Hj ) =P(Di )P(Hj ) и, следовательно,XXE(ξη) =xi yj P(Di Hj ) =xi yj P(Di )P(Hj )i,j=i,j! mnXXxi P(Di ) yj P(Hj ) = EξEη.i=1j=120В. В. ГОРЯЙНОВДалее,D(ξ + η) = E(ξ + η)2 − (E(ξ + η))2 = Eξ 2 + 2E(ξη) + Eη 2 − (Eξ)2 − 2EξEη − (Eη)2 .Отсюда с использованием равенства Eξη = EξEη получаем, что D(ξ + η) =Dξ + Dη и теорема доказана.Замечание 5.3.
Если ξ и η — две независимые случайные величины, а ϕ :R → R — некоторая функция, то ϕ(ξ) и η также являются независимыми случайными величинами.Действительно, это сразу же следует из включения Aϕ(ξ) ⊂ Aξ .Ковариация и коэффициент корреляции. Эти числовые характеристики можно рассматривать как меру зависимости случайных величин.Определение 5.4. Пусть ξ и η — две случайные величины, определенныена одном вероятностном пространстве. Под ковариацией этих случайных величин понимается числоcov(ξ, η) = E(ξ − Eξ)(η − Eη).Для вычисления ковариации нужно знать совместное распределение случайPnPmных величин.
Пусть ξ = i=1 xi 1Di , η = j=1 yj 1Hj , т. е. Dξ = {D1 , . . . , Dn },Dη = {H1 , . . . , Hm }. Рассмотрим случайный вектор (ξ, η), который принимаетзначение (xi , yj ) на Di Hj , i = 1, . . . , n, j = 1, . . . , m. Другими словами, случайному вектору (ξ, η) можно сопоставить разбиениеDξ,η = {Di Hj : i = 1, . . . , n, j = 1, . . . , m}.Вероятности pij = P(Di Hj ) = P(ξ = i, η = j) определяют совместное распределение случайных величин ξ и η.
Совместное распределение двух простыхслучайных величин удобно представить таблицей.ξ ηx1x2...xny1p11p11...pn1y2p12p12...pn2...............ymp1mp1m...pnmОтметим некоторыеособенности этой таблицы. Поскольку Dξη являетсяPразбиением, то i,j pij = 1. Кроме того,mXj=1pij =pxi= P(ξ = xi ),nXpij = pyj = P(η = yj ).i=1Таким образом, совместное распределение случайных величин ξ и η позволяетполучить их индивидуальные распределения. Условие независимости случайных величин ξ и η эквивалентна выполнению равенств pij = pxi pyj , i = 1, . . .
, n,j = 1, . . . , m.PЗаметим также, что любая такая таблица с выполнением условий pij > 0, i,j pij = 1 определяет совместное распределение двух случайныхвеличин.21ЛЕКЦИИ ПО ТВНаряду с ковариацией также рассматривают коэффициент корреляции. Еговводят в рассмотрение при условии, что Dξ > 0 и Dη > 0. Заметим, что еслидисперсия одной из случайных величин равна нулю, например Dξ = 0, то ξ = Eξпочти наверное и в этом случае cov(ξ, η) = 0. Допустим теперь, что Dξ > 0 иDη > 0.
Тогда корректно определены случайные величиныξ − Eξξˆ = √,Dξη − Eηη̂ = √,Dηкоторые удовлетворяют условиямEξˆ = Eη̂ = 0,Dξˆ = Dη̂ = 1.Коэффициент корреляции %(ξ, η) определяется равенствомcov(ξ, η)√ .%(ξ, η) = E(ξˆη̂) = √Dξ · DηСвойства ковариации и коэффициента корреляции.1◦ .
cov(ξ, η) = Eξη − Eξ · Eη;2◦ . Если ξ и η независимы, то cov(ξ, η) = 0;3◦ . |%(ξ, η)| 6 1 и |%(ξ, η)| = 1 в том и только том случае, если P(η = aξ + b) =1 при некоторых a, b ∈ R.Доказательство. Свойства 1◦ и 2◦ очевидны. Остается доказать свойство3 . В силу неотрицательности дисперсии имеем◦0 6 D(ξˆ ± η̂) = Dξˆ + Dη̂ ± 2%(ξ, η) = 2(1 ± %(ξ, η)).Отсюда следует, что −1 6 %(ξ, η) 6 1. Если же %(ξ, η) = 1, то D(ξˆ − η̂) = 0и тогда ξˆ − η̂ ≡ const почти наверное. Это влечет линейную зависимость ξ иη. Аналогично, если %(ξ, η) = −1, то D(ξˆ + η̂) = 0 и тогда ξˆ + η̂ ≡ const почтинаверное.Пример.
Пусть ζ — случайная величина, которая с равными вероятностями1/3 принимает значения 0, π/2 и π. Тогда случайные величины ξ = cos ζ иη = sin ζ функционально связаны, но cov(ξ, η) = 0.Определение 5.5. Случайные величины ξ и η называются некоррелированными, если cov(ξ, η) = 0.Для вычисления ковариации случайных величин достаточно знать таблицуих совместного распределения, посколькуEξ =nXi=1ximXpij ,Eη =j=1mXj=1yjnXi=1pij ,Eξη =n XmXxi yj pij .i=1 j=1Отметим также, что непосредственно из определений следуют равенстваppD(ξ + η) = Dξ + Dη + 2cov(ξ, η),cov(ξ, η) = Dξ · Dη · %(ξ, η).Ковариационная матрица.22В. В. ГОРЯЙНОВПусть ξ1 , .
. . , ξn — случайные величины, определенные на одном вероятностном пространстве. Тогда степень их попарной зависимости отражает ковариационная матрица V = (vij ), vij = cov(ξi , ξj ), i, j = 1, . . . , n. В случае i = jэлемент vij является дисперсией Dξi . Отметим некоторые особенности ковариационной матрицы. Это симметрическая матрица, на диагонали которой стоятнеотрицательные числа.
Кроме того, она неотрицательно определена, т. е.xt Vx =nXvij xi xj > 0i,j=1для всех x = (x1 , . . . , xn ) из Rn . Будем x ∈ Rn представлять как вектор-столбец.Также сформируем случайный вектор-столбец ξ~ = (ξ1 , . . . , ξn )t и пусть Eξ~ =(Eξ1 , . . . , Eξn )t — его математическое ожидание. Тогда~ ξ~ − Eξ)~ t },V = E{(ξ~ − Eξ)(а значение квадратичной формы на векторе x ∈ Rn запишется в виде~ ξ~ − Eξ)~ t x} = E(xt (ξ~ − Eξ))~ 2 > 0.xt Vx = E{xt (ξ~ − Eξ)(Замечание 5.4.
Симметричность и неотрицательная определенность являются характеристическими свойствами ковариационной матрицы.Если Dξi = vii > 0 при всех i = 1, . . . , n, то определенатакже корреляци√онная матрица K = (%ij ), %ij = vij /(σi σj ), где σi = Dξi . Корреляционнаяматрица также является симметрической и неотрицательно определенной. Ееотличительной чертой является то, что на главной диагонали стоят единицы.Задача линейного оценивания.Пусть ξ и η — две случайные величины, из которых лишь ξ является наблюдаемой.
Если ξ и η коррелированы, то естественно предположить, что знаниезначения ξ позволит получить некоторые выводы о значениях ненаблюдаемойслучайной величины η. Всякую функцию ϕ : R → R в контексте этой задачиназывают оценкой для η. Оценка ϕ∗ называется оптимальной в смысле среднеквадратического отклонения в классе оценок Φ, еслиE(η − ϕ∗ (ξ))2 = inf E(η − ϕ(ξ))2 .ϕ∈ΦОказывается, что для отыскания оптимальной оценки в классе линейных функций ϕ(x) = ax + b достаточно знания ковариации cov(ξ, η).Рассмотрим функцию двух переменныхψ(a, b) = E(η − (aξ + b))2 ,которая представляет собой неотрицательную квадратичную форму относительно переменных a и b. Поэтому она достигает минимума в некоторой точке(a∗ , b∗ ), которая является решением системы уравнений∂ψ(a, b) = 0,∂a∂ψ(a, b) = 0.∂b23ЛЕКЦИИ ПО ТВВычисляя частные производные функции ψ, получаем(Eξη − aEξ 2 − bEξ = 0,Eη − aEξ − b= 0.Умножая второе равенство на Eξ и вычитая из первого, приходим к соотношениюcov(ξ, η) − aDξ = 0,откуда находимa∗ =cov(ξ, η)Dξи далееb∗ = Eη −cov(ξ, η)Eξ.DξСледовательно, оптимальной оценкой в классе линейных функций являетсяη ∗ = ϕ∗ (ξ) = Eη +cov(ξ, η)(ξ − Eξ).DξЭто равенство называют также уравнением регрессии η на ξ.Заметим также, что среднеквадратическая ошибка линейного оцениваниявычисляется по формуле2cov(ξ, η)E(η − η ) = E (η − Eη) −(ξ − Eξ)Dξ(cov(ξ, η))2(cov(ξ, η))2= Dη − 2+DξDξ2= Dη 1 − (%(ξ, η)) .∗ 2Отсюда видно, что оценка тем точнее, чем ближе коэффициент корреляции%(ξ, η) по модулю к единице.Целочисленные случайные величины и производящие функции.С точки зрения распределения вероятностей легко ввести в рассмотрениеслучайные величины, принимающие счетное число значений: P(ξ = xk ) = pk ,P∞pk > 0 иk=1 pk = 1.
Однако в этом случае математическое ожидание идисперсия не всегда определены.Определение 5.6. Пусть случайная величина ξ принимает счетное числозначений: P(ξ = xk ) = pk , k = 1, 2, . . .. Будем говорить, чтоP∞для ξ определеноматематическое ожидание, если сходится числовой рядk=1 |xk |pk . В этомслучае определяется∞XEξ =xk pk .k=1Дискретную случайную величину ξ, принимающую только целые неотрицательные значения, называют целочисленной случайной величиной. Ее распределение вероятностей P(ξ = k) = pk , k = 0, 1, 2, . .
., удобно представлять24В. В. ГОРЯЙНОВпроизводящей функцией∞Xgξ (x) = Exξ =p k xk .k=0Заметим, что степенной ряд, определяющий производящую функцию, сходитсяпри |x| 6 1. При этом gξ (1) = 1 иpk =1 (k)g (0),k! ξk = 0, 1, 2, . . . .Если pk 6= 0 лишь для конечного числа индексов, то gξ (x) представляет собойполином, а ξ принимает конечное число значений.
В терминах производных отпроизводящей функции легко вычисляются математическое ожидание и дисперсия случайной величины. Действительно,∞XEξ =kpk = gξ0 (1),k=1и аналогичноDξ =∞Xk=12k pk −∞Xkpkk=1!22= gξ00 (1) + gξ0 (1) − gξ0 (1) .Наиболее часто встречающиеся в приложениях дискретные случайные величины являются целочисленными. Перечислим некоторые из них и найдем ихпроизводящие функции и числовые характеристики. Бернуллиевское распределение.P(ξ = 1) = p,q = 1 − p,P(ξ = 0) = q,gξ (x) = px + q,Eξ = p,0 < p < 1.Dξ = pq.
Биномиальное распределение.P(ξ = k) = Cnk pk q n−k ,q = 1 − p,0 < p < 1,gξ (x) = (px + q)n ,Eξ = np,k = 0, 1, . . . , n.Dξ = npq. Пуассоновское распределение.P(ξ = k) = e−λλk,k!λ > 0,gξ (x) = eλ(x−1) ,k = 0, 1, 2, . . . .Eξ = λ,Dξ = λ. Геометрическое распределение.P(ξ = k) = pq k ,gξ (x) =0 < p < 1,p,1 − qxEξ =q = 1 − p,q,pDξ =k = 0, 1, . . . .q.p225ЛЕКЦИИ ПО ТВ§ 6. Пространство с мерой и общаямодель вероятностного пространстваНапомним, что под алгеброй подмножеств Ω мы понимаем такой класс подмножеств Ω, который замкнут относительно конечного числа теоретико-множественных операций.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
