Лекции по методам математической статистики (1162373), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Всамом деле, если x ∈ L, y ∈ N . то (x, y) = (Πx, y) = (x, Πy) = (x, 0) = 0. Для всякого вектораx ∈ Rn можно записать тождествоx = Πx + (I − Π)x.(3.4)Если Π удовлетворяет условию 3), то Π(Πx) = Πx, т. е. Πx ∈ L и Π(I −Π)x = (Π−Π2 )x = 0,т. е. (I − Π)x ∈ N .Следовательно, Π — оператор ортогонального проектирования на L = {x ∈ Rn , Πx = x}.Из разложения (3.4) следует также, что оператор I − Π ортогонально проецирует наN = {x ∈ Rn (I − Π)x = x} = L⊥ .Отметим следующее важное свойство ортогонального проектора. Пусть Π — оператор ортогонального проецирования на линейное подпространство L иρ(x, L) = inf{||x − y|| | y ∈ L}(3.5)— расстояние от x до L.

Тогдаρ(x, L) = ||x − Πx||.Действительно, пусть y ∈ L. Тогда(3.6)Πx − y ∈ L, x − Πx = (I − Π)x ∈ L⊥и, следовательно,||x − y||2 = ||x − Πx + Πx − y||2 = ||x − Πx||2 + ||Πx − y||2 > ||x − Πx||2 ,причем равенство здесь выполняется лишь в случае Πx = y.Ортогональное преобразование.Обозначим через U оператор ортогонального преобразования (оператор перехода от одногоортонормированного базиса к другому), eei = U ei . Он обладает свойствами: U T = U −1 иb = ±1.

(Здесь Ǔ — матрица оператора U ).||U x|| = ||x|| (||U T x|| = ||x||), det UТеорема. Распределение вектора η = U ξ совпадает с распределением вектора ξ (т.е.ηi ∼ N(0, σ 2 ) и независимы).Доказательство.11−1−1−12b |=pη (y) = pξ (U y)| det Uexp − 2 ||U y|| =(2πσ 2 )n/22σ1||y||2=exp−.(2πσ 2 )n/22σ 293.2Распределения, связанные с нормальным.Определение 1. Распределением χ2m или Пирсона (E.S.Person) с m степенями свободы назыmPвается распределение сл. величины, равной сумме квадратовξk2 независимых сл.

величинk=1ξk ∼ N(0, 1).Свойства1 . Плотность:pχ2m (x) =1m2m/2 Γ( m2 )xx 2 −1 e− 2 .Моменты: Mχ2m = m, Dχ2m = 2m.Следствие 1. ||Πm ξ||2 = σ 2 χ2m .Доказательство. Пусть Πm x ∈ Lm ⊂ Rn . Рассмотрим новый базис {eei }, i = 1, . . . , n,⊥удовлетворяющий условиям eei ∈ Lm , i = 1, .

. . , m, eei ∈ Lm , i = m + 1, . . . , n и пусть U —ортогональный оператор перехода от старого базиса {ei } к новому {eei }, eei = U ei , i = 1, . . . , n.mPТогда ||Πm ξ||2 = (ξ, eei )2 = σ 2 χ2m , т.к. по теореме (ξ, eei ) ∼ N(0, σ 2 ).i=1Определение 2. Пусть χ2m и χ2k и независимы.

Тогда сл. величина Fm,k =руется распределением Фишера (R.A.Fischer).Свойства. Плотность:kkpFm,k (x) =mk 2 m 2 x 2 −1 (kx + m)−Γ( k2 )Γ( m2 )k+m2Γ(k+m),21 2χm m1 2χk kконтроли-x > 0.2mМоменты: MFk,m = m−2, m > 2 DFk,m = (m−2)2m2 (m−4) (1 + m−2), m > 4.kСледствие 2. Пусть Rn = Lk ⊕ Lm ⊕ Ls , k + m + s = n, Πk — ортогональный проектор на1||Π ξ||2Lk , Πm — ортогональный проектор на Lm . Тогда Fk,m = 1k ||Πkm ξ||2 .mДоказательство. Пусть новый базис {eei }, i = 1, . . .

, n таков, что eei ∈ Lk , если i = 1, . . . , k,eei ∈ Lm , если i = k + 1, . . . , k + m, eei ∈ Ls , если i = k + m + 1, . . . , n. Тогда ||Πk ξ||2 = σ 2 χ2k ,||Πm ξ||2 = σ 2 χ2m и независимы.Определение 3. Пусть ξ ∼ N(0, 1) и χ2m независимы. Тогда сл. величина tm = q ξχ2mmконтролируется распределением Стьюдента (В.С.Госсета) с m степенями свободы.Свойства. Плотность: m+12 − 2Γ( m+1)1x2√ptm (x) =1+, x > 0.Γ( m2 ) πmmmМоменты: Mtm = 0, Dtm = m−2.Следствие 3. Обозначим e=( √1n , . .

. , √1n ), L1 — одномерноестранство, определенное вектором e, Π1 — ортогональный проекторnnnPPPΠ1 ξ = (e, ξ)e = ( √1nξi )e = ( √1nξi , . . . , √1nξi ).i=1Пусть ξ ∼ N(0, σ 2 I), тогдаi=11[ n−1k(Iподпрона L1 ,i=1(ξ, e)= tn−1− Π1 )ξk2 ]1/2(3.7)— распределение Стьюдента с n − 1 степенью свободы.Доказательство. Перейдем от базиса {ei } к базису {e, ee1 , . .

. , een−1 }, так что L = L(e),⊥L = L(ee1 , . . . , een−1 ). Тогда координаты в этом новом базисе независимы и распределены какN(0, σ 2 ), а k(I − Π1 )ξk2 = σ 2 χ2n−1 и по определению 3 получаем (3.7).Перепишем (3.7) еще раз1 Выводсоответствующих формул см. в учебнике Пытьева, Шишмарева, (Изд. 2010 г.), стр. 276 – 280.10(ξ, e)=1[ n−1 k(I − Π1 )ξk2 ]1/21[ n(n−1)nP1[ n−1nP1n=√1nnPnPξii=1(ξk −k=1nP1n=ξi )2 ]1/2i=1ξii=11n(ξk −k=1.nPξi)2 ]1/2i=1Если ξ ∼ N(µ, σ 2 I), где µ = (µ, . . . , µ), то последнюю формулу можно заменить на1ntn−1 =1[ n(n−1)где µb=3.31nnPσb2 =ξi ,i=11n−1nP(ξk −k=11nnP(ξi − µ)i=1nP1n(ξk −k=1nPξi )2 =i=1nPξi )2 ]1/2i=11k(In−1µb−µ=q,1 2σbn(3.8)− Π1 )ξk2 .Интервальные оценки нормального распределения.Пусть {ξi }, i = 1.2. .

. . — последовательность независимых нормально распределенныхN(µ, σ 2 ) сл. величин (независимых измерений). Требуется оценить значения неизвестных параметров µ и σ 2 . Рассмотрим четыре случая.1. Оценивание µ при известном σ 2 .nPОчевидно,Тогда(ξi −µ)√nσ 2i=1∼ N(0, 1). nP i=1(ξi − µ) < ε = α(ε) = 1 − 2Φ(−ε),P  √nσ 2 или, преобразуя неравенство, получаемrr !σ2σ2P µb−ε<µ<µb+ε= α(ε) = 1 − 2Φ(−ε),nnгде µb =1nnPξi — середина интервала, шириной 2εi=1qσ2,nкоторому с вероятностью1 − α(ε) = 1 − 2Φ(−ε) принадлежит неизвестный параметр µ.nP22.

Оценивание σ при известном µ. Из определения 1 следует, чтоnP2(ξi − µ)i=1P  ε1 << ε2  = 1 − α(ε1 , ε2 ),2σ(ξi −µ)2i=1илиnP2 i=1(ξi − µ)P< σ2 <ε2nP2(ξi − µ)  = 1 − α(ε1 , ε2 ),ε1i=111σ2∼ χ2n , поэтомупричем обычно ε1 и ε2 выбирают так, чтобы P (χ2n < ε1 ) = P (χ2n > ε2 ). Интервал, которомуудовлетворяет σ 2 с вероятностью 1 − α, называется интервальной оценкой σ 2 .3. Оценивание µ при неизвестном σ 2 .Воспользуемся формулой (3.8)µb − µ P (|tn−1 | < ε) = P  q < ε = 1 − α(ε)2 1σbnи получаем выражение, аналогичное пункту 1:r !rσb2σb2<µ<µb+ε= 1 − αn−1 (ε),P µb−εnnно с тем отличием, что вместо σ 2 стоит σb2 и 1 − αn−1 (ε) соответствует распределению Стьюдента с n − 1 степенями свободы.4.

Оценивание σ 2 при неизвестном µ.Здесь по аналогии с пунктом 2 получаем nnPP22b)(ξi − µb)  i=1(ξi − µi=12 = 1 − αn−1 (ε1 , ε2 ),P<σ <ε2ε1где αn−1 (ε1 , ε2 ) вычисляется по распределению χ2n−1 с n − 1 степенями свободы.Построение доверительных интервалов в случае других распределений.Пусть Fϑ , ϑ ∈ Θ ⊂ R1 — некоторое параметрическое семейство распределений, и ξ1 , . . . , ξn— выборка из распределения Fϑ .−++Пусть ϑ−n = ϑn (ξ1 , .

. . , ξn ) и ϑn = ϑn (ξ1 , . . . , ξn ) — некоторые статистики. Случайный ин+тервал (ϑ−n , ϑn ) называется доверительным интервалом уровня 1 − ε, если+Pϑ {ϑ ∈ (ϑ−n , ϑn )} > 1 − α.+Случайный интервал (ϑ−n , ϑn ) называется точным доверительным интервалом уровня 1−ε,если при всех ϑ+Pϑ {ϑ ∈ (ϑ−n , ϑn )} = 1 − α.Для построения точного доверительного интервала обычно используется следующий подход. Выбирается функция G(ξ1 , . . . , ξn , ϑ) такая, что распределениеPϑ {G(ξ1 , . . . , ξn , ϑ) ∈ (y − , y + )} не зависит от параметра ϑ (распределение свободно отпараметра ϑ).

Функция G должна быть монотонной и обратимой функцией аргумента ϑ прилюбых фиксированных значениях выборки ξ1 , . . . , ξn . Пусть, для определённости, функцияG возрастает. Обозначим через t(ξ1 , . . . , ξn , y) функцию, обратную к функции G(ξ1 , . . . , ξn , ϑ)по параметру ϑ. Тогда доверительный интервал уровня 1 − α имеет вид(t(ξ1 , . . . , ξn , y − ), t(ξ1 , . . . , ξn , y + )),где числа y − и y + находятся (вообще говоря, неоднозначно) из уравненияPϑ {y − < G(ξ1 , . . . , ξn , ϑ) < y + )} = 1 − α.Пример.Пусть ξ1 , . . .

, ξn — выборка из равномерного распределения на отрезке [0, ϑ]. С помощьюстатистики ξ(n) построить точный доверительный интервал уровня 1 − α для параметра ϑ.Решение.Пусть ηi = ξi /ϑ, i = 1, ..., n, — элементы выборки объёма n из равномерного распределенияна отрезке [0, 1]. Распределение случайной величины η(n) = ξ(n) /ϑ не зависит от ϑ. Найдем12ε ∈ (0, 1) такое, что P {ε < η(n) < 1} = 1 − α. Функция распределения максимальной порядковой статистикиη(n) равна F (y) = y n для 0 < y < 1. Поэтому 1 − εn = 1 − α и, соответственно,√ε= nα.Доверительный интервал для ϑ получим из соотношений1 − α = P {ε < ξ(n) /ϑ < 1} = P {ξ(n) < ϑ < ξ(n) /ε}.√Искомый доверительный интервал равен (ξ(n) , ξ(n) / n α).4Оценки максимального правдоподобияСреди всех методов нахождения оценок выделяется своей простотой метод максимальногоbправдоподобия, определяющий оценку ϑ(x)из условияb или ∂ ln L(x, ϑ) | b = 0.sup L(x, ϑ) = L(x, ϑ)ϑ=ϑ∂ϑϑЗадача.

Пусть дана выборка размера n из распределения N(µ, σ 2 ). Найти оценку максимального правдоподобия ϑb = (bµ, σb2 ) и показать, что она не является несмещенной и эффективной.Несмотря на отсутствие в этом принципе какой-либо оптимальности, а также на то, чтотакая оценка вовсе не обязана быть несмещенной и эффективной, она обладает хорошимиасимптотическими свойствами.Состоятельность оценки максимального правдоподобия.1Теорема.Пусть выполнены следующие условия регулярности (RR):1) При каждом ϑ ∈ A, где A — некоторый невырожденный интервал2 , для почти всех x3ln f ∂ 2 ln f, ∂ϑ2 и ∂ ∂ϑln3 f .существуют производные ∂ ∂ϑ∂f∂2f∂ 3 ln f2) При каждом ϑ ∈ A имеем | ∂ϑ| < F1 (x), | ∂ϑ2 | < F2 (x) и | ∂ϑ3 | < H(x),R∞где функции F1 и F2 интегрируемы на (−∞, ∞) иH(x)f (x, ϑ)dx < 2M , причем M не−∞зависит от ϑ.R∞3) При каждом ϑ ∈ A интеграл−∞∂ ln f 2∂ϑf (x, ϑ)dx конечен и положителен.Тогда уравнение правдоподобия∂ ln L=0(4.1)∂ϑимеет решение ϑ = ϑ∗n (x), сходящееся по вероятности при n → ∞ к истинному значению параметра ϑ.

Это решение является асимптотически нормальной и асимптотически Rэффективной оценкой для ϑ:ln f 2N(ϑ0 , nk1 2 ), где k 2 = E ∂ ∂ϑ.ϑ=ϑ0ДоказательствоОграничимся случаем непрерывного распределения с плотностью вероятности f (x, ϑ).1◦ Обозначим через ϑ0 неизвестное истинное значение параметра ϑ в распределении, из которого производитсявыбор, и предположим, что ϑ0 есть внутренняя точка интервала A. Покажем сначала, что уравнение правдоподобияимеет решение, сходящееся по вероятности к ϑ0 . Указывая индексом 0, что следует положить ϑ = ϑ0 для каждого ϑиз A получаем1 ∂ ln L1= B0 + B1 (ϑ − ϑ0 ) + αB2 (ϑ − ϑ0 )2 , |α| < 1,n ∂ϑ2nnn1 X ∂ ln fi1 X ∂ 2 ln fi1XB0 =,B=H(xi )., B1 =2n i∂ϑn i∂ϑ2n i000=где1 См.(4.2)(4.3)Г.Крамер, Математические методы статистики, Мир, 1975. (Стр.

544). Доказательство принадлежит Дюге (D.Dugué).говоря, множество A должно быть компактным.2 Строго13Здесь fi означает f (xi , ϑ).Величины Bm суть функции от случайных величин ξ1 , ξ2 , . . . , ξn , и остается показать, что с вероятностью, стремящейся к 1 при n → ∞, уравнение (4.2) имеет корень, заключенный в пределах ϑ0 ± δ где δ — сколь угодно малоеположительное число.Рассмотрим поведение величин Bm при больших значениях n. Из условий 1) и 2) следует что для каждого ϑ из AZ∞Z∞∂fdx =∂ϑ−∞∂2fdx = 0,∂ϑ2−∞и поэтомуEE∂ ln f∂ϑ∂ 2 ln f∂ϑ2Z∞ =0=0−∞Z∞ "1 ∂ff ∂ϑ1 ∂2f−f ∂ϑ2f (x, ϑ0 )dx = 0,01 ∂ff ∂ϑ2 #f (x, ϑ0 )dx =−∞= −E∂ ln f∂ϑ2(4.4)0= −k2 ,0где, согласно условию 3), k > 0. Таким образом, в силу формулы (4.3), величина B0 есть среднее арифметическое nнезависимых случайных величин, имеющих одно и то же распределение с нулевым средним значением. Из теоремыХинчина1 следует, что B0 сходится по вероятности к нулю.

Характеристики

Список файлов лекций