Н.И. Чернова - Математическая статистика (1115306), страница 18
Текст из файла (страница 18)
. . , 0, 1, 0, . . . , 0), сразу же^ равны нулю. Итак, оценка методаполучим, что все координаты вектора ZX − ZZT β^ есть любое решение уравнениянаименьших квадратов β^ = ZXZZT βили^ = ZX.Aβ(32)По лемме 3, уравнение (32) имеет единственное решение^ = A−1 ZXβ(33)в том и только в том случае, когда матрица Z(k × n) имеет полный ранг k, где k 6 n.Уравнение (32) называется нормальным уравнением.В предположении, что вектор ошибок ε состоит из независимых случайных величинс нормальным распределением N0,σ2 с одной и той же дисперсией, ОМНК совпадаетс оценкой максимального правдоподобия, а ОМП для σ2 , согласно (31), равна11X 2^ 2 = 1 S(β).^^εi = kX − ZT βknnnnσ^2 =(34)i=19.7.
Свойства ОМНКОтметим несколько свойств, которые, возможно, нам понадобятся в дальнейшем.^ и β равна A−1 Zε:1. Разница β^ − β = A−1 ZX − β = A−1 Z(ZT β + ε) − β = A−1 Aβ + A−1 Zε − β = A−1 Zε.β^ — несмещенная оценка для β: E β^ = β + A−1 ZE ε ≡ β.2. Если E ε = 0, то βПусть выполнены предположения 1 и 2:Предположение 2. Вектор ошибок ε состоит из независимых случайных величин снормальным распределением N0,σ2 с одной и той же дисперсией.Напоминание 3.
Для произвольного случайного вектора x, координатыкоторого имеют вторые моменты, матрица ковариаций D x = E (x − E x)(x − E x)T — это матрица, чей (i, j)-йэлемент равенcov(xi , xj ) = E (xi − E xi )(xj − E xj ).В частности, D ε = σ2 · En , где En — единичная (n×n)-матрица.3. Матрица ковариаций вектора√^ равна σ2 Ek :Aβ√√T√√√ √√ T^ = E Aβ^ − E Aβ^^ − E Aβ^ = E A(β−β)^^D AβAβA(β−β)=√√T√ T= AA−1 Z E εεT ZT A−1 A .√√√^ = σ2 · AA−1 ZZT A−1 A = σ2 Ek .И так как AT = A, EεεT = σ2 En , то D Aβ=E√AA−1 ZεTAA−1 Zε√^ некоррелированы. СформуСвойство 3 означает, что координаты вектора Aβлируем дальнейшее следствие этого свойства первым пунктом следующей теоремы. Сутверждениями второго и третьего пунктов читатель встретится в следующем семестремногократно.84Теорема 13.1√ ^1.
ВекторA(β−β) имеет k-мерное стандартное нормальное распределение, т. е. соσстоит из k независимых случайных величин с распределением N0,1 .1n^σ2^ 2 имеет распределение χ2 с n−k степенями свободы= 2 kX−ZT βk2σσ^и не зависит от β.2. Величина3. Оценка (σ2 )∗ =n^σ21^ 2 является несмещенной оценкой для σ2 .=kX−ZT βkn−kn−kДоказательство теоремы 13.√√√^ − β) = AA−1 Zε = ( A)−1 Zε есть линейное преобразование нормального1. Вектор A(βвектора ε и поэтому имеет нормальное совместное распределение. По свойству 3, матрицаковариацийэтого вектора есть σ2 Ek , поэтому матрица ковариаций нормированного вектора√^ − β)/σ есть просто Ek , а математическое ожидание равно нулю по свойству 2.A(βНапомним, что координаты многомерного нормального вектора независимы тогда и толькотогда, когда они некоррелированы — см.
теорему 14. Первое утверждение теоремы доказано.^ ортогонален любому вектору вида ZT t. В частно2. По построению ОМНК, вектор X − ZT βT ^сти, он ортогонален вектору Z (β − β). По теореме Пифагора, для треугольника с такимикатетами сумма квадратов их длин равна квадрату длины гипотенузы:^ 2 + kZT (β^ − β)k2 = kX − ZT β^ + ZT (β^ − β)k2 = kX − ZT βk2 .kX − ZT βkПоэтому^ 2 = kX − ZT βk2 − kZT (β^ − β)k2 = kεk2 − kZT (β^ − β)k2 .kX − ZT βk√^ − β)k2 равен квадрату нормы k A(β^ − β)k2 :Но квадрат нормы kZT (β(35)√ T√^ − β) =^ − β)k2 = (β^ − β)T ZZT (β^ − β) = (β^ − β)T A A(βkZT (β√√^ − β)k2 = k( A)−1 Zεk2 .= k A(β√Осталось заметить, что строки (k×n)-матрицы ( A)−1 Z ортогональны:√ √T√√( A)−1 Z ( A)−1 Z = ( A)−1 ZZT ( A)−1 = Ek ,поэтому k её строк можно дополнить до некоторой ортогональной (n×n)-матрицыC.√Первые k координат n-мерного вектора Y = Cε/σ совпадают с вектором ( A)−1 Zε/σ.В результате из (35) получимn X√ −1ε i 2n^σ212T^ 22A)Zε/σk==kX−Zβk=kε/σk−k(− Y12 − .
. . − Yk2 . (36)σ2σ2σi=1Не забудьте, что вектор ε/σ имеет n-мерное стандартное нормальное распределение. Тогдався разность (36) по лемме Фишера имеет распределение χ2 с n−k степенями свободы и^ тоже, поскольку β^ естьне зависит от вычитаемого, т. е. от случайного вектора ε (и от βфункция ε).3. Напомним, что E χ2n−k = n−k. Отсюда и из второго утверждения теоремы получим 2 2n^σσ2σ2n^σ2 ∗E· (n − k) = σ2 .==E (σ ) = En−kn−kσ2n−k85ДобавленияA. Многомерное нормальное распределениеОпределение 33. Пусть случайный вектор ξ = (ξ1 , .
. . , ξm ) имеет вектор средних a = E ξ иневырожденную матрицу ковариаций Σ, составленную из элементов Σij = cov(ξi , ξj ). Говорят,что вектор ξ имеет нормальное распределение Na,Σ в IRm , если плотность этого вектора равна11fξ (x) = √ m pexp − (x − a)T Σ−1 (x − a) , где x ∈ IRm2( 2π)|det Σ|Квадратичная форма (x − a)T Σ−1 (x − a) в показателе экспоненты равнаX(xi − ai ) · (Σ−1 )ij · (xj − aj ).(x − a)T Σ−1 (x − a) =(37)i,jЗамечание 24. Вектор, составленный из нормальных случайных величин, не обязательноимеет многомерное нормальноераспределение.
Так, вектор (ξ, cξ) имеет вырожденную матрицу ковариаций 1c cc2 , если D ξ = 1, и не имеет плотности в IR2 .Поэтому в условиях следующей теоремы существование совместной нормальной плотностикоординат вектора обязательно.Теорема 14.Пусть вектор ξ имеет многомерное нормальное распределение Na,Σ . Координаты этого вектора независимы тогда и только тогда, когда они некоррелированы, т.
е. когдаматрица ковариаций Σ диагональна.Замечание 25. Следовало бы крикнуть «ура!»: свойство, о котором мы давно мечтали,— чтобы независимость следовала из некоррелированности, — имеет все же место. Но толькодля наборов случайных величин с нормальным совместным распределением, и это — очередноеизумительное качество нормального распределения.Доказательство. Только в случае диагональной матрицы Σ с элементами Σii = σ2i = D ξiквадратичная форма (37) превращается в сумму квадратовX(xi − ai ) · (Σ−1 )ij · (xj − aj ) =i,jX (xi − ai )2iσ2i,и многомерная плотность распадается в произведение плотностей координат.Надеюсь, читатель поверит следующей теореме без доказательства, будучи в состоянии доказать ее, как и в одномерном случае, с помощью многомерных характеристических функций.Многомерная центральная предельная теорема.Пусть ξ(1) , ξ(2) , .
. . — последовательность независимых и одинаково распределенных случайных векторов, каждый из которых имеет среднее E ξ(1) =a и невырожденную матрицуковариаций Σ. Обозначим через Sn = ξ(1) + . . . +ξ(n) вектор частичных сумм.Тогда при n → ∞ имеет место слабая сходимость распределений векторовη(n) =Sn − na√⇒ η, где η имеет распределение N0,Σ .nВ условиях многомерной ЦПТ распределение любых непрерывных функций g η(n) слабоP 2сходится к распределению g(η).
В качестве g(x) нам будет нужна только g(x) =xi = kxk2 .Следствие 5. В условиях многомерной ЦПТ имеет место сходимость kη(n) k2 ⇒ kηk2 .Осталось доказать теорему Пирсона.86B. Доказательство теоремы ПирсонаПлан действий:Pk1. Сначала покажем, что величина ρ = j=1 (νj − npj )2 /npj есть квадрат нормы неко√торого вектора η(n) = (Sn − na)/ n в IRk . Затем убедимся в том, что матрица ковариаций(1)типичного слагаемого ξв сумме Sn вырождена, что мешает использовать ЦПТ.^ (1) , 0),2.
Найдем ортогональное преобразование C, приводящее ξ(1) к виду C · ξ(1) = (ξ(1)^где вектор ξ∈ IRk−1 уже имеет невырожденную единичную матрицу ковариаций. В силулинейности умножения, вектор η(n) тоже перейдет в вектор C · η(n) = (^η(n) , 0) с нулевойпоследней координатой.
Но его норма не изменится из-за ортогональности матрицы C.^ (n) применим многомерную ЦПТ. В пределе получим (k−1)-мерный3. К вектору сумм ηнормальный вектор с нулевым средним и единичной матрицей ковариаций, т. е. составленныйиз независимых величин со стандартным нормальным распределением. Воспользуемся следствием 5 и тем, что квадрат нормы этого вектора имеет χ2 -распределение Hk−1 .Реализация:1.
С каждым элементом выборки Xi свяжем вектор-столбец ξ(i) :I(Xi ∈ Ak ) − pkI(Xi ∈ A1 ) − p1(i), i = 1, 2, . . . , n.,...,ξ = (ξ1 , . . . , ξk ) =√√p1pkПолучим n независимых и одинаково распределенных векторов. Среднее a = E ξ(1) равноPnнулю, поскольку E I(X1 ∈ Aj ) = pj для любого j = 1, . . . , k. Далее, νj = i=1 I(Xi ∈ Aj ),поэтому Pnξ(i)ν1 − np1νk − npkSnSn − na√√= i=1,..., √= √ =.√np1npknnnНайдем матрицу ковариаций вектора ξ(1) , составленную из элементовI(X1 ∈ Ai ) − pi I(X1 ∈ Aj ) − pj1σij = cov=√,· (E I(X1 ∈ Ai )·I(X1 ∈ Aj )−pi pj =√√pipjpi pj1=√·pi pjpi − pi pj , если i = j,0 − pi pj ,если i 6= j1 − pi ,если i = j,=√− pi pj , если i 6= j.Вырождена эта матрица хотя бы оттого, что координаты вектора ξ(1) линейно связаны:kkkXXX√pj = 1 − 1 = 0.I(X1 ∈ Aj ) −pj ξj =(38)j=1j=1j=12. Из (38) мораль: если последняя строка ортогональной матрицы C будет иметь вид√√( p1 , .
. . , pk ) (что вполне возможно — норма такой строки равна единице), то после умножения C на ξ(1) получим вектор с нулевой последней координатой — в точности (38).При умножении вектора ξ на матрицу C слева его матрица ковариаций Σ = E ξξT перейдетв B = CΣCT . Убедимся, что, какой бы ни была ортогональная матрица C, в результате получимдиагональную матрицу из нулей с единицами на главной диагонали, кроме элемента bkk = 0.Ортогональность C означает, что для любых m 6= k и l 6= m имеют место равенстваkXcmj ckj =kX√cmj pj = 0,j=1j=1j=1kXc2mj = 1,kXcmj clj = 0.j=1Учитывая, что il-й элемент матрицы CT есть cli , получимkkkXXXX√cmj σji cli =bml =−cmj pi pj + cmi (1 − pi ) cli =i=1j=1i=1j6=ikXcmi , m 6= k√√√ pi==cli ·−cmj pj − cmi pi + cmi cli =0,m=ki=1i=1j6=i1, m 6= k, m = lEk−1 0=.(39)=000, m = k или m 6= lkXX87(1)^ , 0)3.
Осталось повторить то, что мы уже описали в плане: умножение C · ξ(1) = (ξприводит к вектору с нулевой последней координатой по (38). Равенствами (39) мы показали,^ (1) ∈ IRk−1 имеет невырожденную единичную матрицу ковариаций Ek−1 . Векточто вектор ξ^ (1) , ξ^ (2) , . . . независимы, одинаково распределены, имеют нулевое среднее C · E ξ(1) = 0.ра ξВсе условия многомерной ЦПТ выполнены, поэтому(n)^η^ (1) + .
. . + ξ^ (n)ξ√=⇒ η, где η имеет распределение N0,Ek−1 .n^ (n) слабо сходится к норме вектора η, состоящего, согласноПо следствию 5, норма вектора ηтеореме 14, из независимых случайных величин со стандартным нормальным распределением:k^η(n) k2 ⇒ kηk2 =k−1Xη2i = χ2k−1 , где χ2k−1 имеет распределение Hk−1 .(40)i=1Распределение Hk−1 возникло здесь по определению 16. Осталось заметить, что у векто^ (n) , связанных равенствамиров η(n) , C · η(n) , ηC · η(n) =C · ξ(1) + . . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
