1612725170-d2dcc605205feb3d5b9a0101f2221951 (828894), страница 20
Текст из файла (страница 20)
. , tk ), причём равенство ~t T A ~t == 0 возможно только для ~t = ~0 = (0, . . . , 0). Напомним также, что квад-§ 2. Общая модель линейной регрессии117рат нормы вектора ~u равенk~u k2 = ~u T ~u =Xu2i > 0.Норма равна нулю, если и только если ~u = ~0.Матрица A симметрична, поскольку A = ZZ T и AT = A. Её неотрицательная определённость имеет место и без предположения (A1):~t T A ~t = ~t T Z·Z T ~t = (Z T ~t )T · (Z T ~t ) = kZ T ~t k2 > 0.Равенство же kZ T ~t k = 0 возможно, только если Z T ~t = ~0.
Но ранг Zравен k, поэтому Z T ~t = ~0 влечёт ~t = ~0.Скоро нам пригодится корень из матрицы A, существование которогогарантирует следующее утверждение.Л е м м а 10. Положительная определённость и симметричностьматрицывещественной симметричной мат√ √√ A влекут существованиерицы A такой, что A A = A.√Существование матрицы A с нужными свойствами следует из возможности привести симметричную матрицу A ортогональными преобразованиями A = QT D Q к диагональному виду с положительными, в силуположительной определённости,собственнымизначениями A на диагона√√Tли матрицы D. Тогда A = Q D Q.Найдём ОМНК β̂, которая минимизирует функцию S(~β ), равнуюS(~β ) =nX~ − Z T ~β k2 = (X~ − Z T ~β )T · (X~ − Z T ~β ).ε2i = k~ε k2 = kXi=1Можно искать точку экстремума дифференцированием по βi .
Заметим вместо этого, что величина S(~β ) есть квадрат расстояния от точки~ ∈ Rn до точки Z T ~β — одной из точек линейного подпространства (гиXперплоскости) в Rn , в которой лежит любой вектор вида Z T ~t, где ~t ∈ Rk .~ − Z T β̂Минимальное расстояние S(β̂) мы получим, когда вектор Xбудет ортогонален всем векторам этого подпространства, т. е. когда для~ − Z T β̂ обралюбого ~t ∈ Rk скалярное произведение векторов Z T ~t и Xтится в нуль. Запишем это скалярное произведение в матричном виде T TT~TTTT~ ~~~X − Z β̂ = ~t · Z X − ZZ β̂ = 0.Z t, X − Z β̂ = Z tПодставив в это равенство в качестве ~t поочерёдно базисные векторы(0, . . .
, 0, 1, 0, . . . , 0) из Rk , сразу же получим, что все координаты вектора118ГЛАВА IX. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ~ − ZZ T β̂ равны нулю. Итак, ОМНК β̂ есть любое решение уравненияZX~ или Aβ̂ = Z X.~ZZ T β̂ = Z X(34)По лемме 9, уравнение (34) имеет единственное решение~β̂ = A−1 Z X(35)в том и только в том случае, когда матрица Z(k × n) имеет полный рангk, где k 6 n. Уравнение (34) называется нормальным уравнением.В предположении, что вектор ошибок ~ε состоит из независимых случайных величин с нормальным распределением N0,σ2 с одной и той жедисперсией, ОМНК совпадает с оценкой максимального правдоподобия, аОМП для σ2 , согласно (33), равнаn1 ~11 X 2ε̂i = kX− Z T β̂k2 = S(β̂).σ̂ =nnn2(36)i=1Свойства ОМНК.
Сначала докажем несколько простых свойств, которые нам понадобятся в дальнейшем.С в о й с т в о 12. Разность β̂ − ~β равна A−1 Z ~ε.Д о к а з а т е л ь с т в о. Подставим в разность вместо β̂ решение (35):~ − ~β = A−1 Z(Z T ~β +~ε ) − ~β = A−1 A~β + A−1 Z ~ε − ~β = A−1 Z ~ε.A−1 Z XС в о й с т в о 13. Если E~ε = 0, то β̂ — несмещённая оценка для ~β.Д о к а з а т е л ь с т в о. Действительно, по предыдущему свойствуE β̂ = ~β + A−1 Z E~ε = ~β.Дальнейшие свойства требуют знания распределения вектора ошибок.Пусть выполнены предположение (A1) и следующее предположение (A2).(A2) Вектор ~ε состоит из независимых случайных величин с распределением N0, σ2 с одной и той же дисперсией.Напомним, что для произвольного случайного вектора ~x, координатыкоторого имеют вторые моменты, матрицей ковариацийD~x = E(~x − E~x)(~x − E~x)Tназывается матрица, (i, j) -й элемент которой равенcov(xi , xj ) = E(xi − Exi )(xj − Exj ).В частности, D~ε = σ2 En , где En — единичная (n×n) -матрица.Следующее очень√ важное свойство утверждает, что в предположениях(A1)—(A2) вектор A β̂ имеет диагональную матрицу ковариаций.§ 2.
Общая модель линейной регрессии119√С в о й с т в о 14. Матрица ковариаций вектора A β̂ равна σ2 Ek .Д о к а з а т е л ь с т в о.√Воспользуемся свойством 12 и вычислим матрицу ковариаций вектора A β̂ :√√√ √√ TD A β̂ = E A β̂ − E A β̂A β̂ − E A β̂ =√T√√T√−1−1~~A (β̂−β ) = EA A Z~εA A Z~ε == E A (β̂−β )√√ −1= A A Z E ~ε ~ε T Z T (A−1 )T A T .И так как AT = A, E~ε ~ε T = σ2 En , то√√√D A β̂ = σ2 · A A−1 ZZ T A−1 A = σ2 Ek .√Свойство 14 означает, что координаты вектора A β̂ некоррелированы.Сформулируем дальнейшее следствие этого свойства первым пунктом следующей теоремы. С утверждениями второго и третьего пунктов читательвстретится в следующем семестре многократно.Т е о р е м а 30.√Пусть выполнены предположения (A1)—(A2).
Тогда1) вектор σ1 A (β̂ − ~β ) имеет k -мерное стандартное нормальноераспределение, т. е. состоит из k независимых случайных величин состандартным нормальным распределением;2~ − Z T β̂k2 имеет распределение χ2 с n − k2) величина nσ̂ = 1 kXσ2σ2степенями свободы и не зависит от β̂;21∗T β̂k2 является~3) исправленная оценка (σ2 ) = nσ̂ =kX−Zn−kn−kнесмещённой оценкой для σ2 .Д о к а з а т е л ь с т в о. Первое свойство вытекает из того, что вектор√√√A (β̂ − ~β ) = A A−1 Z~ε = ( A )−1 Z~εявляется линейным преобразованием нормального вектора ~ε и поэтомуимеет нормальное совместное распределение.
По свойству 14, матрица ковариаций этого вектораесть σ2 Ek , поэтому матрица ковариаций нормиро√ванного вектора A (β̂ −~β )/σ есть просто Ek , а математическое ожиданиеравно нулю по свойству 13.Координаты многомерного нормального вектора независимы тогдаи только тогда, когда они некоррелированы. Подробнее этот факт обсуждается в следующей главе. Первое утверждение теоремы доказано.Докажем второе.
По построению ОМНК, вектор X − Z T β̂ ортогонален любому вектору вида Z T t. В частности, он ортогонален имеющему120ГЛАВА IX. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИнужный вид вектору Z T (β̂ −~β ). По теореме Пифагора в треугольнике с катетами X − Z T β̂ и Z T (β̂ − ~β ) сумма квадратов их длин равна квадратудлины гипотенузы:kX − Z T β̂k2 + kZ T (β̂ − ~β )k2 = kX − Z T β̂ + Z T (β̂ − ~β )k2 = kX − Z T ~βk2 .ПоэтомуkX − Z T β̂k2 = kX − Z T ~βk2 − kZ T (β̂ − ~β )k2 = k~ε k2 − kZ T (β̂ − ~β )k2 .
(37)√Но квадрат нормы kZ T (β̂ − ~β )k2 равен квадрату нормы k A (β̂ − ~β )k2 :√ √kZ T (β̂ − ~β )k2 = (β̂ − ~β )T ZZ T (β̂ − ~β ) = (β̂ − ~β )T A T A (β̂ − ~β ) =√√= k A (β̂ − ~β )k2 = k( A )−1 Z~ε k2 .√Осталось заметить, что строки (k×n) -матрицы ( A )−1 Z ортогональны: √ −1 √ −1 T√ −1√ −1= ( A ) ZZ T ( A ) = Ek ,( A) Z ( A) Zпоэтому k её строк можно дополнить до некоторой ортогональной матрицы C(n×n). Первые k координат n -мерного вектора Y~ = C ~ε/σ совпа√ −1дают с вектором ( A ) Z ~ε/σ. В результате из равенства (37) получим√ −11nσ̂2T 2=kX−Zβ̂k = k~ε/σk2 − k( A ) Z ~ε/σk2 =22σσ=n Xε 2ii=1σ− Y12 − .
. . − Yk2 .(38)Но вектор ~ε/σ имеет n -мерное стандартное нормальное распределение.Тогда вся разность (38) по лемме Фишера имеет распределение χ2 с n−kстепенями свободы и не зависит от вычитаемого, т. е. от случайного вектора ~ε (и от β̂ тоже, поскольку β̂ есть линейная функция от ~ε ).Третье утверждение теоремы сразу следует из второго. Напомним, чтораспределение χ2 с n − k степенями свободы имеет математическое ожидание n − k.
Поэтомуnσ̂2nσ̂2σ2σ22 ∗E(σ ) = E=E=· (n − k) = σ2 ,2n−kn−kσчто доказывает третье утверждение теоремы.n−kГЛАВА XМНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕВ предыдущих главах мы неоднократно встречались с нормальными выборками. Но применения многомерного нормального распределения в математической статистике не ограничиваются лишь свойствами наборов независимых нормальных случайных величин. Скажем, зависимость между собойнормальных ошибок регрессии приводит к необходимости преобразований,устраняющих эту зависимость.
Поэтому вернёмся к многомерному нормальному распределению и изучим его свойства подробнее, чем в теории вероятностей. Затем мы используем наши знания для доказательства теоремыПирсона. В конце главы рассмотрим модель однофакторного дисперсионного анализа, для изучения которой вновь понадобится лемма Фишера.§ 1. Свойства нормальных векторовНапомним полное умолчаний определение, данное нами в прошлом семестре, и наведём в нём порядок.О п р е д е л е н и е 34.
Пусть случайный вектор ~ξ = (ξ1 , . . . , ξm ) имеетвектор средних ~a = E~ξ, пусть Σ — симметричная, невырожденная, положительно определённая матрица. Говорят, что вектор ~ξ имеет нормальное распределение N~a, Σ в Rm , если плотность этого вектора при всех~x ∈ Rm равнаno11T −1f~ξ (~x) = √ m pexp − (~x − ~a) Σ (~x − ~a) ,(39)( 2π)|detΣ|2Покажем, что матрица ковариаций случайного вектора, имеющегоплотность распределения (39), в точности равна Σ. Для вычисления «дисперсии» D~ξ поступим так же, как в одномерном случае: свяжем вектор ~ξс вектором ~η, имеющим многомерное стандартное нормальное распределение, а затем воспользуемся свойствами дисперсий.122ГЛАВА X. МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕПусть вектор ~η состоит из m независимых стандартных нормальныхслучайных величин и имеет плотность распределенияon11 Tf~η (~x ) = √ m exp − ~x ~x .( 2π)2Матрица Σ симметрична, невырождена и положительно определена.√По лемме 10 (с.
117), существует симметричная матрица B = Σ. Положим ~ξ = B~η +~a и найдём распределение этого вектора. По теореме 17 (с.72), плотность распределения вектора ~ξ равнаf~ξ (~x ) = |det B|−1 · f~η B −1 (~x − ~a) =on11T−1 T −1= √ mpexp − (~x − ~a) (B ) B (~x − ~a) . (40)( 2π)|detΣ|2В показателе экспоненты в равенстве (40) стоит матрицаT(B −1 ) B −1 = B −1 B −1 = Σ−1 .Итак, вектор ~ξ имеет плотность распределения, заданную формулой (39).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
