Н.И. Чернова - Математическая статистика (1119916), страница 21
Текст из файла (страница 21)
. , Xn :(1)(1)X1 = β1 Z1 + . . . + βk Zk + ε1(2)(2)X2 = β1 Z1 + . . . + βk Zk + ε2...X = β Z (n) + . . . + β Z (n) + ε ,n11kkn~ = Z T ~β +~ε, с матрицей плана Z(k × n)или, в матричной форме, X (1)(n)Z. . . Z1 1....~ (1) . . . Z~ (n) .Z = . ....= Z(1)(n)Zk . . . Zk~ найти оценки дляТребуется по данным матрице плана Z и вектору Xпараметров регрессии ~β и параметров распределения вектора ошибок ~ε.МНК и нормальное уравнение. Будем считать в дальнейшем выполненным следующее условие.(A1) Матрица Z имеет ранг k, т. е. все её строки линейно независимы.Л е м м а 9. Предположение (A1) означает, что симметричная матрица A = ZZ T положительно определена.Д о к а з а т е л ь с т в о. Напомним, что матрица A(k × k) называетсяположительно определённой, если неотрицательна квадратичная форма~t T A ~t > 0 для любого вектора ~t = (t1 , . .
. , tk ), причём равенство ~t T A ~t == 0 возможно только для ~t = ~0 = (0, . . . , 0). Напомним также, что квад-§ 2. Общая модель линейной регрессии117рат нормы вектора ~u равенk~u k2 = ~u T ~u =Xu2i > 0.Норма равна нулю, если и только если ~u = ~0.Матрица A симметрична, поскольку A = ZZ T и AT = A. Её неотрицательная определённость имеет место и без предположения (A1):~t T A ~t = ~t T Z·Z T ~t = (Z T ~t )T · (Z T ~t ) = kZ T ~t k2 > 0.Равенство же kZ T ~t k = 0 возможно, только если Z T ~t = ~0.
Но ранг Zравен k, поэтому Z T ~t = ~0 влечёт ~t = ~0.Скоро нам пригодится корень из матрицы A, существование которогогарантирует следующее утверждение.Л е м м а 10. Положительная определённость и симметричностьматрицывещественной симметричной мат√ √√ A влекут существованиерицы A такой, что A A = A.√Существование матрицы A с нужными свойствами следует из возможности привести симметричную матрицу A ортогональными преобразованиями A = QT D Q к диагональному виду с положительными, в силуположительной определённости,собственнымизначениями A на диагона√√Tли матрицы D. Тогда A = Q D Q.Найдём ОМНК β̂, которая минимизирует функцию S(~β ), равнуюS(~β ) =nX~ − Z T ~β k2 = (X~ − Z T ~β )T · (X~ − Z T ~β ).ε2i = k~ε k2 = kXi=1Можно искать точку экстремума дифференцированием по βi .
Заметим вместо этого, что величина S(~β ) есть квадрат расстояния от точки~ ∈ Rn до точки Z T ~β — одной из точек линейного подпространства (гиXперплоскости) в Rn , в которой лежит любой вектор вида Z T ~t, где ~t ∈ Rk .~ − Z T β̂Минимальное расстояние S(β̂) мы получим, когда вектор Xбудет ортогонален всем векторам этого подпространства, т. е.
когда для~ − Z T β̂ обралюбого ~t ∈ Rk скалярное произведение векторов Z T ~t и Xтится в нуль. Запишем это скалярное произведение в матричном виде T TT~TTTT~ ~~~X − Z β̂ = ~t · Z X − ZZ β̂ = 0.Z t, X − Z β̂ = Z tПодставив в это равенство в качестве ~t поочерёдно базисные векторы(0, . . . , 0, 1, 0, . . . , 0) из Rk , сразу же получим, что все координаты вектора118ГЛАВА IX. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИ~ − ZZ T β̂ равны нулю. Итак, ОМНК β̂ есть любое решение уравненияZX~ или Aβ̂ = Z X.~ZZ T β̂ = Z X(34)По лемме 9, уравнение (34) имеет единственное решение~β̂ = A−1 Z X(35)в том и только в том случае, когда матрица Z(k × n) имеет полный рангk, где k 6 n. Уравнение (34) называется нормальным уравнением.В предположении, что вектор ошибок ~ε состоит из независимых случайных величин с нормальным распределением N0,σ2 с одной и той жедисперсией, ОМНК совпадает с оценкой максимального правдоподобия, аОМП для σ2 , согласно (33), равнаn1 ~11 X 2ε̂i = kX− Z T β̂k2 = S(β̂).σ̂ =nnn2(36)i=1Свойства ОМНК.
Сначала докажем несколько простых свойств, которые нам понадобятся в дальнейшем.С в о й с т в о 12. Разность β̂ − ~β равна A−1 Z ~ε.Д о к а з а т е л ь с т в о. Подставим в разность вместо β̂ решение (35):~ − ~β = A−1 Z(Z T ~β +~ε ) − ~β = A−1 A~β + A−1 Z ~ε − ~β = A−1 Z ~ε.A−1 Z XС в о й с т в о 13. Если E~ε = 0, то β̂ — несмещённая оценка для ~β.Д о к а з а т е л ь с т в о.
Действительно, по предыдущему свойствуE β̂ = ~β + A−1 Z E~ε = ~β.Дальнейшие свойства требуют знания распределения вектора ошибок.Пусть выполнены предположение (A1) и следующее предположение (A2).(A2) Вектор ~ε состоит из независимых случайных величин с распределением N0, σ2 с одной и той же дисперсией.Напомним, что для произвольного случайного вектора ~x, координатыкоторого имеют вторые моменты, матрицей ковариацийD~x = E(~x − E~x)(~x − E~x)Tназывается матрица, (i, j) -й элемент которой равенcov(xi , xj ) = E(xi − Exi )(xj − Exj ).В частности, D~ε = σ2 En , где En — единичная (n×n) -матрица.Следующее очень√ важное свойство утверждает, что в предположениях(A1)—(A2) вектор A β̂ имеет диагональную матрицу ковариаций.§ 2.
Общая модель линейной регрессии119√С в о й с т в о 14. Матрица ковариаций вектора A β̂ равна σ2 Ek .Д о к а з а т е л ь с т в о.√Воспользуемся свойством 12 и вычислим матрицу ковариаций вектора A β̂ :√√√ √√ TD A β̂ = E A β̂ − E A β̂A β̂ − E A β̂ =√T√√T√−1−1~~A (β̂−β ) = EA A Z~εA A Z~ε == E A (β̂−β )√√ −1= A A Z E ~ε ~ε T Z T (A−1 )T A T .И так как AT = A, E~ε ~ε T = σ2 En , то√√√D A β̂ = σ2 · A A−1 ZZ T A−1 A = σ2 Ek .√Свойство 14 означает, что координаты вектора A β̂ некоррелированы.Сформулируем дальнейшее следствие этого свойства первым пунктом следующей теоремы. С утверждениями второго и третьего пунктов читательвстретится в следующем семестре многократно.Т е о р е м а 30.√Пусть выполнены предположения (A1)—(A2). Тогда1) вектор σ1 A (β̂ − ~β ) имеет k -мерное стандартное нормальноераспределение, т.
е. состоит из k независимых случайных величин состандартным нормальным распределением;2~ − Z T β̂k2 имеет распределение χ2 с n − k2) величина nσ̂ = 1 kXσ2σ2степенями свободы и не зависит от β̂;21∗T β̂k2 является~3) исправленная оценка (σ2 ) = nσ̂ =kX−Zn−kn−kнесмещённой оценкой для σ2 .Д о к а з а т е л ь с т в о. Первое свойство вытекает из того, что вектор√√√A (β̂ − ~β ) = A A−1 Z~ε = ( A )−1 Z~εявляется линейным преобразованием нормального вектора ~ε и поэтомуимеет нормальное совместное распределение.
По свойству 14, матрица ковариаций этого вектораесть σ2 Ek , поэтому матрица ковариаций нормиро√ванного вектора A (β̂ −~β )/σ есть просто Ek , а математическое ожиданиеравно нулю по свойству 13.Координаты многомерного нормального вектора независимы тогдаи только тогда, когда они некоррелированы. Подробнее этот факт обсуждается в следующей главе. Первое утверждение теоремы доказано.Докажем второе. По построению ОМНК, вектор X − Z T β̂ ортогонален любому вектору вида Z T t.
В частности, он ортогонален имеющему120ГЛАВА IX. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИнужный вид вектору Z T (β̂ −~β ). По теореме Пифагора в треугольнике с катетами X − Z T β̂ и Z T (β̂ − ~β ) сумма квадратов их длин равна квадратудлины гипотенузы:kX − Z T β̂k2 + kZ T (β̂ − ~β )k2 = kX − Z T β̂ + Z T (β̂ − ~β )k2 = kX − Z T ~βk2 .ПоэтомуkX − Z T β̂k2 = kX − Z T ~βk2 − kZ T (β̂ − ~β )k2 = k~ε k2 − kZ T (β̂ − ~β )k2 . (37)√Но квадрат нормы kZ T (β̂ − ~β )k2 равен квадрату нормы k A (β̂ − ~β )k2 :√ √kZ T (β̂ − ~β )k2 = (β̂ − ~β )T ZZ T (β̂ − ~β ) = (β̂ − ~β )T A T A (β̂ − ~β ) =√√= k A (β̂ − ~β )k2 = k( A )−1 Z~ε k2 .√Осталось заметить, что строки (k×n) -матрицы ( A )−1 Z ортогональны: √ −1 √ −1 T√ −1√ −1= ( A ) ZZ T ( A ) = Ek ,( A) Z ( A) Zпоэтому k её строк можно дополнить до некоторой ортогональной матрицы C(n×n).
Первые k координат n -мерного вектора Y~ = C ~ε/σ совпа√ −1дают с вектором ( A ) Z ~ε/σ. В результате из равенства (37) получим√ −11nσ̂2T 2=kX−Zβ̂k = k~ε/σk2 − k( A ) Z ~ε/σk2 =22σσ=n Xε 2ii=1σ− Y12 − . . . − Yk2 .(38)Но вектор ~ε/σ имеет n -мерное стандартное нормальное распределение.Тогда вся разность (38) по лемме Фишера имеет распределение χ2 с n−kстепенями свободы и не зависит от вычитаемого, т. е.
от случайного вектора ~ε (и от β̂ тоже, поскольку β̂ есть линейная функция от ~ε ).Третье утверждение теоремы сразу следует из второго. Напомним, чтораспределение χ2 с n − k степенями свободы имеет математическое ожидание n − k. Поэтомуnσ̂2nσ̂2σ2σ22 ∗E(σ ) = E=E=· (n − k) = σ2 ,2n−kn−kσчто доказывает третье утверждение теоремы.n−kГЛАВА XМНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕВ предыдущих главах мы неоднократно встречались с нормальными выборками. Но применения многомерного нормального распределения в математической статистике не ограничиваются лишь свойствами наборов независимых нормальных случайных величин.
Скажем, зависимость между собойнормальных ошибок регрессии приводит к необходимости преобразований,устраняющих эту зависимость. Поэтому вернёмся к многомерному нормальному распределению и изучим его свойства подробнее, чем в теории вероятностей. Затем мы используем наши знания для доказательства теоремыПирсона. В конце главы рассмотрим модель однофакторного дисперсионного анализа, для изучения которой вновь понадобится лемма Фишера.§ 1. Свойства нормальных векторовНапомним полное умолчаний определение, данное нами в прошлом семестре, и наведём в нём порядок.О п р е д е л е н и е 34.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
