1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 22
Текст из файла (страница 22)
Сначала докажем несколько простых свойств, которые нам понадобятся в дальнейшем.С в о й с т в о 12. Разность β̂ − ⃗β равна A−1 Z ⃗ε.Д о к а з а т е л ь с т в о. Подставим в разность вместо β̂ решение (35):⃗ − ⃗β = A−1 Z(Z T ⃗β +⃗ε ) − ⃗β = A−1 A⃗β + A−1 Z ⃗ε − ⃗β = A−1 Z ⃗ε.A−1 Z XС в о й с т в о 13. Если E⃗ε = 0, то β̂ — несмещённая оценка для ⃗β.Д о к а з а т е л ь с т в о. Действительно, по предыдущему свойствуE β̂ = ⃗β + A−1 Z E⃗ε = ⃗β.Дальнейшие свойства требуют знания распределения вектора ошибок.Пусть выполнены предположение (A1) и следующее предположение (A2).(A2) Вектор ⃗ε состоит из независимых случайных величин с распределением N0, σ2 с одной и той же дисперсией.Напомним, что для произвольного случайного вектора ⃗x, координатыкоторого имеют вторые моменты, матрицей ковариацийD⃗x = E(⃗x − E⃗x)(⃗x − E⃗x)Tназывается матрица, (i, j) -й элемент которой равенcov(xi , xj ) = E(xi − Exi )(xj − Exj ).В частности, D⃗ε = σ2 En , где En — единичная (n×n) -матрица.§ 2.
Общая модель линейной регрессии119Следующее очень√ важное свойство утверждает, что в предположениях(A1)—(A2) вектор A β̂ имеет диагональную матрицу ковариаций.√С в о й с т в о 14. Матрица ковариаций вектора A β̂ равна σ2 Ek .Д о к а з а т е л ь с т в о. Воспользуемсясвойством 12 и вычислим мат√рицу ковариаций вектора A β̂ :(√√√ )(√√ )TD A β̂ = E A β̂ − E A β̂A β̂ − E A β̂ =(√)(√)T(√)(√)T−1−1⃗⃗= E A (β̂−β )A (β̂−β ) = EA A Z⃗εA A Z⃗ε =()√ −1√= A A Z E ⃗ε ⃗ε T Z T (A−1 )T A T .И так как AT = A, E⃗ε ⃗ε T = σ2 En , то√√√D A β̂ = σ2 · A A−1 ZZ T A−1 A = σ2 Ek .√Свойство 14 означает, что координаты вектора A β̂ некоррелированы.Сформулируем дальнейшее следствие этого свойства первым пунктом следующей теоремы.
С утверждениями второго и третьего пунктов читательвстретится в следующем семестре многократно.Т е о р е м а 30.√ Пусть выполнены предположения (A1)—(A2). Тогда1) вектор σ1 A (β̂ − ⃗β ) имеет k -мерное стандартное нормальноераспределение, т. е. состоит из k независимых случайных величин состандартным нормальным распределением;2⃗ − Z T β̂∥2 имеет распределение χ2 с n − k2) величина nσ̂ = 1 ∥Xσ2σ2степенями свободы и не зависит от β̂;21∗T β̂∥2 является⃗∥X−Z3) исправленная оценка (σ2 ) = nσ̂ =n−kn−kнесмещённой оценкой для σ2 .Д о к а з а т е л ь с т в о.
Первое свойство вытекает из того, что вектор√√√A (β̂ − ⃗β ) = A A−1 Z⃗ε = ( A )−1 Z⃗εявляется линейным преобразованием нормального вектора ⃗ε и поэтомуимеет нормальное совместное распределение. По свойству 14, матрица2ковариаций этого вектора√ есть σ Ek , поэтому матрица ковариаций нормированного вектора A (β̂ − ⃗β )/σ есть просто Ek , а математическоеожидание равно нулю по свойству 13.Координаты многомерного нормального вектора независимы тогдаи только тогда, когда они некоррелированы.
Подробнее этот факт обсуждается в следующей главе. Первое утверждение теоремы доказано.120ГЛАВА IX. ИССЛЕДОВАНИЕ СТАТИСТИЧЕСКОЙ ЗАВИСИМОСТИДокажем второе. По построению ОМНК, вектор X − Z T β̂ ортогонален любому вектору вида Z T t. В частности, он ортогонален имеющемунужный вид вектору Z T (β̂ − ⃗β ). По теореме Пифагора в треугольникес катетами X − Z T β̂ и Z T (β̂ − ⃗β ) сумма квадратов их длин равна квадрату длины гипотенузы:∥X − Z T β̂∥2 + ∥Z T (β̂ − ⃗β )∥2 = ∥X − Z T β̂ + Z T (β̂ − ⃗β )∥2 = ∥X − Z T ⃗β∥2 .Поэтому∥X − Z T β̂∥2 = ∥X − Z T ⃗β∥2 − ∥Z T (β̂ − ⃗β )∥2 = ∥⃗ε ∥2 − ∥Z T (β̂ − ⃗β )∥2 . (37)√Но квадрат нормы ∥Z T (β̂ − ⃗β )∥2 равен квадрату нормы ∥ A (β̂ − ⃗β )∥2 :√ √∥Z T (β̂ − ⃗β )∥2 = (β̂ − ⃗β )T ZZ T (β̂ − ⃗β ) = (β̂ − ⃗β )T A T A (β̂ − ⃗β ) =√√ −12⃗= ∥ A (β̂ − β )∥ = ∥( A ) Z⃗ε ∥2 .√Осталось заметить, что строки (k×n) -матрицы ( A )−1 Z ортогональны:( √ −1 ) ( √ −1 )T√ −1√ −1= ( A ) ZZ T ( A ) = Ek ,( A) Z ( A) Zпоэтому k её строк можно дополнить до некоторой ортогональной матрицы C(n×n).
Первые k координат n -мерного вектора Y⃗ = C ⃗ε/σ сов√ −1падают с вектором ( A ) Z ⃗ε/σ. В результате из (37) получим√ −1nσ̂21T 22= 2 ∥X − Z β̂∥ = ∥⃗ε/σ∥ − ∥( A ) Z ⃗ε/σ∥2 =2σσ=n ( )∑ε 2ii=1σ− Y12 − . . . − Yk2 .(38)Но вектор ⃗ε/σ имеет n -мерное стандартное нормальное распределение.Тогда вся разность (38) по лемме Фишера имеет распределение χ2 с n−kстепенями свободы и не зависит от вычитаемого, т. е. от случайного вектора ⃗ε (и от β̂ тоже, поскольку β̂ есть линейная функция от ⃗ε ).Третье утверждение теоремы сразу следует из второго. Напомним, чтораспределение χ2 с n − k степенями свободы имеет математическое ожидание n − k.
Поэтому)(()222∗σ2nσ̂nσ̂σ=E· (n − k) = σ2 ,E(σ2 ) = E=2n−kn−kσчто доказывает третье утверждение теоремы.n−kГЛАВА XМНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕВ предыдущих главах мы неоднократно встречались с нормальными выборками. Но применения многомерного нормального распределения в математической статистике не ограничиваются лишь свойствами наборов независимых нормальных случайных величин. Скажем, зависимость между собойнормальных ошибок регрессии приводит к необходимости преобразований,устраняющих эту зависимость.
Поэтому вернёмся к многомерному нормальному распределению и изучим его свойства подробнее, чем в теории вероятностей. Затем мы используем наши знания для доказательства теоремыПирсона. В конце главы рассмотрим модель однофакторного дисперсионного анализа, для изучения которой вновь понадобится лемма Фишера.§ 1. Свойства нормальных векторовНапомним полное умолчаний определение, данное нами в прошлом семестре, и наведём в нём порядок.О п р е д е л е н и е 34. Пусть случайный вектор ⃗ξ = (ξ1 , . . .
, ξm ) имеет вектор средних ⃗a = E⃗ξ, пусть Σ — симметричная, невырожденная,положительно определённая матрица. Говорят, что вектор ⃗ξ имеет нормальное распределение N⃗a, Σ в Rm , если плотность этого вектора привсех ⃗x ∈ Rm равна}{11T −1(39)f⃗ξ (⃗x) = √ m √exp − (⃗x − ⃗a) Σ (⃗x − ⃗a) ,( 2π)|detΣ|2Покажем, что матрица ковариаций случайного вектора, имеющегоплотность распределения (39), в точности равна Σ. Для вычисления «дисперсии» D⃗ξ поступим так же, как в одномерном случае: свяжем вектор⃗ξ с вектором ⃗η, имеющим многомерное стандартное нормальное распределение, а затем воспользуемся свойствами дисперсий.122ГЛАВА X.
МНОГОМЕРНОЕ НОРМАЛЬНОЕ РАСПРЕДЕЛЕНИЕПусть вектор ⃗η состоит из m независимых стандартных нормальныхслучайных величин и имеет плотность распределения}{11 Tf⃗η (⃗x ) = √ m exp − ⃗x ⃗x .( 2π)2Матрица Σ симметрична, невырождена и положительно определена.√По лемме 10 (с. 117), существует симметричная матрица B = Σ. Положим ⃗ξ = B⃗η + ⃗a и найдём распределение этого вектора. По теореме 17(с. 72), плотность распределения вектора ⃗ξ равна()f⃗ξ (⃗x ) = |det B|−1 · f⃗η B −1 (⃗x − ⃗a) ={}11T−1 T −1= √ m√exp − (⃗x − ⃗a) (B ) B (⃗x − ⃗a) . (40)( 2π)|detΣ|2В показателе экспоненты в равенстве (40) стоит матрицаT(B −1 ) B −1 = B −1 B −1 = Σ−1 .Итак, вектор ⃗ξ имеет плотность распределения, заданную формулой (39).
Найдём матрицу ковариаций этого вектора. Вектор его математических ожиданий есть ⃗a. Действительно, E(B⃗η + ⃗a) = BE⃗η + ⃗a = ⃗a,поэтому сразу вычтем его:()()D⃗ξ = E B⃗η (B⃗η )T = B · E ⃗η ⃗η T · B T = BB T = Σ.()Мы воспользовались тем, что E ⃗η ⃗η T = D⃗η = E — единичная матрица.Сформулируем результат предыдущих рассмотрений в виде теоремы.Т е о р е м а 31.
1. Пусть вектор ⃗η состоит из независимых стандартных нормальных случайных величин, B — невырожденная матрица. Тогда вектор ⃗ξ = B⃗η + ⃗a имеет многомерное нормальное распределение N⃗a, Σ с вектором средних ⃗a и матрицей ковариаций Σ = BB T .2. Пусть вектор ⃗ξ имеет многомерноераспределение√( нормальное)−1N⃗a, Σ , где Σ > 0. Тогда вектор ⃗η = B ⃗ξ − ⃗a при B = Σ состоит из независимых стандартных нормальных случайных величин.Итак, имеет место замечательный факт: любой нормальный векторв Rm со сколь угодно зависимыми координатами, имеющий плотность совместного распределения, может быть умножением на подходящую невырожденную матрицу превращён в вектор, состоящий из независимых нормальных случайных величин. И наоборот, стандартный нормальный случайный вектор можно линейным преобразованием превратить в векторс заданным многомерным нормальным распределением.123§ 1.
Свойства нормальных векторовНапомним, что по теореме 18 (с. 73) поворот, т. е. умножение на ортогональную матрицу, не меняет совместного распределения координатстандартного нормального вектора. А что можно с помощью поворота сделать с произвольным нормальным вектором? Проверьте справедливостьследующей леммы.Л е м м а 11. Если вектор ⃗ξ имеет матрицу ковариаций Σ = D⃗ξ, томатрица ковариаций вектора ⃗η = B⃗ξ равна D⃗η = BΣB T .Однако симметричную положительно определённую матрицу Σ можно ортогональными преобразованиями привести к диагональному виду:QΣQT = D = diag(σ21 , . .
. , σ2m ).Вот почему любой нормальный вектор ⃗ξ подходящим поворотом ⃗η = Q⃗ξможно превратить в вектор с независимыми, но не обязательно одинаковораспределёнными координатами.З а м е ч а н и е 25. Бывает удобно считать нормальным распределениевектора с вырожденной матрицей ковариаций, если поворотом этот вектор можно превратить в нормальный вектор «меньшей размерности», т. е.если Q⃗ξ = (η1 , . . . , ηk , ck+1 , . . . , cm ), где первые k координат имеют нормальное совместное распределение в Rk .З а м е ч а н и е 26. Вектор, составленный из нормальных случайныхвеличин, не обязательно имеет многомерное нормальное распределение.= N0, 1 вектор (ξ, cξ) имеет вырожденную матрицу ковариаТак, (для ξ)⊂ций 1c cc2 и не имеет плотности в R2 .Поэтому в условиях следующей теоремы существование совместнойнормальной плотности координат вектора обязательно.Т е о р е м а 32. Пусть вектор ⃗ξ имеет многомерное нормальное распределение N⃗a, Σ с плотностью, заданной равенством (39).
Координатыэтого вектора независимы тогда и только тогда, когда они некоррелированы, т. е. когда матрица ковариаций Σ диагональна.Д о к а з а т е л ь с т в о. Только в случае диагональной матрицы Σс элементами Σii = σ2i = D ξi квадратичная форма (⃗x − ⃗a)T Σ−1 (⃗x − ⃗a)превращается в сумму квадратов∑∑ (x − a )2−1ii(xi − ai ) · (Σ )ij · (xj − aj ) =,2i,jiσiи плотность (39) распадается в произведение плотностей координат.124ГЛАВА X.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
