Математическая статистика (PDF) (543620), страница 19
Текст из файла (страница 19)
. . , Zk ) — факторы регрессии и β = (β1 , . . . , βk ) —неизвестные параметры регрессии. Каждый вектор есть вектор-столбец, а изображенпо горизонтали для удобства. Обозначать вектора мы, как и ранее, будем жирнымшрифтом.Рассматривается модель регрессии, которая в курсе «Эконометрика» называетсяпростой (линейной) регрессией:JJIIE (X | Z = t) = f(t) = β1 t1 +.
. .+βk tk , или E (X | Z) = f(Z) = β1 Z1 +. . .+βk Zk .JIПусть в i-м эксперименте факторы регрессии принимают заранее заданные значе(i)(i)ния Z(i) = (Z1 , . . . , Zk ), где i = 1, . . . , n.После n > k экспериментов получен набор откликов X = (X1 , . . .
, Xn ), где(1)(1)X1 = β1 Z1 + . . . + βk Zk + ε1X = β Z(2) + . . . + β Z(2) + ε21 1k k2...(n)(n)Xn = β1 Z1 + . . . + βk Zk + εn ,На стр. ... из 179НазадВо весь экранУйтиили, в матричной форме, X = ZT β + ε, где матрица Z(k × n) (матрица плана) равнаZ=Стр. 164(1)Z1...(1)Zk(n). . . Z1.. = (Z(1) . . . Z(n) ).....(n). . . ZkВектор ε = (ε1 , . . . , εn ) состоит из случайных ошибок в данных экспериментах.Требуется по данным матрице плана Z и вектору результатов X найти оценки дляпараметров регрессии β и параметров распределения вектора ошибок ε.9.6.ОглавлениеМетод наименьших квадратов. Нормальное уравнениеПредположение 1.
Матрица Z имеет ранг k, т. е. все k ее строк линейно независимы.Лемма 3. Предположение 1 означает, что матрица A = Z·ZT положительно определена.JJIIJIНа стр. ... из 179НазадВо весь экранУйтиНапоминание 1.Матрица A(k × k) положительно определена, если tT At > 0для любого t = (t1 , . . . , tk ), причем tT At = 0, если и только если t = 0 .P 2Напоминание 2.Квадрат нормы вектора u равен kuk2 = uT u =ui > 0.Норма равна нулю, если и только если u = 0 .Доказательство леммы 3. Благодаря напоминанию 2,TtT At = tT Z·ZT t = (ZT t ) · (ZT t ) = kZT tk2 > 0,Стр.
165причем kZT tk = 0, если и только если ZT t = 0 . Но «ранг Z равен k» как раз иозначает, по определению, что ZT t = 0 тогда и только тогда, когда t = 0 .Скоро нам пригодится корень из матрицы A, существование которого гарантируетЛемма 4. Положительная определенность и симметричностьматрицы√√ √ A влекут существование вещественной симметричной матрицы A такой, что A A = A.ОглавлениеJJIIJIДействительно, матрица A симметрична, поскольку A = ZZT и AT = A. Существованиеo√матрицы A с нужными свойствами следует из возможности привести A ортогональнымипреобразованиями A = QT DQ к диагональному виду с положительными, в силу положительной√√определенности, собственными значениями A на диагонали D.
Тогда A = QT DQ.^ для вектора β, доставляющий минимум функции S(β), равнойНайдем ОМНК βS(β) =На стр. ... из 179НазадВо весь экранУйтиnXε2i = kεk2 = kX − ZT βk2 = (X − ZT β)T · (X − ZT β).i=1Вместо того, чтобы искать точку экстремума функции S(β) дифференцированиемпо βi , заметим следующее.
Величина S(β) есть квадрат расстояния от точки X ∈ IRnдо точки ZT β — одной из точек линейного подпространства (гиперплоскости) в IRnс координатами вида ZT t, где t ∈ IRk .^ мы получим, когда вектор X − ZT β^ будет ортогоМинимальное расстояние S(β)нален всем векторам этого подпространства, т. е. когда для любого t ∈ IRk скалярное^ обратится в ноль. Запишем это скалярноепроизведение векторов ZT t и X − ZT βпроизведение в матричном виде^ = ZT tZT t, X − βT ^ = 0.^ = tT · ZX − ZZT βX − ZT βСтр. 166oСм., например, А. И. Мальцев «Основы линейной алгебры», раздел «Унитарные и евклидовы пространства», параграф «Унитарные и симметрические преобразования», теорема 7.Подставляя в качестве t базисные вектора в IRk вида (0, .
. . , 0, 1, 0, . . . , 0), сразу же^ равны нулю. Итак, оценка методаполучим, что все координаты вектора ZX − ZZT β^ есть любое решение уравнениянаименьших квадратов β^ = ZXZZT βили^ = ZX.Aβ(32)ОглавлениеПо лемме 3, уравнение (32) имеет единственное решение^ = A−1 ZXβJJIIJIНа стр. ... из 179НазадВо весь экран(33)в том и только в том случае, когда матрица Z(k × n) имеет полный ранг k, где k 6 n.Уравнение (32) называется нормальным уравнением.В предположении, что вектор ошибок ε состоит из независимых случайных величинс нормальным распределением N0,σ2 с одной и той же дисперсией, ОМНК совпадаетс оценкой максимального правдоподобия, а ОМП для σ2 , согласно (31), равна11X 2^ 2 = 1 S(β).^^εi = kX − ZT βknnnnσ^2 =(34)i=1Уйти9.7.
Свойства ОМНКОтметим несколько свойств, которые, возможно, нам понадобятся в дальнейшем.^ и β равна A−1 Zε:1. Разница βСтр. 167^ − β = A−1 ZX − β = A−1 Z(ZT β + ε) − β = A−1 Aβ + A−1 Zε − β = A−1 Zε.β^ — несмещенная оценка для β: E β^ = β + A−1 ZE ε ≡ β.2. Если E ε = 0, то βПусть выполнены предположения 1 и 2:Предположение 2. Вектор ошибок ε состоит из независимых случайных величин снормальным распределением N0,σ2 с одной и той же дисперсией.ОглавлениеJJIIJIНапоминание 3.
Для произвольного случайного вектора x, координатыкоторого имеют вторые моменты, матрица ковариаций D x = E (x − E x)(x − E x)T — это матрица, чей (i, j)-йэлемент равенcov(xi , xj ) = E (xi − E xi )(xj − E xj ).В частности, D ε = σ2 · En , где En — единичная (n×n)-матрица.На стр. ... из 179НазадВо весь экран3. Матрица ковариаций вектораСтр. 168^ равна σ2 Ek :Aβ√√√T√ √√ T√^ = E Aβ^ − E Aβ^^ − E Aβ^ = E A(β−β)^^D AβAβA(β−β)=√T√ T= AA−1 Z E εεT ZT A−1 A .√√√^ = σ2 · AA−1 ZZT A−1 A = σ2 Ek .И так как AT = A, EεεT = σ2 En , то D Aβ=EУйти√√√AA−1 ZεTAA−1 Zε√^ некоррелированы. СформуСвойство 3 означает, что координаты вектора Aβлируем дальнейшее следствие этого свойства первым пунктом следующей теоремы.
Сутверждениями второго и третьего пунктов читатель встретится в следующем семестремногократно.Теорема 13.Оглавление1√ ^1. ВекторA(β−β) имеет k-мерное стандартное нормальное распределение, т. е. соσстоит из k независимых случайных величин с распределением N0,1 .n^σ21^ 2 имеет распределение χ2 с n−k степенями свободы= 2 kX−ZT βk2σσ^и не зависит от β.2. ВеличинаJJIIJI3. Оценка (σ2 )∗ =n^σ21^ 2 является несмещенной оценкой для σ2 .=kX−ZT βkn−kn−kНа стр. ... из 179НазадВо весь экранУйтиДоказательство теоремы 13.√√√^ − β) = AA−1 Zε = ( A)−1 Zε есть линейное преобразование нормального1. Вектор A(βвектора ε и поэтому имеет нормальное совместное распределение.
По свойству 3, матрицаковариаций этого вектора есть σ2 Ek , поэтому матрица ковариаций нормированного вектора√^ − β)/σ есть просто Ek , а математическое ожидание равно нулю по свойству 2.A(βНапомним, что координаты многомерного нормального вектора независимы тогда и толькотогда, когда они некоррелированы — см. теорему 14. Первое утверждение теоремы доказано.^ ортогонален любому вектору вида ZT t. В частно2. По построению ОМНК, вектор X − ZT βT ^сти, он ортогонален вектору Z (β − β).
По теореме Пифагора, для треугольника с такимикатетами сумма квадратов их длин равна квадрату длины гипотенузы:Стр. 169^ 2 + kZT (β^ − β)k2 = kX − ZT β^ + ZT (β^ − β)k2 = kX − ZT βk2 .kX − ZT βkПоэтому^ 2 = kX − ZT βk2 − kZT (β^ − β)k2 = kεk2 − kZT (β^ − β)k2 .kX − ZT βk√^ − β)k2 :^ − β)k2 равен квадрату нормы k A(βНо квадрат нормы kZT (βОглавлениеJJIIJIНа стр. ...
из 179НазадВо весь экран(35)√ T√^ − β)k2 = (β^ − β)T ZZT (β^ − β) = (β^ − β)T A A(β^ − β) =kZT (β√√^ − β)k2 = k( A)−1 Zεk2 .= k A(β√Осталось заметить, что строки (k×n)-матрицы ( A)−1 Z ортогональны: √T√√√( A)−1 Z ( A)−1 Z = ( A)−1 ZZT ( A)−1 = Ek ,поэтому k её строк можно дополнить до некоторой ортогональной (n×n)-матрицыC.√Первые k координат n-мерного вектора Y = Cε/σ совпадают с вектором ( A)−1 Zε/σ.В результате из (35) получимn X√ −1n^σ21ε i 2T^ 222− Y12 − .
. . − Yk2 . (36)=kX−Zβk=kε/σk−k(A)Zε/σk=22σσσi=1УйтиСтр. 170Не забудьте, что вектор ε/σ имеет n-мерное стандартное нормальное распределение. Тогдався разность (36) по лемме Фишера имеет распределение χ2 с n−k степенями свободы и^ тоже, поскольку β^ естьне зависит от вычитаемого, т. е.
от случайного вектора ε (и от βфункция ε).3. Напомним, что E χ2n−k = n−k. Отсюда и из второго утверждения теоремы получим 2 2n^σσ2n^σσ2E (σ2 )∗ = E=E=· (n − k) = σ2 .2n−kn−kσn−kA.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранМногомерное нормальное распределениеДобавленияОпределение 33. Пусть случайный вектор ξ = (ξ1 , .
. . , ξm ) имеет вектор средних a = E ξ иневырожденную матрицу ковариаций Σ, составленную из элементов Σij = cov(ξi , ξj ). Говорят,что вектор ξ имеет нормальное распределение Na,Σ в IRm , если плотность этого вектора равна11T −1fξ (x) = √ m pexp − (x − a) Σ (x − a) , где x ∈ IRm2( 2π)|det Σ|Квадратичная форма (x − a)T Σ−1 (x − a) в показателе экспоненты равнаX(x − a)T Σ−1 (x − a) =(xi − ai ) · (Σ−1 )ij · (xj − aj ).(37)i,jЗамечание 24. Вектор, составленный из нормальных случайных величин, не обязательноимеет многомерное нормальноераспределение. Так, вектор (ξ, cξ) имеет вырожденную матрицу ковариаций 1c cc2 , если D ξ = 1, и не имеет плотности в IR2 .Поэтому в условиях следующей теоремы существование совместной нормальной плотностикоординат вектора обязательно.УйтиСтр.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
