Н.И. Чернова - Лекции по матстату (1115348), страница 14
Текст из файла (страница 14)
. , n.Пусть ~ε = (ε1 , . . . , εn ), где εi — случайная ошибка в i-м эксперименте (неизвестна).~ = (X1 , . . . , Xn ), гдеПосле n экспериментов (n > k) в данной модели получена выборка X(1)(1)X1 = β1 Z1 + . . . + βk Zk + ε1(2)(2)X2 = β1 Z1 + . . . + βk Zk + ε2...(n)(n)Xn = β1 Z1 + . . . + βk Zk + εn ,62~ + ~ε , где матрица Z(k × n) называется «матрицей плана»:~ = ZT βили, в матричной форме, X(1)(n)Z1 ..Z= .. . . Z1......(1)(n)Zk. .
. Zk−→−→(1). . . Z (n) ). = (Z~ найти оценки для параметров регресТребуется по данным матрице плана Z и вектору результатов X~ и вектора ошибок ~ε (например, для его числовых характеристик Eε, Dε, матрицы ковариаций и т.д.).сии β~Мы рассмотрим только проблему оценивания β.Предположение 1. Матрица Z имеет ранг k, т.е. все k ее строк линейно независимы.Лемма 12. Предположение 1 ⇐⇒ матрица A = Z·Z T положительно определена.Напоминание 1. Матрица A(k × k) положительно определена, если ~t T A~t > 0 для любого~t = (t1 , .
. . , tk ), и ~t T A~t = 0 ⇐⇒ ~t ≡ 0.Напоминание 2. Норма вектора (столбца) ~u = (u1 , . . . , uk ) есть ~u T ~u =нулю ⇐⇒ ~u ≡ 0.Pki=1u2i > 0, и равнаTДоказательство леммы 12. Благодаря напоминанию 2, ~t T A~t = ~t T Z·Z T ~t = (Z T ~t ) ·(Z T ~t ) > 0,Tпричем (Z T ~t ) · (Z T ~t ) = 0 ⇐⇒ Z T ~t = 0.Но «ранг Z равен k» как раз и означает, по определению, что Z T ~t = 0 ⇐⇒ ~t = 0.9.4Метод наименьших квадратов.
Нормальное уравнениеОбозначим~)=S(βnXε2i =i=1nXi=1Xi −kXj=12(i)βj Zj ~ )T · (X~ ).~ − ZT β~ − ZT β= (Xb = min S(β~ ), то βb называется оценкой метода наименьших квадратовОпределение 33. Если S(β)~β~ Здесь βb = (βb1 , . . . , βbk ).(ОМНК) вектора β.~ ) (пока только точку эксНайдем систему уравнений, определяющих точку экстремума функции S(βтремума!).nkXX∂S(i) (i) = −2Zm Xi −βj Zj ~ = 0, m = 1, . .
. , k.∂βmbβ=βi=1j=1Раскрыв скобки, получим системуnXi=1(i)ZmXi =nXi=1(i)ZmkX(i)βj Zj , m = 1, . . . , k.(18)j=1~ так что систему~ справа — m-я координата вектора ZZ T β,Слева стоит m-я координата вектора Z X,уравнений 18 можно записать в виде~ = Aβ.~~ = Z·Z T βZX63~ называется нормальным уравнением.~ = AβОпределение 34.
Уравнение Z XТеорема 17. 1. Если βb — произвольное решение нормального уравнения, то βb — ОМНК.2. Если detA 6= 0|=⇒ βb = A−1 Z X~ — единственная ОМНК.Стоп! Упражнение. Что именно нужно доказывать в п. 1 теоремы? Нужно ли доказывать п. 2?|=⇒Замечание 31. Предположение 1 и лемма 12A~t = ~0 имеет ненулевые решения (и много)|=⇒detA 6= 0 (т.к. иначе система уравненийA не положительно определена).Доказательство теоремы 17.T ~ ) = (X~ )T · (X~)= X~) · X~) =~ − Z T βb + Z T (βb − β~ − Z T βb + Z T (βb − β~ − ZT β~ − ZT βS(βTb + (βb − β~ )T (Z Xb + (βb − β~ )T ·(Z Xb~ )T Z·Z T (βb − β~ ).~ − Aβ)~ − Aβ)= S(β)+ (βb − βПоскольку βb — решение нормального уравнения, второе и третье слагаемое обращается в ноль.
Далее,~ ) = S(β)b + (βb − β~ )T A (βb − β~ ) > S(β)bS(β~ ).поскольку матрица A положительно определена. Итак, βb — ОМНК, т.к. она минимизирует S(βПример 35. Полиномиальная регрессия (продолжение примера 33) Имеем n наблюдений X1 = 1 · θ0 + t1 θ1 + t21 θ2 + . . . + tk−1θk−1 + ε11...Xn = 1 · θ0 + tn θ1 + t2n θ2 + . . . + tk−1n θk−1 + εnЭта модель сводится к линейной модели регрессии с матрицей плана1...1 t1. . . tn 2 t1. . .
t2n Z=. .... ..... tk−11. . . tk−1n9.5 Свойства ОМНК~:1. Разница βb и β~ + ~ε ) = A−1 Aβ~ + A−1 Z~ε = β~ + A−1 Z~ε .~ = A−1 Z(Z T ββb = A−1 Z XПредположение 2. Ошибки ε1 , . . . , εn некоррелированы, все имеют нулевые математическиеожидания и ненулевую дисперсию Dεi = Eε2i = σ 2 < ∞, i = 1, . .
. , n.Замечание 32. Напоминаю, что когда речь заходит о дисперсии, термины «ненулевая» и «положительная» означают одно и то же.64Замечание 33. Ниже символом D~ε = E(~ε ~ε T ) обозначена матрица ковариаций вектора ~ε, т.е. матрица, (i, j)-й элемент которой равен0,i 6= jcov(εi , εj ) = E(εi − Eεi )(εj − Eεj ) =.σ2 , i = jДля произвольного случайного вектора ~x, координаты которого имеют вторые моменты,D~x = E (~x − E~x)(~x − E~x)T — матрица, (i, j)-й элемент которой равенcov(~xi , ~xj ) = E(~xi − E~xi )(~xj − E~xj ).~:2.
βb — несмещенная оценка для β~ + A−1 ZE~ε ≡ β.~Eβb = βb3. Матрица ковариаций вектора β:b βb − Eβ)b T = E(βb − β~ )(βb − β~ )T =Dβb = E(βb − Eβ)(TE(A−1 Z~ε )(A−1 Z~ε )T = E(A−1 Z~ε ~ε T Z T A−1 )И так как A = ZZ T , AT = A, E~ε ~ε T = σ 2 E, где E — единичная матрица, имеем:TDβb = σ 2 (A−1 ZZ T A−1 ) = σ 2 A−1 .9.6Оптимальный выбор матрицы плана~ можно суКак и в теории точечного оценивания, о качестве несмещенной оценки βb для вектора βдить по величине ее «среднего квадратического отклонения», которое в многомерном случае описывают~ )(βb − β~ )T .величиной Dβb = E(βb − βЕсли мы управляем экспериментом, т.е.
можем сами задавать значения факторов Z1 , . . . , Zk (матрицуплана) и наблюдать затем результаты n экспериментов X1 , . . . , Xn , то разумно задаться вопросом: какзависит Dβb от выбора матрицы плана Z?Введем следующее ограничение:Предположение 3. Пусть a1 , . . . , ak — ненулевые фиксированные числа.
Будем рассматривать матрицы плана Z, у которыхnX(i) 2(Zj ) = aj ,j = 1, . . . , k.i=1b Ее диагональныеЗамечание 34. Мы доказали, что Dβb = σ 2 A−1 — матрица ковариаций вектора β.2−1элементы равны Dβbj = σ (A )jj . Если не требовать выполнения Предположения 3, то заменой Z на cZможно добиться, что A−1 заменится на c12 A−1 и вместо Dβbj = σ 2 (A−1 )jj получится Dβbj = c12 σ 2 (A−1 )jj .(А получится ли? Что-то тут не так! :-))∗∗∗Следующая теорема может быть доказана из свойств матрицы A (рекомендую попытаться доказать):σ2для любого j = 1, . . . , k. В неравенствеa2jдостигается равенство если (и только если) строки матрицы Z ортогональны, т.е.Теорема 18. Предположение 3|=⇒nX(i)Dβbj >(i)Zl Zj = 0 ∀ l 6= j.i=1Следствие 6. Если строки матрицы Z ортогональны, то матрица A имеет диагональныйвид, и (A)jj = a2j .
Это означает, что координаты вектора βb некоррелированы.659.7Вопросы и упражнения1. Выполнить третью часть расчетного задания.Литература[1] Сборник задач по математической статистике. Под редакцией А.А.Боровкова. Новосибирск: НГУ,1989.[2] Боровков А.А. Математическая статистика. Ч.I,II. Новосибирск: НГУ, 1983,1984.[3] Большев Л.Н., Смирнов Н.В. Таблицы математической статистики.
М.: Наука, 1965.[4] Чистяков В.П. Курс теории вероятностей. М., 1982.66.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
