Болч К._ Хуань К.Дж. - Многомерные статистические методы для экономики (1185342), страница 19
Текст из файла (страница 19)
1 ~Х ~2 ° » ~~а Приравняв (4.33) нулю, после перестановки членов мы получим основ- ные нормальные уравнения которые совпадают с уравнениями (4.26) и решением которых, очевидно, будет (4.27). В табл. 4.3 приведены результаты работы 27 учеников клепальщиков, Зависимой переменной является их производительность при установке заклепок, независимые переменные — результаты, достигнутые учениками при выполнении теста ловкости рук Х, и теста ловкости пальпев Х,. Цель анализа заключается в изучении возможности предсказания по этим двум тестам производительности учеников при уста- Таблица 4.3 Производительность при установке заклепок и результаты двух тестов 2 269 84,037 3 190 118,148 Су~дуа 4 654 Среднее 172,370 Источник.
~29, с. 23Щ . 113 230 81 100 212 216 156 201 194 164 166 146 196 202 203 201 195 180 174 120 198 189 184 174 168 143 131 130 135 93 108 138 123 116 119 112 128 116 125 114 128 129 125 120 126 136 104 116 112 109 113 113 104 103 125 107 67 81 93 81 86 86 96 80 86 78 89 84 80 99 86 92 95 82 76 80 85 75 87 69 65 84 новке заклепок. Если тесты окажутся пригодными для этого, то их можно будет потом применить при оценивании будущих клепальщиков. Матрица Х'Х симметрическая, она имеет вид: 1 Хы Х»1 ХХ~ ХХ~ ЕХ Х ~Х» йХ1Х» Хп »и 1 1 ...
1 Х,1 Х»1 Х»ф "а е Х»п Для данных этого примера 1 1 Х'Х= 135 93 107 67 1 125 27 3 190 2269 3 190 380 040 269820 2269 269820 193 021 Матрица Х'7 имеет вид и в нашем примере равна: 1 1... 1 135 93...125 107 67... 84 Уравнением выборочной регрессии будет: Ф~ ФЪ Ф% У'~= ~1о+Р1Хи+ЬХ»у- Чтобы определить эти оценки параметров, нам'понадобится матрица, обратная Х'Х, которая приближенно равна: 4,724735663 — 0,030042200 — 0,013544844 — 0,030042200 0,000540150 — 0,000401912 — 0,013544844 — 0,000401912 0,000726227 (Х'Х) ' = 1 Х$ ВЪ Х»» а» ° 1 Х, с Х»п 1 135 107 1 93 67 -юз Ф 1 125 84 ХУ' — ХХ1 У ХХ» У' 230 465 81 55663 39648 Тогда из уравнения (4.27) 4,724735663 — 0,030042200 — 0,013544844 — 0,030042200 0,000540150 — 0,000401912 х — 0,013544844 — 0,000401912 0,000726227 4 654 — 104,020 х 556 637 = 1„498 396486 1,182 Следовательно, уравнение выборочной регрессии имеет вид: У~ = — 104,02+ 1,498Х»~ + 1,182Х~;.
Подобно тому как мы оцениваем параметры уравнения регрессии с одной независимой переменной с помощью отклонений от средних значений переменных, мы можем (и будем) оценивать параметры регрессии с помощью этого метода и в случае многих независимых переменных. Зтп оценки,-за исключением оценки ~~, будут равны: Р» ф® =: =(х'х)-'х'у, (4.34) Рк у» Х/( $ уа ХА2 У= уа »2а " х~л Как обычно, у, == У', — Г и х,„= Ж;д — Х~ для й = 1, 2, ..., Х<'. Свободный член ро определяется из соогношения ро =à — Х'ф~, (4,36) Х»» Х~» хи х»а х =- (4,35) Х' = ~Х, Х, ... Хк1. Для нашего последнего примера читатель может проверить, что 3147,41 1741,85 1741,85 2340,96 х'х=-~ Хх» х~ Хх» и что 0,000540150 — 0,000401912 — 0,000401912 0,000726227 (х' х)-' = 115 Заметим, чта (х'х)-' — подматрица (Х'Х)-1.
Согласно (4.34) мы имеем: 1,498~, 0„000540150 — 0,000401912 ~ — 0,000401912 0,000726227 Свободный член ~, находится с помощью выражения (4.36) и значений Г = 172,370 и Х' = И18,148 84,0371: Ь = 172,370 — 1118,148 84,0371 1,498 1,182 у= 172,370 — 276,317 = — 104,0. е=-7 — Ф =-"- У--Хр. Однако р = (Х'Х)-'Х'т', а в генеральной совокупности Ъ' = Хф+ + в. Непосредственная подстановка дает е= Хр+е — Х 1(Х' Х) 1Х'(Хр+е)1= =Хр+в — Х(Х' Х) 'Х' Хр — Х(Х' Х) 'Х'в= = Хр + в — Хр — Х (Х' Х) ' Х' е = ~$ — Х (Х' Х)-' Х'1 в, где 1„, — единичная матрица порядка и. Уравнение (4.37) показывает, что вектор остатков выборки есть линейная функция вектора ошибок генеральной совокупности. Запишем (4.37) в виде е= Ме, где М = $„— Х (Х'Х) ~Х' — симметрическая идемао~иеятиая матрица, т.
е. матрица, для которой М'М = М. Примером симметрической идемпотеитиой матрицы, с которой мы уже встречались, является единичная матрица'. Сумма квадратов остатков равна: е' е = е' М' Мв = в' Мв =,"~,' Мн е~'+ 'Я. Мп е, е~ . (4.38) 1=1 1+ 1' ~ ~1тооы проверить, что М идемпотептна, запишите М = $„— А, где А = = Х (Х'Х)-'Х', после чего распишите М'М. Перед вычислением ~, мы округлили угловые коэффициенты и позтому значение р, оказалось вычисленным с некоторой потерей точности. Для повышения точности найденные угловые коэффициенты следует округлять после вычисления р,. Вектор остатков е согласно методу наименьших квадратов будет равен: Предположение о независимости ~т, е. допущение, что Е (а,а )= 0 при ~ Ф ~'1 позволяет нам после взятия математического ожидания опустить второй член в уравнении (4.38): Е (е' е) = 'Я М„- Е (е~') = а~ ~ М,, = аР (и — К вЂ” 1), 4=1 так как ',"~~ Мц —— $г М = $г $„— $г(Х' Х (Х' Х) 1) = а — (К+ 1).
ю Следовательно, несмещенной оценкой а' будет О = (4.39) п — К вЂ” 1 Статистика а называется стандартной ошибкай оценки. Наряду с прочими свойствами она представляет собой показатель точности подбора линии выборочной регрессии к выборочным значениям У, так как по мере приближения линии выборочной регрессии к истинной линии регрессии е'е будет стремиться к нулю. В рассматриваемом примере (см. приложение к этой главе) 5,23071 е' е = 15,23071 ...
' — 52 „59375): = 18 202„ — 52,59375 так что аа = =-:" 758,4 27 — 2 — 1 и стандартная ошибка оценки равна: а = ~/758,4 = 27,54. Оценнвание методом наибольшего правдоподобия. Если мы сделаем все предположения, необходимые для оценивания методом наименьших квадратов, и, кроме того, предположим, что значения У~ (или а;) в совокупности подчиняются некоторому конкретному распределению, то мы сможем применить оценивание методом наибольшего правдоподобия. Предположим, что мы считаем значения У~ нормально распределенными, т. е.
имеющими плотность ИЮ = —, р~ — — (~ — Р)' Тогда функция правдоподобия будет-равна 11'; 1~(У'~). Если, следуя методу из раздела 2,5, мы заменим (У; — р;)' на (7 — ХД)' х Х (У вЂ” Хр), возьмем натуральный логарифм функции правдоподобия и приравняем нулю первые частные производные по р и а', то получим искомые оценки Р=(х Х)-*Х'~ е е г а" = —.
Таким образом, в предположении нормальности оценки наибольшего правдоподобия и минимальных квадратов для р идентичны. Однако оценка наибольшего правдоподобия для о' смещенная. 4А. не КОтОРые кРитеРи и и РОВ еРк и Ги пОтез И ДОВЕРИТЕЛЬНЫЕ ИНТЕРВАЛЫ В предыдущем разделе мы видели, что хотя предположение о нормальности распределения У; или в; не является необходимым для оценки по методу наименьших квадратов, именно оно приводит к тому, что оценки параметров уравнения регрессии по методу наименьших квадратов и наибольшего правдоподобия оказываются. идентичными. В этом разделе мы примем допущение о том, что значения У'~ или е~, распределены нормально. Заметим, что это допущение, в сочетании со сделанными ранее, достаточно, но не необходимо для проверки гипотезы.
Возможны и другие предположения относительно распределения генеральной'совокупности; однако в практической работе чаще всего предполагается именно нормальность. Покажем сначала, что р есть несмещенная оценка ф. Из уравнения 4.27) и регрессии генеральной совокупности 7 = Хр+ е имеем Р=. (Х'Х)- Х ~=(Х'Х)- Х'(ХР+е). Допустим, что элементы матрицы наблюдений Х не являются стоха- стическими и что Е (в) = О. Тогда Б (ф = (Х' Х)-'(Х' Х) Е (р) + (Х' Х)-' (Х') Е (е) = ф = р, (4.41) где 1 — единичная матрица, получасмая при перемножении (Х'Х)-' и (Х'Х).
Заметим, что допущение о том, что матрица Х статистически постоянна (т. е. она не изменяется при повторной выборке), подразумевалось и в наших предыдущих рассуждениях, так как именно это условие влечет равенство Е (в~Х;) = О. Определив ожидаемое значение ф, обратимся теперь к оцениванию его ковариационной матрицы. В предыдущем разделе мы предположили, что Е(е; ер) =О, Эти два предположения могут быть записаны в виде Е (ва') "- Х = аЧ. 1 Иначе говоря, мы считаем, что ковариационная матрица ошибок генеральной совокупности Х представляет собой диагональную матрицу порядка а с о' на главной диагонали.
Так как ковариационная матрица содержит дисперсии на своей главной диагонали н ковариации в остальной части матрицы, то сама запись ковариационной матрицы совокупности в таком виде равносильна. утверждению, что ошибки 118 распределены независимо с постоянной дисперсией. Таким образом, мы можем записатьа: С4. 42а) Ковариационная матрипа для Р находится вычислением выражения е [[р — е9И [р — е6)Г = е [(р-рйр — М'[.
так как Е (р) = ф. Более того, из (4.40) мы видим, что р — ф=(Х'Х) 1Х'в, (4.40а) и, следовательно, е И вЂ” рНР— р) 1= е6(х'х) 1х'Вне'х(х'х) 1й, так как ЦХ'Х) 1Х'в1' = (а'Х (Х'Х) Ч„;.поскольку матрица (Х'Х)-' симметрическая и она пе изменяется при транспонировании. После очередных упрощений получим ш[(р — ркр — р)~ - '~(х'хг'= *(х'х1-'.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
