Шеффе Г. - Дисперсионный анализ (1185347), страница 6
Текст из файла (страница 6)
Линей- а! Зависимость (Ь1) только от у и их линейность следуют из едииствен. ности решения системы линейных уравнений ХХ'Ь = Хр, ут'Ь = З. 'е) Ранг матрицы А мы будем обозначать г(А). А ! К СЛУЧАЙ ИЗВЕСТ!!Ь!Х КОЭФФИЦИЕНТОВ КОРРЕЛЯЦИИ 3! иые функции () имеют несмещенну!о оценку (ХХ + НН )- Хд, так как М(д)= Х'(ь (1.5.3) О 1.5. Редукция случая известных коэффициентов корреляции наблюдений и известных дисперсионных отношений Рассмотрим теперь случай, когда ковариационная матрица Г„ наблюдений (д!), не равная ОЧ, известна с точностью до скалярного множителя, т.
е, Гу = ОВ, где Π— неизвестная по- ложительная постоянная, а В!"""' — известная постоянная мат- рица; В обязана быть симметричной и положительно опрсде- ленной; кроме того, мы будем предполагать, что В не вырож- д)ена (см. приложение у). Эти условия равносильны тому, что известны коэффициенты корреляции каждой пары наблюдений и отношения их дисперсий. Теперь наши основные предположения таковы: й: М(д)= Х(1, Гу = ОВ, !В(~ О, г(Х) = !.
(15.1) Этот случай может быть сведен к разобранному (когда Г„= ОЧ) с помощью леммы 11' и следующих за ней замечаний в приложении 11, которые устанавливают существование такой невырожденной матрицы Рмх"!, что Р'ВР =1. Пусть д = Р'д. Тогда М (д) = Р'М (д) = Р'Х'() = Х'(3, аде Х' = Р'Х', поэтому г(Х')= г(Х') = г и Гд = Р'ÄР= ОР'ВР = ОЧ, тде а» = О.
Перепишем (1.5.1) так: 11: М(д)= Х'(3, Г„= ОЧ, г(Х')= г, Случай с такими предположениями был уже рассмотрен, В приложениях вычисление преобразованных «наблюдений» (И довольно утомительно, поэтому предпочитают обычно иметь дело с действительными наблюдениями (у!). Мнк-оценка параметров (О!) может быть найдена как вектор, минимизи- рующий следующую квадратичную форму, содержащую (д!) и (О!). У(д,()) = (д — Х'(3)'В-!(д — Х'()). (1.5,2) Чтобы показать это, мы отметим, что по преобразованным «на- блюдениям» оценка (()!) находится уже рассмотренным спосо- бом, с помощью минимизации выражения д'(д, р) = (д - Х'())'(д - Х'й).
32 гл, и точечные Оценки Подставим у — Х'5 = Р'(у — Х'(1) в (1,5.3). Используя равенство РР' = В-', получим, что У(у, 9) равняется У'(у,(3), определенной формулой (1.5.2). Оценка параметров (5!) в условиях (1.5.!) содержит неизвестный параметр О. В $1.6 будет показано, что несмещенной оценкой оа является У((Г, 9)/(и — г), где (в — любая мнк-оценка. Отсюда следует, что несмещенной оценкой параметра О является У'(у, 5)/(а — г), где,9'(у, 5) получена из (!.5.2) путем замены й на (). Квадратичную форму (1.5.2), которая мииимизируется имя-оценкой, можно назвать «взвешенной суммой квадратовв.
Рассмотрим частный случай, когда наблюдения независимы;  — диагональная матрица, гн — )-й диагональный элемент матрицы В и (пп) — величины, обратные дисперсиям наблюдений (йч). В этом случае (1.5.2) принимает следующий вид: 5в(у 5) =брюс(уг с' хп()т) . Случай Г„= оа1 получается из рассмотренного, когда все веса (пп) равны. На практике мы можем иногда до некоторой степени сомневаться в правильности весов. Некоторое удобство метода наименьших квадратов заключается в том, что, применяя неправильные веса, мы тем не менее получаем несмещенную оценку; однако наши вычисления дисперсий *) Оценок будут некорректными в связи с неправильностью весов.
В общем случае использование какой-нибудь положительно определенной матрицы В (даже неравной й-'Гв) в (1.5.2) приводит к несмещенной оценке функций, допускающих оценку, если ммк-оценка (5,) вычисляется минимизацией (1.5.2). Здесь мы это докажем только в том случае, когда ранг Х'= р. Пусть определены так же, как и выше, матрица Р (для заданной В), у н Х'. Нормальные уравнения с преобразованными у и Х' имеют вид ХХ'й=Ху. Их решение (обозначим его й') задается формулой (ы=(ХХ') 'Хд. Это решение совпадает с решением, полученным минимизацией (1.5.2). Из равенства 9'=-(ХХ') 1Х'Р'у следует М(5') = (ХХ') ' Х'Р'Х (). Подставляя в это выражение Р'Х' = Х', получим йй((в') = й.
а) Границы смещения оцениваемой ковариационной матрицы установле. иы в некоторых случаях Ватсоном !'й!а!аоп, !воо). Е 1а ЕАноническАЕ ФОРМА ОС1ювных НРедноложенин 33 и 1.6. Каноническая форма основных предположений й. Средний квадрат ошибок Введем выборочное пространство У„наблюдений у!лнн с ороиормированным базисом (рь рм, р„), где р; = (бн, би..., „,бы) (это базис Я примера, следующего за теоремой ! прил 1ожения 1); таким образом, у= 2 у1ро Введем также орто- 1-1 нормированный базис (ан...,а,) для пространства У„порожденного столбцами Х'„и затем дополним его до ортонормированного базиса (а1,..., а„а,+1,..., а„) пространства Ул.
Это всегда возможно (леммы 6 и 7 приложения 1). Запишем у= 2, г,а„ 1 1 (1,6,1) где (г1) — координаты у в новом базисе. Умножая (!.6.1) на а1, получим г1= а',у. Эта связь между координатами (г1) и (у1) может быть записана в виде г = Ру, где Рш""1 — ортогональная матрица, 1-я строка которой равняется а;. Пусть ~1 = М(г1), так что~1= М(а,у) = а,11. Отсюда Ь1= О для 1> г, так как т1ее У, и а1 1 У, для 1'> г.
Кроме того, мы находим ковариационную матрицу преобразованных лиаблюдений» (г1) Г, = РГ„Р' = оеРР' = ОН. (1.6.2) и Г. П1лФЛ Таким образом, теперь показано, что подходящим ортогоа!дльным преобразованием (не зависяп!Нм от неизвестных пашиметров) мы можем всегда привести Й-предположения к каЮнической форме г = (г1,,г,)', М(г1) = Ь1 (1= 1,...,Е), Ий(г1) = О (1= г+ 1,...,и), Г, = о»1, где Ь1, ..., Ь, и 1те — неейувестные параметры, а (г;) получены нз наблюдений некоторым известным преобразованием. Мы до сих пор ие использовали каноническую форму в анализе данных; поэтому у нас не было необходимости вычислять 1атрицу преобразования Р в явном виде (хотя можно было бы лыяислить ее строки (а',) по способу Шмидта; лемма 6, прилохение 1).
Однако каноническая форма очень полезна для вы1одов в теории распределений. Примером может служить сле!ующий раздел этого параграфа. Несмещенна я оценка а' Введенная в конце 3 1.3 сумма квадратов ошибок Гл. ь тОчечные оценки где фД вЂ” любая мнк-оценка, может быть записана как Уп = = 11 у — т) 1)т, где т) является проекцией у на г',, Поскольку в 1 у= .Е а~а~ и Ч= Х тйаь где (аь,а,) — базис, введенный ю 1 3 ! л выше для канонической формы, то Уи= 2 з;и,, или 11-г+1 У,= Х (1.6.3) 1-г-~-! Отметим, что М (з',.) =0(з,)= и' при 1) г, так как М(з,) = О.
По формуле (1.6.3) находим М(Уп) = (и — г)а'. Положив Уп ет = —, ~ — г' мы получаем М(з~) = а'. Следовательно, зз является несмещенной оценкой от. Величину зт мы будем называть среднии квадратом ошибок (и обозначать в дальнейшем 58,); будем также говорить, что он имеет и — г степеней свободьь Обычно числом степеней свободы квадратичной формы от наблюдений называется ее ранг (т. е. ранг симметричной матрицы квадратичной формы). Из (1.6.3) следует, что ранг Уп равен п — г.
Вычисление несмещенной оценки пт является важным практическим дополнением теоремы Гаусса — Маркова, так как в приложениях желательно иметь характеристику точности несмещенной точечной оценки, Если ф = с'() является функцией, допускающей оценку, то по теореме 2 существует единственная линейная комбинация наблюдений ф = а"у, которая является наилучшей оценкой ф дисперсия оценки ф равняется от= = а"а*о~; ее можно оценить выражением йэ= а"а'ет. Очевидно, это несмещенная оценка. Было также показано, что й~~ имеет другие оптимальные свойства *).
В случае, когда наблюдения имеют неравные дисперсии (ад, ио зт вычисляется таким же способом, как в случае равных (сч), математическое ожидание среднего квадрата ошибок зт находится по правилу, приведенному в начале $10.4. Пространство оценок и пространство ошибок Рассмотрим множество всех линейных форм ~ а,у) — — а'у 1 ! от наблюдений. Предполагается, что коэффициенты (а,) — из- ~) Сюй (Нзи, !9ЗКЬ). 4 1.6. КАНОНИЧЕСКАЯ ФОРМА ОСНОВНЪ|Х ПРЕДПОЛОЖЕНИЙ ЗЗ вестиые постоянные (т.
е. ие зависят от неизвестных параметров); можно назвать а вектором коэффициентов линейной формы а'у. Между множеством линейных форм а'у и множеством векторов коэффициентов естественно устанавливается взаимно однозначное соответствие. Сложению линейных форм или умножению линейной формы на число соответствуют аналогичные операции над векторами коэффициентов. Принято говорить о пространстве линейных форм, порожденном заданным множеством линейных форм; независимости линейных форм; оргогональносги форм и пространств и т.
д. Эти термины можно определить, используя свойства соответствия векторов коэффициентов и форм, Канонические переменные (г|,..., г„), являющиеся линейными формами наблюдений (у1), могут быть использованы для определения двух интересных ортогональных пространств линейных форм, а именно пространства, порожденного (гь...,г,), называемого пространством оценок, и пространства, порожденного (г,+1„..., г„), называемого пространством ошибок*). Равенства г, = а',у показывают, что формы (гь..., г„) образуют ортонормнроваиный базис в и-мерном пространстве форм (так как их векторы коэффициентов образуют ортонормированный базис в У„). Следовательно, определенные выше пространства ортогональны.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
