Шеффе Г. - Дисперсионный анализ (1185347), страница 4
Текст из файла (страница 4)
Обозначим эту проекцию через т!. Так как вектор т! Е 'к'„он может быть записан в виде линейной комбинации $ь ..., $„т. е. существуют Ьь ..., Ь„такие, что й=ьй,+ ... +ЬД,; (1.3.6) здесь т! определяется однозначно, а (ЬД могут однозначно н не определяться. Коэффициенты (Ьг) в (!.3.6) зависят только от у, так как т) — функция только вектора у и не зависит от неизвестных параметров.
Следовательно, (ЬД является мнк-оценкой. Существование мик-оценки доказано. Кроме того, любые (Ьь..., Ь ), зависящие только от у, могут быть мнк-оценкой в том и только в том случае, когда Х'Ь = ц. Следующие утверждения выполняются нлн ие выполняются одновременно (символом 1 обозначается ортогональность): Х'Ь=Ч, д — Х'Ь !. Р„ у — Х'Ь (. Ву (1 = 1, 2, ..., р), В;(д-Х'Ь)=О 0=1,2, ..., р), Х(у-Х'Ь)=0, ХХ'Ь = Ху. (1.3.8) Здесь (!.3.7) следует из леммы 8 (приложение 1); (!.3.8) устанавливает, что Ь удовлетворяет нормальным уравнениям. Итак, мы доказали, что мнк-оценка рь ..., )) всегда существует, что любая мнк-оценка удовлетворяет нормальным уравнениям и что любое решение ()ь ..., 5р нормальных уравнений, зависящее только от д, является мил-оценкой.
Таким образом, больше пе имеет смысла использовать обозначения () и Ь. Достаточно оставить (1, так как множество решений нормальных уравнений и множество мнк-оценок совпадают. 22 Гл, е точечные Оценки Наглядное представление о доказательстве дает рис. 1.3.1. О б о з и а ч е и и е.
Символом Уо обозначим минимальное значение У(у, Ь): Уо = У(у ()) (1.3.9) где и †люб мнк-оцеика или любое решение нормальных уравнений. Назовем Уо суммой квадратов ошибок. глилг! г = а!с Г-Ж Рес. 1.3,!. В $ 1 .6 будет показано, что Уа является оценкой дисперсии ошибки. Сумма квадратов ошибок определяется однозначно, хотя оценка (! может быть не единственной. Приведем полезное выражение для Уо. л У,= Е,у',— Х,КГ„ (1,3.10) л где ((1!, ..., ()р) — любая мнк-оценка, а Г,— правая часть т-го нормального уравнения (1.3.3). Для доказательства преобразуем Уо. У„= (у — Х'6)'(у — Х'8 = у'у — й' (Ху) + (!'(ХХ'!1 — Ху).
Здесь мы использовали тот факт, что матрица у'Х'!! равна своей транспонированной, так как состоит из одного элемента. Из последнего равенства получаем (1,3.10), так как р удовлетворяет уравнениям ХХ'р = Ху, Случай единственности (1 Случай, когда (р)с', д)-матрица Х имеет ранг р, часто называют случаем максимального ранга или случаем полного ранга, так как обычно р (и. Если ранг Х = р, то (1.3.4) имеет единственное решение (во всех других случаях решение не единственно). В теореме 7 (приложение 11) мы доказали, что э ~н. фннкцни, допгсклюшнв оцннкт 23 ранг 3 = рангу Х и, следовательно, в этом случае матрица 3 не вырождена. Тогда существует 3 ' и единственное решение находится по фо)змуле В= 3 Ху. (1.3.11) Применяя (!.2.10) для ковариационной матрицы В, получим г„= (3-'х) г„(3-'х)'.
Так как 3 симметрична, то симметрична и 3-', поэтому Г = о'3 'ХХ'3 ', окончательно находим Гй — — о 3 (1.3.12) 3 а м е ч а н и я. Случай, когда ранг Х = р иногда встречается на практике. (Этот случай типичен для теории регрессии, а не для дисперснонного анализа.) Для решения нормальных уравнений не обязательно знать матрицу 3-'. Однако вычисление сначала 3-', а затем по (!.3.1!) В может оказаться полезным, так как почти всегда требуется найти коварнационную матрицу Гй. Неедннственность мнк-оценок (Вт) в случае, когда ранг Х ( р, связана с неединственностью значений параметров (В!); этот случай будет рассмотрен позднее в конце й 1.4. Так как правые части системы нормальных уравнений входят в формулу (1.3.!О), а в (!.3.12) входят коэффициенты левых частей (если 3 понимать как матрицу этих коэффициентов), то, конечно, существенно, что нормальные уравнения имеют точно внд (!.3.3), где и-е уравнение получено делением на — 2 уравнения дУ/дВ, = 0 и переносом известных членов, полученных после дифференцирования в правую часть 5 1.4.
Функции, допускающие оценку Теорема Гаусса — Маркова Обычно понятие функций; допускаюгцих оценку*), вводится посредством следующих двух определений. О и р е д е л е н и е. Параметрической функцией называется линейная функция от неизвестных параметров (Вь ..., Вр) с известными коэффициентами (сь..., ср): Р ф=2.сВ,. (1.4.1) у-1 Положим с(рнц =(сь...,с„)', тогда зр = с'В.
Р) Это ноннтне введено Бозе (вове, 1944), Гл !. точен!!ые оценки О и р е д ел е н и е. Параметрическая функция ф называется функцией, допускающей оценку, если существует линейная несмещенная оценка, иными словами, если существует постоянный вектор а!""'! такой, что равенство М (а'у) = ф (!.4.2) выполняется тождественно по () (т. е.
при любых значениях не- известных параметров (р!)). Т е о р е м а 1. Функция ф = с'11 допускает оценку тогда и только тогда, когда с' является линейной комбинацией строк матрицы Х', т. е. когда существует вектор а!л"!! такой, что с' = а'Х'. Д о к а з а т е л ь с т в о. Функция ф = с'(1 допускает оценку тогда и только тогда, когда существует вектор а!""и такой, что выполняется равенство (1.4.2). Но М(а'у) = а'М(у) = а'Х')з, и условие а'Х'р = с'р выполняется тождествешю по )$ в том и только в том случае, когда а'Х' = с'. Заметим, что в нематричных обозначениях множество всех .-.*- --- .-- --- -.(х.„), т! ! Р где т)!= Му!= Х х!аб! и (а!, ..., а„) — произвольный набор из ! ! и известных постоянных. Для доказательства основной теоремы этого параграфа мы воспользуемся следующей леммой*).
Л ем ма. Если функция ф = с'р допускает оценку и прост- ранство У, пороледается столбцами Х', то существует един- ственная линейная несмещенная оценка ф вида а*'у, где а'еи ен У,. Если а'у — произвольная линейная несмещенная оценка «р, то а' является проекцией а на У, Доказательство. Функция ф допускает оценку. Следо- вательно, существует такой вектор а!""'!, что М (а'у) = «р. Пусть а = а'+ Ь, где а' еи У,, Ы. У,.
Тогда ф = М(а'у) = М(а"у)+ М(Ь'у) = М(а*'у), ибо М(Ь'у) = Ь'Х'(1 и Ь'Х' = О вследствие ортогоиальности Ь и столбцов Х', Итак, а"у — линейная несмещенная оценка зр с а«еи У,. Пусть а'у — любая линейная несмещенная оценка ф. Тогда тождественно по () О = М(а"у) — М(а'у) = (а" — а)'Х'(1, откуда а' — а = О. Таким образом, а' — а 1 У, и еиу„значит, а" — а = О. Единственность а*'у доказана.
В первой половине «) Этот метод доказательства теоремы Гаусса — Маркова предложил мне проф. Гаучи. 5 !Л. ФУНКПНН, ДОПУСКАЮЩИЕ ОПЕНКУ 25 доказательства было показано также, что для любой нссмешениой оценки а'у вектор а* является проекцией а на У,.
Теорема 2. (Теорема Гаусса — Маркова). В предположениях йй (У) = Х (), Гу о»у каждая Функция Ч! = с'(), допускающая оценку, имеет линейную несмещенную оценку 4р с наименыией дисперсией, и эта оценка является единственной е классе линейнык несмещенных оценок. Оценка Ч! может быть получена из Формулы ф = Я с1(!! % ~ еаменой (р1) на любую мнк-оценку (р4,..., р ).
Д о к а з а т е л ь с т в о. Пусть а*'у — линейная несмещенная оценка ф с а'еи У, (сушествование такой оценки было установлено леммой), а а'у — произвольная линейная несмещенная оценка 4р. Тогда согласно лемме а*' является проекцией а на У, и ()аР=((а'Р+(!а — а'!Р По формуле (!2ЛО) с о!=! находим ел(а'у) = а'Г„а = о'((а Р = о(! а*(Р+ о'((а — а*(( = = 0(а"'у)+ о'!(а — а" Р. Отсюда Р(а'у)) 0(а*'у) и равенство достигается только при а = а*. Таким образом, а"у является единственной линейной ИесмеШенной оценкой 4р с наименьшей дисперсией.
Осталось доказать, что а*'у = с'(). Имеем а*'(у — ц) = О, где и = Х'() «вляется проекцией у на У„так как а'еи У, и у — ц ( У,. Из тождественных по й равенств с'(! = М(а'у) пв а"Х'(! следует е' = а*'Х'. Окончательно находим а"у = а"'т~ = а*'Х'(3 = с'(!. О п р е дел е н не. Линейную несмещенную оценку с наиМеньшей дисперсией ф произвольной функции ф допускающей оценку, будем называть мнк-оценкой ф. Существование и струк.
тура этой оценки установлены теоремой 2. Мы сознательно использовали раньше термин «л4нк-оценка» только для мнк-оценок (()!) параметров (()1). Можно было на» звать сумму ~ с1р! мнк-оценкой произвольной линейной функ- 1 ! Ции ) с!01, если (р1) являются мнк-оценкой параметров (01). 1 ! » Отсюда следовало бы, что мнк-оценка функции Х с1()! является 1 ! единственной тогда и только тогда, когда Х с1в! допускает ! ! гл. !. точгчныс оценки оценку.
Однако мы будем интересоваться л!нк-оценками только функций, допускающих оценку, и параметров (р!). С л е д с т в и е !. Если (!р!,..., ф«) — функции, допускающие оценку, то любая линейная комбинация Ч!= ~ Ь!ф! тоже до! ! пускает оценку и ее мнк-оценка !р равна ~ ЬЯ!, где ф! — мнк- 1-! оценка !р!. Доказательство. Функция !р допускает оценку, так как ~„Ь!ч!! есть ее линейная несмещенная оценка. Допустим, что ! ! Р ф! = ~~' с!Д.
Тогда !Р= Х ( 2 Ь!си)!3р Применяя теорему 2 / ! % % %'~ к ф! и ф, найдем их мнк-оценки ч!! = 1 с!!р! и $ = 2, ~1,Ь|см) р!, ! ! где (!1!) — любая мнк-оценка параметров 9!). Таким образом, Ф= ЕЬ!ф!. Дополнительные ограничения на параметры и оценки Если ранг Х(р, то мнк-оценка не единственна. В зтом случае мнк-оценкой может быть любой набор (6!,...,Ь») статистик, удовлетворяющих уравнению Ь!й!+ ... + Ь»й» где в! — 1-й столбец Х' н т! — проекция у на пространство порожденное ($!).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
