М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 14
Текст из файла (страница 14)
Легко проверить, что этим условиям удовлетворяет вектор 7. Наилучшие оценки как оценки наименьших квадратов. К изложению теории несмещенного линейного оценпвания имеется другой подход, основанный на следующем соображении двойственности. Пусть Ьу' — произвольная несмещенная оценка своего математического ожидания (см. (14) ): ййЬТ'= ЬХО' = ай'. Тогда наилучшая оценка, как мы знаем, имеет внд пргЬТ'. Обозначая через Р"9 У ортогональное дополнение У в )г", имеем (прг Ь) Т' = (пр„Ь) (прг 7 -~- пр„т У)' = при Ь (прг т) ' = =(прр Ь+ прл „Ь) (прт Т)' = Ь(пргу)'. Таким образом, чтобы перейтн от оценки Ьт" к соответствующей наилучшей, надо найти вектор пргу.
Условия проектирования выражаются соотношением (т'-прЛ) Х О. (22) Записывая разложение пру т'=8~к г+... +О,х„=ОХ' (23) и подставляя его в (22), получаем так называемую нормальную систему уравнений относительно О: ОХ'Х = ТХ. (24) Если матрица Х полного ранга, то от уравнения (24) приходим к ранее полученным формулам (20) для вектора наилучших оценок О.
В общем случае любое решение О системы (24) определяет по формулам (23) вектор пргу и, следовательно, наилучшую оценку Ь(пргт)' с математическим ожиданием ЬХО' аО'. Полезно перенестп этот подход иа модель в форме (13): Т т)+ое, т1яУ. Положим т)=прЛ. Тогда Ч несмещенно оценивает т) и является наилучшей оценкой т) в том смысле, что для любого вектора Ь дисперсия статистики Ьт)', несмещенно оценивающей Ьп', минимальна в классе линейных иесмещениых оценок.
Так как л 1)(ЬЧ') = Я Б,Ьгсот (т1, пг) = Ы-Ь', с/ ! го, используя частичную упорядоченность матриц А~В (А)В), если А —  — неотрицательно (положительно) определенная, занлючаем, что в классе линейных несмещенных оценок вектора т1 имеется оценка (и она единственна) с наименьшей матрицей ковариаций. ° Вектор проекции (23), хах известно, дает решение следующей экстремальной задачи: !!У вЂ” прт!!!! == ппп !1Т вЂ” (8,х +... + 8,х,)йз= в„...,в, л 1У! ~~ бух!' )~, о„....е """ ~с-! г ! Приравнивая и нулю производные от выражения под знаком ппп в (25), легко получить отсюда нормальную систему уравнений (24). Метод отыскания неизвестных 8ь 1=1,...,г, из условия (25) называется методом наименьших квадратов.
Определенные нами выше оценки 6ь /=1,...,г, и ай' могут быть также названы оценками метода наименьших квадратов, нли м.н.к.-оценками. В такой форме этп оценхи были использованы независимо Лежандром (1806) и Гауссом (1809), который впоследствии вывел оптимальные свойства этих оценок. (25) $ !В. КОВАРИАЦИИ, КАНОНИЧЕСКАЯ ФОРМА ЛИНЕННОИ МОДЕЛИ, ОБОБШЕНИЯ 1. Матрицы нз случайных элементов. Пусть (МЕ) '= МЕ', математическое ожидание суммы матриц равно сумме математи- ческих ожиданий; М (Е!!!+ Е!т!) = МЕ! !!+ МЕП>, а постоянные матричные множители выносятся за знак матема- тического ожидания: М(АЕ) АМЕ, М(ЕВ) (МЕ)В.
80 Е=(Е!ь !=1,...„т,) 1,...,л] — тХл-матрица из сл. в. Ен (при т=1 получаем вектор-строку, при л 1 — вектор-столбец; ! Х 1-матрицу не будем отличать от ее элемента). Математическим ожиданием Е назовем матрицу МЕ= 1МЕа, 1= 1,..., т, /= 1,..., л), составленную из математических ожиданий ее хомпонент (в предположении, что они существуют). Оператор математического ожидания, очевидно, перестановочен с операцией транспоннрова- ния: Проверим последнее свойство: М(ЛЕ) =- ~М~~,амХьг]= Д,ацМ2м~ =А[МЕы] =АМЯ. 2. Матрица ковариаций. Пусть 0=(У»Ум...,У ) — случайный вектор. Используя представление ((У~ МУД (Уу МУД 1 1 1 ° ° л] (() М0) (О МЩ и приведенные выше правила вы и;слепня математического ожида- ния, получаем для матрицы ковариаций вектора 0 формулу Я,-М((() — МЦ) (и — Ми))-М() и — Ми'Ми.
Отметим некоторые свойства матрицы ковариаций. Очевидно, что если а — постоянный вектор, то Ко+а = )ги При умножении случайного вектора на постоянную матрицу матрица ковариаций преобразуется по формуле Вол =А'ЯоА. (1) Действительно, Яцл = М (А'$3'1)А) — М (А'0') М (1)А) = А' (М$3'1)) А— — А'(М0') (М(3) А = А' (М0'() — М(3'МЩ А = А'ЯоА, У Взяв в (1) в качестве А матрицу-столбец а', запишем для дис- персии сл. в. ()а' 01)а'=Яиа =айса'. [2) Так как дисперсия неотрицательна, то из (2) вытекает, чтоЯс— пеотрнцательно определенная матрица.
Как известно из линейной алгебры, симметричную неотрнцагельно определенную матрицу можно привести к диагональной форме: прн помощи подходящей ортогональной лХл-матрицы С: СС'= С'С 1. При этом матрица Л имеет на главной диагонали неотрицательные числа )» 1 1,...,л, а если матрица Йо положительно опре- 81 делена, то все А;.з О. Домножнм (3) слева н справа на матрицу С н С' соответственно: В~ = СЛС' = (СЛ3/2)(слна)', где Лне — диагональная матрица с элементами Ц~ на главной диагонали. Полагая СЛиа В', имеем Яо =В'В, (4) причем ранг матрицы В совпадает с рангом Яи Представление (4) будет неоднократно нсвользоваться в последующем.
3. Ковариации наилучших оценок. Воспользуемся формулой (1), чтобы найти матрицу коварнацнй вектора наилучших несмещенных оценок 9 в модели с матрицей Х полного ранга. Учитывая, что йт=7т =пЧ, получим 9=УХ(Х'Х) 1, Ви=(Х'Х) 1Х'АХ(Х'Х) 1=па(Х'Х) 1 (б) Отметим, что если матрица Х ~х~',..., х,'1 состоит нз ортогональных векторов хь 1 1,...,г, то матрицы Х'Х. н (Х'Х)-' диагональны н оценки йь 1=1,...,г, некоррелнрованы. Случай ортогональной матрицы Х оказйвается интересным и в некоторых других отношениях. Во-первых, нахождение 9~ ие требует обращения матрицы.
Затем поскольку 9~ находится в результате проектирования вектора наблюдений на направление х„то в случае, когда в процессе анализа модели решаем отбросить некоторые х,, полагая, что истинные значения коэффициентов при них равны нулю, нет необходимости заново проводить вычисления оценок оставшихся коэффициентов, так как при этой процедуре они ие изменяются.
4. Пример оптимального выбора матрицы модели. Рассмотрим пример, когда экспериментатор ие привязан жестко к данной линейной модели, а имеет некоторую свободу в проведении эксперимента и, следовательно, в выборе матрицы Х. Допустим, что требуется найти веса Оь 1=1,..., г, предметов 171. Если каждый из предметов взвешивается й раз, то наилучшей несмещенной оиенкой слу:кпг выборочное среднее.
Дисперсия кажл:й пз оценок равна о9й, где о' — дисперсия отдельного гзвешчваипя, л всего производится и=-гй взвешиваний. По другому мс1оду при кгохдоы взвешивании выбирают две группы пред' метов и размешагот па двух чашечках весов, а затем уравиовешн- вают гирями.
Эксперимент может быть описан линейной моделью: У2=6~хц+...+6,'хо+пап 1 1,...а, где хи= — 1, +1 или О в зависимости от того, положен ли )чй предмет на левую, правую чашку весов или ие участвует в Ьм взвешивании; У~ — величина уравновешивающих гирь со знаком, указывающим, на какую из двух чашек добавлен разновес. Предположим, что Х имеет полный ранг, и найдем дисперсию оценки Оь для чего разобьем матрицу Х'Х иа блоки, выделив угловой элемент: Х.Х !!х1!!2 Ь1 Ь' Р! где Ь=(х1 х2',...,х, х,'), Р— квадратная(п — !) Х(п — 1)-матрица, так что ввиду (5) 061 =о' бе1 Р/де1 Х'Х. (6) Выразим определитель матрицы Х'Х через компоненты разбиения.
Составим линейную комбинацию последних г — 1 столбцов гХгматрицы Х'Х с коэффициентами — компонентами вектора Р-'Ь'. В результате получаем матрицу-столбец: Ь,, ЬР-2Ь' ' ЬР-2Ь Вычитаем ее из первого столбца Х'Х. Так как определитель при таких преобразоваииях ие изменяется, то, разлагая преобра.
зованный определитель по первой строке, получим де1 Х'Х = де1 ' ~ = (!!х2!!2 — ЬР-'Ь') бе1 Р. !!хт!!2 — ьР- ь ь1 О Р1 Подставляя полученное выражение в (6), находим 06, о2(!!х,!!2 — ЬР-1Ь')-'. Минимальное значение 06~ приобретает, когда вектор х~ имеет наибольшую возможную длину, а вектор Ь=О, так кан квадратичиая форма ЬР-'Ь' положительна, если только ЬМО. (Проверим, что матрица Р-' положительно определена. Квадратичная форма аХ'Ха' аХ'(аХ') ' !!аХ'!!2 положительна, если только ачьб, так как Х имеет полный ранг. Для вектора вида а=(О, ам...,а,) аХ'Ха'= (ат,..., а,) Р(ат,..., а,) ', откуда следует, что матрица Р— положительно определена.
83 Пусть С вЂ” ортогональная (и-1) Х (и-1)-матрица (СС'=С'Счь =!), ".акая, что С'гС=Л, !де Л вЂ” диагональная (л — 1) Х(п — 1)-матрица с положительны- ми элементами на главной диагонали. Домножая это соотношение на С слева и иа С' справа, получим Р= СЛС'. Е-! СЛ-'С', Очевидно, откуда получаем Ь/с 'Ь' ЬСЛ-'С'Ь'= ЬСЛ !мЛ-!"С'Ь' 1!ЬСЛ "Ч!т, что и требовалось.) Те же рассуждения применимы и к дисперсии любой другой оценки 8„!=2,...,г.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
