Андерсон Т. - Введение в многомерный статистический анализ (1185341), страница 38
Текст из файла (страница 38)
Оценич Х и В по методу наибольшего правдоподобия. Функция правдоподобия будет ! ! (2к) ! ~Р) Хр-1~у лР Х к *р! — -р Хр,— р*.р'!' 1*,— в~!~. ррр р 1 Элементы Х' и В' в (2) являются неопределенными. Метод наибольшего правдоподобия ааключается в определении оценок Х и В по данной выбоРке х1, ли ..., хч, л,ч как таких Х' и В', при которых (2) принимает максимальное значение.
Удобно выразить Е через значения координат. Положим хы (3) х „ В=9,„); 1=1, .... р; и=1...., ру, Х =(;,)=(му) '. Логарифм функции правдоподобия будет п (. = — 2 М)Р(п(2п)+ 2 !Ч(п (4) (5) р и е е — — — тра ) . !6! 1,! 1 «=1 л 1 ч 1 Заметим, что для того, чтобы !пЕ был максимальным, матрица Х' должна быть невырожлевной.
Следовательно, по лемме 3.2.3 максимум !пав относительно Х* и В' равен максимуму !пав относительно Х' и В', н аначение матрицы Х', дающее максимум 1п Л, равно обращению значения матрицы Х' 1, дающего максимум !иь. Можно проверить, что для того, чтобы!п Е достигал максимума, необходимо, чтобы производные !пЕ по р," были равны нулю. Для нахождения максимума 1и!'. оказывается удобным использовать следующую лемму. 250 пговагка овщих лннгипых гипотгз !гл а «с,г йоказательство. ш д %1 жх диГ ~КИ ди, т.
г)ыи,и) — — ~М г(ц — и, + ~~ дц — и)— 1,1-1 диг ~"~ ди =~И(и!1)+с))1) —,— и! — — 2 д д! — и, (9) откуда (7) и (8) следуют непосредственно. Производная от !пь по ~' равна где с!г — — лм ха„сг„ (11) аа = ~а„„гди (10) следУет из леммы пРи о=-~*„Г и иы — — х„— ~~.",Р;или„. Так как матрица (и'~~), для которой !и Ь является максимальным, невырождена, то, приравнивая (10) нулю, получаем (12) с — ~~~~~' а =О.
*Г „ ИИ Иг Эти уравнения можно записать в матричной форме следующим образом! С вЂ”. В'4 = О. где С=(си~) и 4 =(аиГ). Решение этого уравнения (для невырожденной иатрицы 4) В=С4 1 (! 4) (13) Лем ма 8.2.!. Если г (и„.... ии)=- ~ 11, и,и. где 1, 1-1 лг1) — — Нд, то с11 Ъа дис — = 2 ~„с(1! — и! (7) 1, / 25! оцгнки плглывтРОВ з.г! является единственным и определяет оценку наибольшего правдоподобия для В. Легко в идеть, что каждая строкз В записывается в виде В = Ь, где Ь определен формулой ( 1 ) $ 8.1.
По лемме 3.2.2 пзходим, что !пЬ будет максимальным по отношению к о' ~ в том случае, когда Х* = М ~,» (х„— В*я„) (х, — В*я„)') . (!5) ь и Таким образом, оценкой нзибольшего правдоподобия для Х является х = — м ~ы (х. — Йя,)(х, — Йх.)'. (16) Эта оценка является многомерным аналогом оценки аг = =-(М вЂ” у)вг/М, определенной формулой (2) $ 8.1. Теор с м з 8.2.1. Если х, — наблюдение над совокупностью М(Вг„, Х), а =- 1, ..., М, и ранг (го ..., г ) равен о, то оценка наибольигего правдоподобия для !8 определяется по формуле (14), где С= ~ х г,' и А — — ~~ ~г я'. а Оценка наиболыиего правдоподобия для Х определяется по Формуле (16).
Из (16) вследствие (14) следует полезный алгебраический результат МХ=~хх' — Й~ г„х~ ~х„г„'Й'+Й г я,я„'Й'= % а и й = ~ х„х' — ВАЙ'. (П) Теперь рассмотрим геометрическую интерпретацию процедуры построения оцспок. Пусть 1-я строка (хп ..., х, ) есть вектор х", (состояший из М компонент), а 1-я строка (во ..., глг) есть вектор г', (состоящий из М компонент). Тогда ,~~ р, я*, будучи лииейпой комбинацией векторов l яп ..., г*, является вектором о-мерного пространства с бззисиыми векторами гн ..., г', который фзктически из всех векторов этого пространства является ближайшим к вектору хн 2о2 цвовевкл Он!них лннгнных гинотез (гл а Эта линейная комбинация, следовательно, являеуся проекцией вектора х, на р-мерное пространство.
Таким образом, вектор х", — Д 'рутг'., явяяясь разностью вектора х,". и нроекl иии х, на !у-черное пространство, ортогоиален к д-мерному пространству. Перенесем этот вектор тзк, чтобы один из его концов находился в начале координат. Тогда р векторов х",— ~ р,.г*, ..., х* — ~ р г*. будут образовывать мно- I жество векторов, выходящих из начала координат. у!учи —— = (х,' — ~~р ~ру.г" ) (»! — ~~д ~~;..г*) есть квадрат длины (-го вектора этого множества), а гууа! = (х! — ~в8улг„)(»' — ~~~, р! г«) есть произведение длин Е-го и /-го векторов на косинус )умла между ними. 8.2.2. Распределение В и В.
Теперь найдем совместное расирслсление величии р!«(! = 1, ..., р; и = 1...., д). Совместное распределение, очевидно, явяяется нормаяьнь!м. поскольку ~,„— линейные комбинаиии Х, Из (! 4) видно, что ж ут МВ = М ~~'„, Х„г,„А ' = ~~Р ~Вг„г„А ' = ВАА ' = В. (! 8) «=! ««! Ковариация между р! и ~р двумя строками В, будет МФ,— р,) 4,— р,)= ж .Ч = А М Х (Х!. МХ!.) г. ~~~ (Х!у МХуу) гуА «-! у ! =А Х М(Х!« — МХ!)(Хуу — МХУ!)г«гуА «, у«! ж и =А ~~'.~ В„уву,г„г,А =А ' ~ в!уз,г„А .т-! ! =в!!А АА =аууА '.
(19) Резюмируя вышеиз.тоженное, чожно сказать, что вектор (р!! ° ., рр), имеющий р!у компонент, расиредеяеп нормально оцснкн нзрамртров с математическим ожидзнием (рг, ..., [)р) и кой!а[айай(ионной матрицей а, А ' а,гА ... а,рА — ! — ! аг,А а„А ... огрА -! -! — ! о А о А ... а А Матрица (20) является кронекеровским (иди прямым) произведением матриц В и А Из теоремы 4.3.2 следует, что МЙ = ~ч'„,х„х„' — ЙАЙ' и ! распределена но закону )р'(Х, М вЂ” о).
Отсюда видно, что несменьенной оценкой В является $=[М/(М вЂ” д)[Е. Те о р е и з 8.2,2, Оценка наиболшиего аравдоаодобия двя Й, полученная по М наблюдениям, а-е из которых производится над совокупностью, распределенной М(Вг„В), распределена нормально со средним значением В, и ковариационная матрица между 1-й и ~-й строками .иатрицы В равна а;зА, где А= ~~.', г„г„'. Оценка наибольшего правдоподобия Й.
умноженная на М, не зависит от В и распредеаена по закону (р'(В, М вЂ” !)), где !) — число компонент вектора г,. В выражении двя изоте!ости распределения вероятностей Х,, ..., Хн НОД ЗиаКОЧ ВКСМОиЕНт!Я ИМЕЕМ ~ (х,— Вг„)'В '(х„— Вг„)=зрВ '~(х„— Вг,)(х„— Вг„)'.
й а Мы можем нзписать ~я~, (х„— Вг.) (х„— Вг„)' = = „«г [(х, — Вг„) + ( — В) г,1 [(х„— Яг„) + (Й В) г,[! = 6 = ~(х„— Йг,)(у, — Йг.)'+( — В)А( — В)'. (21) а 234 пРОВеРкл Овп!Нх лпнГйных ГнпОТГз [Гл а Тогда плотность может быть ваписанз в следующеч виде: 3'- "1 ал/рьь — — с„/, (23) образуют систему о линейных урзвнений с о неизвестными ра,, ..., р . Эффективным методом численного решения таких систем уравнений является метод сокращения Дулиттла. При использовании этого метода лля решения р систем таких уравнений передовое ') решение одинаково для каждой ') В оригинале [огтгагй зо!иноп.
(Прим. ред.) ехр( — — ар [В ' [( — В)А( — В)'+/чм][). (2я) ) Х'г (22) Теч самым доказано следующее Следствие 8.2,1. В и Х образуют множество достаточных статистик для В и В. Т е о р е м а 8.2.3. Пусть вектор Х, распределен М(Вя„, Х), а=!, ..., М, и не зависит от Х, (р чьи). (а) Тогда если чо„=-Нз„и Г =-ВН ', то Х, распределен М(Ге[„, В) и не зависит от Х, (р =/= и). (б) Оценка наиболыиего правдоподобия для Г, полученная по наблюдениям х, над векторами Х„(а=1„., М), есть Г= — ВН ', где  — оценка наибольшего правдоподобия для В.
(в) Г Д'.,чо чо,'1Г' =- ВАВ'. где А = ~ья„я,', и оценка а / Ф наибольшего правдоподобия для МВ равна МВ = — ~ х,х„'— — Г (~ чгг,чо„') Г' =- ~~'„, х„х„' — ВАВ'. / а (г) Г и Х независимы. (д) Г распределена нормально со средним значением Г, и ковариационная маглрггца между [-й и /'-й строками матрицы Г будет е, (НАН') =а[ Н' А Н Доказательство предлагается провести читателю. 8.2,8. Вычисление В и Х.
Для каждого й уравнения (13) или же з.г! оцгнки плгчинтпов системы (за исключенном одно!о столбца) н, следовательно, не требуется производить н р раз больше вычислений, чем при решении одной системы. Рассматривая вычислительный метод, улобпо заменить уравнение а!А=С уравнениеи АВ'=С' илн АВ=С, где В=1)' и С=С'. В компонентах зто запишется так: ~ аг,Ь,а =с!а, 1=1, ..., а; Ь=!, ..., р, (24) ! 1 Как в методе сокращении Дулиттла, так и в методе сгущения по оси ') решение состоит из операций, состоящих в замене (24) совокупностью линейных коибипаций компонент уравнений, которая образует новую систему сз а,",Ьл =с ' или А'*В = С**, (26) где О 1 '' аг А" = (27) О О ... 1 б атное ешение состоит в том чтоб О р р ы решить (26), переписанное в виде е Ьга = сга — ~ а" Ь гл аа (28) последовательно дла Ь „, Ь, „, ..., Ь, (Ь.=1...
р) Это относительно легко вследствие специального вида А Метод сгущения по осн является пряным методои последовательного исключения переменных. До /-го шзга имеем следующие уравнения для последних а — у'+.1 неизйестных Ь (при данном Ь)! !l-гг !l-н ж ась Ьла = сея й' = /, ° ° " !) (29) л-у !) В оригинале аеИгод о1 рыога1 сопцспзацоп. (1Урил(.
ред.) пРОВеРкА ОншИх лИНеЙБЫх Гипотез (Гл. а Г (а) ~~а(/ — а(/). /-й шаг вычислений состоит в следующем: а(/-ц -(/) /А а/А ==,„. й=,/, ..., (/. '//' с(/ с (/) —— /А /А'= (/-!) "// (зо) а'и а*, ... а, О а,*,, а" А'= (33) О О ... а а,.=а,'//аы, /=/, /+1, .... (/. (34) Вычисление элементов матрицы А' по методу сокращения Дулиттла производится следующим образом (заметим, что а,а/А = а/ла/А)/ а-! / ! (а(/) = 1) и // а „=а а — ас/ а,а Аг — /'+ 1, ..., (/, //=/,...,(/, (31) (Ю 0-!) 0-!) (/) (/) 0-!) (/.-!) Об С А =С,А — ас/ С)А.
Уравнения (30) и (31) указывают, что на /-м шаге мы делим уравнение / на ведущий коэффициент, чтобы получить а ь/а+,'Е а/')!/)АА = с/й. (32) А /+! В (31) мы вычитаем этот результат, умноженный на аа/ (/- !) из каждого последующего уравнения. Тогда последние (/ — / уравнений будут содержать лишь последние (/ — / неизвестных (( (так как аЯ=О, д >/); они имеют вид (29) с той лишь разницей, что / — 1 заменено на /'. Если собрать вместе уравнения (32) для /=1, ..., р.
то получим (26) с матрицей А вида (27) (т. е. а',.'„=а('„), а=/, ..., (/). Метод сокрашения Дулиттла предполагает те же самые вычисления, но в другом порядке. Пусть а/А=а/А, /))~/. 0-!) Тогда 257 Оцгпки ЦАРАметРОВ Эти вычисления может легко сдслзть па доски дажв.вычислитель с минимальными акакиями. Такие же опврэщпв производятся и с матрпцей С: 1-1 с*, =с1, — ~ а',с„„, (Зб) А-1 с,'„' = с!27 ап. (37) Для вычисления элементов д-й строки требуется знать лишь элементы первых а — 1 строк А" и А*'. В приложении 1 показано, что вычисления по методу сокращепия Дулиттла такие же, как и вычисления по методу сгущения по оси.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
