Андерсон Т. - Введение в многомерный статистический анализ (Андерсон Т. - Введение в многомерный статистический анализ.djvu), страница 10

(~) 1 12я)2 1т12 а ! Поскольку показатель записан в терминах 2; 1, определим сперва оценки наибольшего правлоподобия лля р, и Х =Чг. В функции правдоподобия векторы хн ..., ха! фиксированы как аначения выборки и !. является функцией р и Ч".

Чтобы подчеркнуть, что величины р, и Чг являются переменными га не параметрами), мы обозначим ия через р* и Ч.". Тогда логарифм функции правдополобия будет равен 1и У. = — — „рН!п12к)-+ 2 М1п ~Чг (— 1 1 — — ~~~~ (х. — 12*)' Чг' 1», — ра). !2) а 1 — «„х„ х! а 1 1т 1 %ч х= у ~х,= (3) а 1 1 ч а ! Я т. АилаРача Поскольку 1п1. является возрастающей функцией Е, то ее максимум наяодигся в той же точке пространства 1А', Ч'*, что и максимум Е. Пусть выборочное среднее равно 66 О!1ГикА ВГктОРл ОРсднеГО знлчГния !ГЛ.

3 и матрица сумм квадратов и попарнык произведений откло- нений величин от среднего значения равна и Г а4 ~ (ха в х)(х, — х)' = ~ ~~'„ (х!. — х,)(х „ — х ) , (4) а 1 а ! 1. У=1, ..., р. Будет удобно воспользоваться следующей леммой, Лем ма 3.2.1. Пуго!ь хо ..., хн нредставляют собой М (р-мерных) векторов и х онределен равенством (3). Тогда для любого вектора Ь и л ~(х.— Ь) (х.-Ь)' = У, (х,— х) (х.— х)'+ д)(х — Ь) (х — Ь)'. а ! а 1 (5) Доказательство. ~ (ха — Ь) (ха — Ь)' = а ! = Х((х.— х)+(х — Ь))((х,— х)+(х — Ь)) = а 1 Ю = ~ь ((х, — х) (х, — х)'+- (х, — х) (х — Ь)' (- а 1 -(- (х — Ь) (ха — х)' + (х — Ь) (х — Ь)') = л л = ~У(х, — х)(ха — х)' -1- ~ У (ха — х) (х — Ь)' + а ! а 1 + (х — Ь) ~ (ха — х)'+ М(х — Ь) (х — Ь)'.

6) а 1 Второй н третий члены равны нулю, так как У,(х — х)— =~~в»,— !А!х= О согласно \3). Теорема доказана. Если мы предположим, что Ь =р', то получим Ф А ~~ (ха — р') (х, — р')' = ~~ (ха — х) (Х, — х)'+ а ! -1 -(-И (х — 11')(х — (ь')' = — А -! дг(х — р*)(х — (ь*)', (Т) зл! ОЦЕИКИ ИАИБОЛЬШЕГО ПРАВДОПОДОГИЯ 67 Испотьзуя этот результат и свойства следа матрицы (зр СР = ~~'„с,,д)1 = ьр РС) получим и У (х.— (ь')'% (ха — р,') = а ! Ю = ар л (» — р *) % (х, — !ь*) = а 1 М = зр,т' Ч'* (х — !ь') (х — (ь*)' = а ! = БР %"А -1- БР %1*И(х — Р,') (х — 1ь')'.= = ар %г"А+ !!1(х — р*)'%1'(х — р'). (8) Тогда мы можем записать (2) следуюшни образом: 1и (. = — — рМ !п(2п).+ — !ь7!п!%га~ — — ар%"А— 1 1, ! 2 2 2 ! — — М (Х вЂ” 1ь*)' %'(Х вЂ” р,*).

(9) 2 Поскольку матрица ьр' неотрицательно определена, то )!7(х — р,')' %*(х — р,'))~ О н равна пулю, когда р,"=х. для определения максимума второго и третьего членов (9) применим следующую лемму (которая применяется также в последующих главах). Л е м м а 3.2.2. Пусть е у(С) — — М!п)С( — — ~~у с, дгя (10) Ку 1 где С=(с, ) является неотрииательно определенной и Р =(г(!7) положительно определена. Тогда максимум у(С) получается при С=г!Р ! и равен у(717Р) =-,- р!)1!п !А) — — гч'!и!Р~ — — рМ. (11) ! 1 1 Доказательство. Заметим, что 7(С) — ь — со, если (С!-ьО или если одни или несколько элементов С все чч 68 ОЦЕНКА ВЕКТОРА СРЕЛНЕГО ЗНАЧГННЯ !Гл.

ч стремятся к Оо или — со (недиагональные элементы)'), Максимумы 7(С) нахолят, приравнивая нулю производные 7(С) по элементам С. Применив теорему 7 приложения 1, получим дУ ! Ф д1С! 1 1 Саа 1 — = — — — — — с( = -М вЂ” —, даа, (12) дсээ 2 ! С ! дсэ» 2 "" 2 ! С ! 2 где Са„ обозначает алгебраическое дополнение сэ» в С. Для й Ф1 д1 Сы — =И вЂ” дш дсэ! 1С ! (13) так как саг — — Спн ПРиРавнЯв 2дГ/дсээ и дг!дсэ, нУлю и УчтЯ, что САДС! является элементом 1-и строки (э-го столбца С, получим МС = О. Отсюда С= МО ~. Значение максимума равно 7 !ИО ) = — И!и !ИО ~ — -к зр ИО 0 = =-,'~ЬИ'~0 '~ — —,' ~Му=. 1 1, 1 = 2 Мр1пМ вЂ” 2-М!п!О,' — 2 ИР. (14) Применив эту лемму к (9), где послелний член равен нулю, обнаружим, что максимум достигается при !я'* = ( — А) (15) ') Пусть О=ЕЕ',С Е' 'С'Е '.Тоглзу=а+ — М!п!С'!— 2 — — ~с, поскольку зрС)7=ср(Е' 'С Е 'ЕЕ') зрС".

Если Н один нли больше элементов С стремятся к со или к — оз, то по крайней мере один диагональный элемент С' стремится к оз. 1'.о согласно задаче 27 главы 2, ! С* ! < П сгр Таким образом, 1 1 %ч 1 'кч * 1%ч * У= а+ — рм!п!С'! — и. 7 сн ч. а+ — рлг р !псн — — 7 с», что стремится к -оо, если одно или несколько с,7 стремятсв к бесконечностэь Мы предположи», что А незырожденная; в главе 7 мы увидим. что вероятность получения выборки (М) р), когда А вырожденная, равна нулю. Таким образом, А существует з.м оцянки ньиволыпгго ПРАзлополозия 69 и %' положительно определена.

Г!оэтому р'=М является единственным значением (ь', которое обращает последний член (9) в нуль. Таким образом, оценками наибольшего правдоподобия для р и ье слчжат р,=х н Ф=МА 1. Для нахождения оценкн нанбольшего правдоподобия для Х нам понадобится следующая лемма, Ле и м а 3.2.3. Пусть у(0) — вещественнап функция, определенная на некотором множестве 8, и у — однозначная функция, имеющап однозначную обратную функцию, определенная на 8 со значениями на некотором другом множестве 8"; т.

е. каждому 0~8 соответствует единственное 0'~ 5 и, обратно, каждому 6'~ о' соответствует единственное 0~8, Пусть а (О') = г' [о г (О')]. (16) Тогда, если 7(0) достигает .наксимума при 0=0, то е! 0') достигает максимУма пРи 6 = Ое = 0(Ве). Если максимум 7(0) при В = Оь являетсп единственным, то максимум д'(О') при 0 = Оь также будет единственным, г(о к аз атель ство. По предположению, У(О,» Т(О) (1 7) для всех 6 ~ Я. Тогда для любого В'~ 5' Е(0*) =У(Т-'(О')) =7(0) <7(0,) =д(Р(6,))=д(6'.). (10) Таким образом, я(0*) постигает максимума при Оь.

Если макспмум 7 (О) при О„является единственным, то при 6+ Оз неравенство (17) является строгим, и максимум я(0') единственный. Имеем следующее следствие. Следствие 3.2.1. Если для данной выборки 6,, „В . являютсл оценками наибольшего правдоподобия, параметров распределения Оп ..., О, то р,(Оп..., Оы)..., ... р (Оп....

0 ) являются оценками наибольшего правдоподобйя длп р, (Оп ..., 0 ), ... оь(0н ..., Оы), если преобРазование 0,...„0,„в он ..., 1ь,ь Явлпетса взаимно однозначным. Если оценки О,, ..., В,„являготсп единственными, то оценки Тп ..., о также ЯвлпютсЯ единственными. то О!!е!!кч ВектОРА ОРелнГГО знлчГния !гл з Из следствия видно, что оценкой наибольшего правдоподобна для Х является Х =Ф =(1/М)А.

Обобщим полученные результаты в следующей теореме. Теорема 3.2,1. Если хн ..., хп, — выборка из М(рХ) (р ( М), гно оценками наибольшего правдоподобии для р и Х лвляются величины р=х=(1/М)з.,'х„и а Х = (1/М) 2. (ха — х) (х. — х)'.

Вычисление оценок Х проще пронзволнть с помощью специального слччая леммы 3.2.1 н н ~ (х„— х) (х. — х)' .= У„х„х,' — Мхх'. (19) а ! а 1 ат ~т Элемент Р„х,х, вычнс«Яетса, как ~, хг,хра н элемент Мхх' а ! а ! Следствие 3.2.2. Если хн ..., хлг образуют выборку из М(у„Х), где е,. =а,.а)рг (ри — — 1), то оценкой наибольшего правдоподобия для р является р=х= =(1/М) ~ х., оценкой наибольшего правдоподобия для ег явллется е',=(!/М)Ъ",(хы — х;)г=(1/М)/Ъ,хг,— Мхз), а Та где х;, есть 1-я компонента ха и х; есть (-я компонента х, а оценка наибольшего правдоподобия для рг! равна Ъ («! «!) («г„— .т!) Рг/ «г ( аг* «!) фг Х («! «)) а ~~ «!,«), — Аг«!«! — (20) ~)/ ~ га ! 3/ ! !а ! У а Д о к а з а т е л ь с т в о.

Множество параметров р, = ро 2— е =оп и р, =е, /)/о!!ей, является взаимно однозначным зл) оцанки нливопьшсго пвлвлоподовия 21 преобразованием множества нарачетров р< и ен. Поэтому, согчасно следствию 3.2.1, оценкой для р< является ри оценкой дла а) ЯвлЯетсЯ ен, а оцепи<ой длЯ Р<) ЯвлЯетсЯ аы К. П и р с о н 11) доказал справедливость этой оценки для рп, и (20) иногда называется коэффициентом корреляции Пирсона. Обычно он обозначается через г, . (21) <е) Рис.

2. Удобна геометрическая интерпретация векторов выборки (х<х, хж)=Х как строк матрицы Х. Пусть (22) т. е. у, является 1-й строкой Х. Вектор у, может рассматриваться как всктор в М-з<ерноь< пространстве, а-я координата одного конца которого есть х„ и другой конец которо<о расположен в начале координат. Выборка образует р векторов в Л<-т<ерноы свклидозоч пространстве.

Согласно определению евклидовой л<етрики, длина у, (т. е. Расстояние от одного конца до другого) сеть у,у,. = ~ х', . Покажем теперь, что косинус угла мсжлу у, и у равен у,у'.<"1 у<у',.у у' = ~ х< х . /у' ~~,',ха< хЧ,'яхт, Выберем скадар <( так, чтобы вектор <(у) был ортогонален вектору у, — <(у); т. е.

О = <(у (у, — <(у.)' = д (у у,' — <(у.у'). Поэтому <( =-у.у',./у,.у . Раз«ожил< у, на у< — <(у и <(у (у, =(у,— Иу )+ -Ч-<(у ), как показано на рис. 2. Ясно, что косинус угла 72 оцгнкл вгктогл сгялнгго знлчгния 1гл. з между у, и у7 есть отношение длины Иу7 к длине уп т. е.