М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 35
Текст из файла (страница 35)
Значение функ. ции 1.(х; 6) при данном наблюдении х называется привдолодобием О (или меры Ре) при этом х. Значительное практическое и теоретическое удобство достигается переходом к логарифмам. Функцию 1(х; 6) =1пй(х, 6), Оенй, называют логарифмической функцией правдоподобия. В схеме по- вторной независимой выборки !98 !(х; 0)=- ~~ 1(х~, 9), !(х~', 9) =-1п/(х~', 9), 1=!, ..., л. (21 1 ! Итак, функция правдоподобия 1.(х; 6), 6ец6, содержат всю информацию о неизвестном параметре 6, заключенную в выборке х.
Но, как мы знаем, возможно дальнейшее сокращение данных, если перейти к минимальному достаточному разбиению, при котором в один класс помещаются выборки хп1, хл>, для которых отношение Е. (хп>; 6)/(.(х<'~; 9) =й(х(п; хпч) не зависит от йяа (см. подробнее п. 6 $15, п. 3 $16).
Принцип, требующий от статистической процедуры одинакового заключенна для выборок с пропорциональными функциями правдоподобия, называется принципом правдоподобия. Как видно, он совпадает с принципата достаточности, в соответствии с которым по выборкам хи> и хпн с одним и тем же значением минимальной достаточной статистики должны производиться идентичные статистические выводы. Подробное обсуждение различных принципов статистического вывода и нх интерпретация содержатся в кинге Кокса и Хинкли (14).
2. Оценки максимального правдоподобия. Задача точечного оценпванпя, решаемая с позиций пршимша достаточности, приводит к оценкам, являющимся функциямп минимальной достаточной статистики. При этом, однако, остается открьпым вопрос, какую именно из функций достаточной статистики следует выбрать для опеииваьпя заданной параметричесьой функции ф(6). Подход, основанный иа выборс несмещенной опеикй с мшгимильиой дисперсией, был подробно рассмотрен в % 17. Этот подход эффективен, однако, лишь когда имеется полиаи до. статочная с|а~истина небольшой размерности, ч1о практически сводится к моделям экспонешшального типа. Требование нссме.
шспностн такжс ограничивает возможности применения метода; к тому же, ничто не препятствует существованию оценки 5(Х) с небольшим смещением и среднеквадратическим отклонением ййв (з(Х) — р(6))з, меньшим, чем дисперсия наилучшей несмещенной оценки. Резин. зацией принципа правдоподобия в задаче точечного оцеиивания можно считать оценивание по методу максимального правдоподобия: оценка 6(х), максимпзируюшая функцию правдоподобия Е(х; 9(х))~)(.(х; 8), 9еп9, или, что то же, логарифмическую функцию правдоподобия, пазы. вается оценкой максимального правдоподобия (о.м.п.) параметра 9. Если статистическая модель дискретна, то 9(х) есть такое 199 значение параметра 6, при котором вероятность Рв(х) наблюденной выборки х наибольшая; в непрерывной модели плотность 1(х, 6) наблюденного значения выборки х становится максямаль- ноГ«прп значении 6=0(х).
Допустим, что «Г(6) = («р«(6),, «Г«(6) ) есть некоторая векторная параметрическая функция. Что следует понимать под оценкой максимального правдоподобия функции «р(0)? Не ограничивая общности, будем предполагать, что- система «р«(6),... ...,«Г;(О) функционально независима н ее можно дополнить до взаимно-однозначного преобразования всего параметрического пространства. Пусть, для краткости, 1=.й н отображение «р «р(0) уже взаимно-однозначно. Функция правдоподобия Е(х; «р) в новой параметризацнн н 1.(х; 6) связаны формулой Е (х; ч (8)) 1-(х; 8).
Максимизация по «р функции Е(х; «р), очевидно, эквивалентна максимизации 1.(х; О) по 6, и точки максимума связаны соотношением «р «р(0(х)). (3) Естественно определить о.м.п. любой параметрической функции я«(0) как результат подстановки 6=6(х„) в оцениваемую параметрическую функцию. Отметим, что в задаче наилучшего несмещешк«го оцеинваиия оценка для «р(8) ищется независимо для каждой %(8) И Отметим, что если Т(х) — достаточная статистика, то по тео. рене фактсГнзацин 1. (х; 6) =Ь(х)л(Т(х); 6), н задача построения о.м. и, сеоднгся к поиску максимума по 8 ф.пкшш д(Т(х)", 0). Если гочка максимума по 6 функции гг(:; 6) едиьственная, то о.м.п.
6(х) опрсделяегся однозначно и является фу «„'«««сГ« достаточной статистики Т(х). В частности, при соблюсснсп указанного условия получаем, что 6(х) является функцией минимальной достзточной статистики. Я Н случае, когда фупкцнг. правдоподобпн дцффереппнруема, га'.ож "ение о. м. и. сводится к решению системы ,;г(.," г«01г)«г =:.~, =.), ..., й, 6=(оь ..., 6«). назыпаемой «псге««ой уравнений праадолодобплс Точка максимума фуцьшш 1(х, 8) иаходпгся среди решений этой системы (а также значений функции правдоподобия на границе области 6).
Щ Многие пз оценок, с которыми мы до спх пор встречадксь, являк«тся сцепя..«..«««максимума правдоподобия. Рассмотрим некоторые цр«м«гркц (!) Д.-.я г.спытанш«Бернулли с вероятностью положителшюго исхода 0 получаем 200 Е(хй; 6)=Ох *"»(1 — 9)"~~*й», 5(хй)- х»+ ... +х„, 1(х„; 9) 5 (х„) )и 8+ (и — 5 (х„)) 1и (1 — 9). Для нахождения максимума прнравняем нулю производную по О логарифмической функцнн правдоподобия: 0 = д! (х„; 8)/дв .= 5 (х„) 6 ' — (л — 5 (хй) ) (1 — О)-» = = 5 (х„) (8 (1 — 6))-' — л (1 — О)-' = (5 (хй) 8-' — л) (1 — 6)-'. Производная д!(х„; 9)/дв меняет знак с минуса на плюс прн пере- й ! ! к'\ ходе через точку 6(х„)= — 5(х„).=- — ~ х»=х, н потому х яв- й й ляется о.
м. п. (11) Для повторной выборки нз нормалъного распределения /»/(»», оз), полагая 9»=р, От=а~, получаем /(х; В).= 1п)/'2 В, — — '~Р(х, В)з= й' м! лй» = — л! и )/2ивз — 1) 1! (х! — х)'/(28з) — и (х — Од)'/(20,), ! ! д/ (х„; 9)/д8, =л (х — 6)/О„ й д/(х„; 9)/дВ,= — /20,+ДГ(х,— х) +и(х — В)з!/(26). Прнравннвая производные к нулю, находим Е,(х„)=х, 0,(х„)йй ~ (х,— х)й/и. »-! Так как (нсключая случай х»=х, ! 1,..., и) й =( —, — —,('~(х! —.) +и( — 6») ~) ~ ! ! =- л/21|~ — и/ез ( О, а*/(хй! 0) ! !х — е,! ! дв~де» !Е Е Вз з!В Е 201 а и. В. коййов.
А. в, пройорав то дпскрнмннант (дЧ/дв!)(дЧ/доа) — дзЦ(дв>до~ ) О и, следовательно, в точке О>, Оз функция правдоподобия достигает максимального значения. (П1) Для повторной выборки из равномерного распределения иа (О, О) В, О<хо,<х„,<0, О в противном случае. Функция С(х,; О) равна нулю при оси(О; х>,>], делает в точке о=х>,> скачок величины х>,>-", а затем монотонно убывает. Формально о.
м. п. не существует, однако если переопределить плотность распределения в исходной модели, положив 1(х; О) =О-' при 0<х<0, то фактически, не изменив модели, получим о. м. и. 0(к.) =,., (1'»") Для повторной выборки нз экспоненциального распределения с плотностью В, ' ехр ( — (х — 8,) 0, '), х > О,, — < 8, < + оо, В, > О, получаем 1(х„; 8„0,) = — л 1п Оа — ~), (х; — О,) О,, '. Очевидно, при любом 8з максимум 1(х„: 8>, От) по О! достигается пр О .=- пнп х>= — х>п. >~!4:а Далее, из уравнения л О ==д((к„; О,, 8,)~дв, = — про, + ~" (х,— 8>)В наход:>м В,= ~ (х; — х>>>)!и.
лНапомним,что полной достаточной статистикой в рассматриваемой а модели является ~'х>>„)>'(х! — х,>>)1 (см. пример (!11) $17), н ! ! потому иесме>ценные оценки (см. п. 3 $6) ° а — ° вз =- — 8„8! = 8,— втlп а †! имеют минимальную дисперсию. Как видно, отличие между (0» От) и (8!", 0>*) незначительно прп больших л. ° 202 и из (4) вытекает (см.
также следствие 1 теоремы 2 9 19) й405! (Хи) = — дЬ'(8)/дВ!. 1 = 1. С другой стороны, подставляя в (4) 8=0(х„), находим Мед(Х.)=-Мв1 — "1! - ). =1 'й л! так что Из теоремы 2 5 19 (см. следствие) и проведенных выше рассуждений вытекает следующее утверждение: если собг!юдаются условия регулярности н существует несмещенная оценка, обращающая неравенство Фреше — Рао — 1(римера в равенство, то эта оценка является о.
м. п. (!/) Пусть (Хь У;), 1=1, ..., л — повторная выборка из двумерного нормального распределения /тт(0, Я) (см. пример ч. 1 $12): Вводя параметризацию ! ф=— 2е' (! — р') Р о' (! — Р*) (8) приведем плотность распределения отдельного наблюдения к виду /(х, у) (2п)-'ехр(ф!Т!(х, у)+фтТт(х, у)+Ь(фь фт)), где Т,(х, у) =х'+у', Т,(х, у)=ху, Ь(фп ф) =!/21п(4ф~! — фа~). Запишем систему уравнений (4): л — '~~~ Т,(х,) аЬ (!рь ф,) чф, аф1 чф! — ф2 (9) — р Т,(х/)=— ! гч аь(ф,, ф,) л р> афз / 1 204 й4,дЬ(Е(Х.))/де;=дЬ(Е)/двь = 1... „ й. Таким образом, о.м.п. Втадвь(0) параметрической функции ягад Ь(8) является несмещенной, а ее ковариационная матрица принимает минимально возможное значение: (л/х (8))-' == ( — пдтЬ/дЕ,деь !, / = 1..., л)-'.
Разрешая систему (8], находим р= — ц,)2!р>, а'= — 2>г! (4>р>т — ф '). Из (9) н (10) получаем о. м. п.: (10) р=2~~)~х>у! /~',(х,'+у,'), ах= — 7, (х>+уз!). ° зл с,Ф ! ч ° ! Ф"% $ (х>х> — )>)(а, х= — ~' х>Ф зй = — ~'(ха> — х)а >у2 уЬ ! ! ! ! н выпишем систему уравнений правдоподобия и 0 ' ' аи— д! (х; и, о) ч>(В) ! кч + — з, (хо> — р), д>> о (1 — Ф Щ) о> ь'> ! ! 0= д((х; », о) гьт (В) у — — + — ч (хк> — р) . до о(! — Ф($)) о о' Д ! ! Введем функцию В (у) = В (й, у) = — ~ ("), Ь = г!и, 1-А 1-Ф(у) и перепишем систему (11) в виде х — »=аВ Я), 80'+ (х — р) '= а'(1+ $В (а) ). (12) (13) 205 В ! ! В гл.
Ч будет показано, что оценки максимума правдоподобия обладают рядом оптимальных свойств для выборок большого объема (л-ч-оо). В случае умеренных и небольших и свойства о.м. п. изучались лишь для частных моделей. Затруднение заключается в том, что о. м. п. в общем случае не выписываются н явном виде и для их нахождения приходится применять численные методы. (Ч1) Рассмотрим цензурнрованную выборку нз распределения У()>, а'), полагая, что наблюдению доступны порядковые статистики х„ь ..., х, >, >У=а — г, г>0.
Логарифмическая функция правдоподобия при х>>>(...~~х>х> имеет внд (см. пример (1'1) й 16) 1 (х; р, а) =. с+ г 1и (1 — Ф ((х>х> — р)(а)) — У! и а— >> — (х>о — р)'/(2а'), х =(х>н... х>х!). ! ! Здесь Ф(х) — ф. р. нормального закона У(0, 1), >р(х) =Ф'(х), Положим Подсгааляя уравнение (12) в (13), получим за'+о'В($)'=о'(1+Р й) ) С другой стороны, воспользовавшись уравнением (12), имеем о$ =х>х> — »=х<а> — х+ (х — ») =х>х> — х+оВ(с), (14) откуда о= (хгл> — х)/(э — В(а)). (15) Подставляя (15) в (14), получим уравнение для нахождения 5: лот/(х<л> — х)'=(1 — В(5)' — $В(5))/Д вЂ” В($))'.
(16) Уравнение (16) решается численно. Подставляя его решение г, в (15), найдем о, а подставляя 5 и о в (12), найдем ». Получим для 1>, о более удобные для применения формулы. Переставляя члены выражения (14), используя (15) и полагая ЪД) =Вд)/(В® — 8), (17) получаем от=хат+отВ(5) (В(й) — й) =з>>г+Л(5) (хгл> — х)т Подставляя (15) в (12), находим 1>=х+оВ(ь) =х+Л(5) (х>х> — х).
Таким образом, о. м. п. представляются формулами 1> =х+Л($) (х<л> — х), от з»'+Л($) (х>х>-х)', (18) где .- определяется из уравнения (16). Чтобы иметь практическую возможность пользоваться оценка. ми (18), достаточно рассчитать для разных й=г/л таблицу реше. иий ураииеиия (16): (1 — В(й 5)' — 5В(Ь, 5))/(5 — В(й, 5)) у (19) для значений Т, взятых с некоторым шагом. Подставляя решение $=$(/>, 7) в формулу (17), получим таблицу значений Л=Л(й, 7).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
