4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 14
Текст из файла (страница 14)
Пусть теперь для функции ~р (1), 1=кО, выполняется условие о Еокг(Т) =-- ~ Ч8(1)(к 'В=О, 18)0. о о Дц1)х)хренцируя по 6 тождество ~ сГ(1) 1"-'01= — О, получаем <Г(6)8"'= — О, о т. е. ц (6) =О, 88) О. Тем самым доказано, что статистика Т вЂ” полная. Далее имеем 8 ЕоТ = - [ (к дЕ =- —" 6. 8 ол 6 п-)-! пц-1 По теореме 2.9 отсюда следует, что — Т = — 'Х,„1 — оптималь- ная оценка 9. Нетрудно показать, что Пример 2.16 (достаточная статистика, не являющаяся полной). Пусть произведено одно наблюдение Х над дискретной случайной величиной с распределением (О 1) [ 9" (1 — 8)о при х=0, 1, 2, ..., Тогда Х вЂ” достаточная, но не полная статистика.
Действительно, пусть гг(х) — заданная иа множестве ( — 1, О, 1, 2, ...) функция, удовлетворяющая условию Еоц (Х) = О, Ч0 ~ (О, 1). Это условие можно записать в виде ф ( — 1) —, + э ц (х) 8к = — 0 к =о или (см. пример 2.14) «о (0) + г,' [ср (х) — -хгр ( — 1)18к= О.
к= ! Этому условию удовлетворяет любая функция, для которой гр (0) =О, <р(х) = — х~р ( — 1), х= 1, 2, ..., т. е. значение ~р( — 1) можно задать п оизвольно. Следовательно, в данном случае критерий полноты не выполняется, поэтому нельзя ожидать, что уравнение несме- щенности будет иметь однозначное решение. Рассмотрим, напри- мер, задачу оценивания параметрической функции т(8) =(1 — 6)'. В этом случае непосредственно можно проверить, что любая ста- тистика Т=Н(Х), где функция Н имеет внд Н(х) =~ а произвольно, является ие- 1 пи х=О, [ах при х= — 1, 1,2,..., смещенной оценкой т(9).
$2.4. Оценки максимального правдоподобия 1. Определение и примеры оценок максимального правдоподобия. Одним из наиболее уни- версальных методов оценивании параметров распределений является метод максимальлюго правдоподобия. Оценку параметра 6, полу- чаемую с помощью этого метода, будем обозначать 8 = 6(Х), а оценку параметрической функции т (9) — записывать в виде т=2 (Х). Пусть, как обычно, задана выборка Х =(Х,, ...„Х,) нз рас- ЛРЕДЕЛЕННЯ Я(Е)8=У=(Е(г1 8), 98НО) и Е(х; 6) — функция правдоподобия дпя реализации х=(х„..., х„) выборки Х, По определеншо, оценкой максамальнсгс правдолодккбия (о.
м. и.) 6 параметра 8(точнее, значением о,м. п. при заданной реализации х выборки Х) называется такая точка параметрического множе- ства О„ в которой функция правдоподобия Е (х; 9) лрн заданном х достигает максимума. Таким образом, Е(х; 9)-- Е(х; 6), 76, или Е(х; 9) = ьцр Е,(х; 9). оме Еслн для каждого х из выборочного пространства Я максимум Е.(х; 9) достигается во внутренней точке О и Е.(х; 9) днфферен- цируема ло 8, то о. м.
п. 6 удовлетворяет уравнению — '' =0 В1п Е(кс 81 пли, ' =-О. Если 6 — векторный параметр. "0=(6„..., 8,), то это уравнение заменяется системой уравнений — '.~ ' 1=О, С88 Е = 1, ..., г. Последние уравнения называются уравнениями правдоподобия. Отметим следующие свойства оценок максимального правдо- подобияя.
1) Если суи(ествует эффективная оценка Т(Х) для скалярного параметра 6, то 8 =Т(Х). Это очевидное следствие критерия эффективности Рао — Крамера (см. теорему 2 4): В!оЕ(ьа 8) ! — = — 8 [Т (х) — 8). 2) Е ) Если имеется досп1атвчная статистика Т =Т(Х), а оценка максимального правдоподобия 9 существует и единственна, тоска является функцией от Т. Действительно, нз представления (2,36) следует, что в данном случае максимизация Е (х; 8) сводится к максимизации д(Т(х); 6) по 6.
Следовательно, 0 зависит от ста- тистических данных через Т(х), мо. Примерами оценок максимального правдоподобия 6 для р лелей со скалярным параметром являются приведенные в табл. 2.2 л гада соответствующие эффективные оценки. Так, для моделей о4" (9, оо), !(6,1),В 1 '(, 1, 1(, 8), П(8) оценка 8=Х. Рассмотрим еще несколько примеров нахождения оценок максимального правдоподобия. 3 зокоз м цво (2.46) Пример 2.17 (оби!ая нормальная модель, оценка максимального правдоподобия ег параметрог), Рассмотрим общую нормальную модель ьт (8„0;.). Как следует из примера 2.7, максимизация функции правдоподобия 1.
(х; О), 8=(8ь 8д), эквивалентна здесь минимизации по 0 функции где зд = — г' (х! — х)' — реализация выборочной дисперсии 5- и С.~ с=-! (см. 2 1.2). Как легко проверить, !па~а — 1, э!а~О. Отсюда, в частности, имеем неравенство 1пх((х' — 1)/2, вх- О; знак равенства достигается только при х=1. Учитывая это неравенство, получаем, что ф(х! 8)= О; знак равенства имеет место лишь в точке 0=(х, з). Таким образом, в данном случае оценка максимального правдоподобия существует, единственна и при этом 0 =(8„0) =(Х, 5).
Отметим, что полученная о. м. и. 0 — функция достаточной статистики Т = (Тд, Тд), рассмотренной в примере 2.7. Л(ожно проверить, что полученное решение совпадает с решением уравнений правдоподобия. Пример 2.!8 (многомерная нормальная модель, оценка максимального правдоподобия гг парамгпсрсв). Предположим, что наблю. дается многомерная (скажем, размерностия) случайная величинами, распределенная по иевырожденному нормальному закону ь,г (!д, Х), где вектоР сРедних значений 1д=(Р„..., Рд) и матРица втоРых моментов Х =[ос;1ьс(с)е1Е = 'Е, 'ФО) — неизвестные параметры. Общее число неизвестных параметров (с учетом симметричности матрицы Х) равно й+й(й+1)/2. Пусть Х=(Х„, ..., Х„) — выборка из распределения Ж(Ц, т.
е. Х,— независимые й-мерные случайные величины с плотностью 1(х; 8) =, — ехр1 — — (х — р)' Е-'(х — 1д)~, 0=(11, Х). 1 с 1 Г~12П)Ь ~ л ) 2 Найдем оценки параметров 0 такой модели по методу максимального правдоподобия. В данном случае функция правдоподобии 1. (х; 8) = Ц1 (хс! О) = с=! л 1 2 Лы (2п)-длсд1Х !-ссгд ехр — -- г' (хс — 1д) Х ' (хс — )д) . (2.4о) с=! Пусть х=(х,-1-...+х„)(с! (сложение векторов производится по- координатно); тогда ~' (х,— 1д)'Х-'(х! — 1д) = с=! сс (х, — х)' Х-'(х! — х) + п (х — р)' Х-'(х — 1д).
с=! Введем выбо очн ю Р у матрицу втоРых моментов, положив,поопре- 1 лс (х) = с! ~~~, (хд — х) (хс — х)' = )! о , [ь (, !) и вы орочныи второй момент от о„(х) вычисл ет о формуле сс ! хд О!7= — 2 (ха — дс)(хс7 — хс), 1, 1=1, ..., й (здесь х,=(хп, ..., хм), 1=1, ..., п, х=(2, ..., ), =- — (хи+...+х„,) . Воспользовавшись равенством у'Ву=(г(В т), т'=уу', и линейностью оператора 1г (взятия следа от матрицы), получим ;У', (х! — х)'Е-'(х,-х) =п1г(Х-'Е(х)). (2А7) с=! Учитывая равенства (2,4Б) — (2.47), формулу (2.40) можно переписать в виде Е(х. О) (2п)-дл/дехр~ "(х — )д)'Е д(х — )д)— — — 1г(Х 'Е(х)) — - 1п/ Е ф.
Отсюда следует, что максимизация по 0 функции Е(х; О) эквивалентна минимизация по 1д и Е функции др (х; 1д, Х) = (х — В)' Х-' (х — р) + [1г (Х-'Х (х)) — А — 1п / Х-'Х (х) Д (постоянные и н 1п| Х (х)! введены здесь для упрощения дальнейших преобразований). Обозначим через Лм ..., Ль корни характеристического уравнения ~ Е-"Х (х) — ЛЕд / = О или уравнения /Х(х) — ЛЕ!=-О. Тогда выражение в квадратных скобках равно Лд+...
+ ˄— й — 1п (Лд... Лд) и можно записать д)с(х; 1д, Х) =(х — 1д)' Х-д (х — 1д)-~- ~~~ (Л, — 1 — 1пЛ,). с=! Поскольку Х-' — положительно определенная матрица и а — !в — 1па=-О, а«О, из последнего соотношенияполучаем ф(х; )д, Х)'=- =.-О, причем равенство имеет место только при 1д=х, Лд=... ...=Лд=1, т. е. при 1д=х, Е=Е(х).
Таким образом, оценками максимального правдоподобия параметров !д и Х=|;.о!11 являются в данном случае соответственно статистики Х и Х(Х) =[оп(Х) 1. Пример 2.19 (равномерная-1 модель, оценка максимального правдоподобия гг парамгпсра). Если Х=(Хд, ..., Х„) — выборка 3* 87 из равномерного распределения )710, 9), то пз формулы для 7. (х; 6), полученной в примере 2.9, следует, что й(х; 9) монотонно убывает по О для 9зах,„п При О=хна функция правдоподобия достигаег максимума. Таким образом, о. и, п. 9 =Х<„,, т.
е. совпа- дает с достаточной статистикой. В этой точке функция правдо- подобия разрывна, поэтому производная Г (х; 9) в этой точке не существует. Таким образом, в данном случае о. м. п. не является решениелГ уравнения правдоподобия. Это характерно для ситуа- ций, когда выборочное пространство 2' зависит от неизвестного параметра. Пример 2.20 (равномерная модель (прадаллсение)).
Пусть Х = =(Х„..., Х„) — выборка из распределения )7(6, 9+1). Тогда из формулы (2.37) имеем 1. (х; 9) =е(6+1 — х)„))е(х,п — 6). Отсюда следует, что любое 6 ен [хГ„, — 1, х,п] максимязярует функ- цию правдоподоби я: такам образом, о. м. п. пе единственна. В качестве решения можно выбрать, например, 6==(Хпг РХм) — 1)Г2, в этом случае 6 — функция достаточной статистики Т=(Х1ц, Х,„,) (см.
пример 2.9). 2. Принцип инвариантнастн для о. м, и. Полезным свойством оценок максимального правдоподобия является их инвариантность относительно преобразований параметра. Это означает, чта если Ч =ЧГО) — произвольная функция от 6, взаимно однозначно ото- бражающая Гд в Гг, где Я=-]Ч=(Г)н ..., Ф)] — некоторое множе- ство в й', то о. м. п. Ч =-Ч(6). Действительно, поскольку и —, взаимно однозначное отображение, существует обратная функция 9=9(Ч).
Тогда ьвр Е(х; 6) =- зир й(х; 6(Ч)), 5кв чео и если максимум по 9 функции А(х; 6) достигается в точке 6, то максимум по, Ч функции Г. (х; 9(Ч)) имеет место в точке Ч, удовлетворяющей уравнению 9(ц)=1), т. е. в точке () = Ч(6). Согласно этому, в„каждой конкретной задаче можно выбирать в качестве исходной наиболее удобную параметризацию, а о. и. и. получать затем с помощью соответствукхцих преобразований. Проиллюст- рируем это на нескольких примерах. Пример 2.21 (сби!ая нормальнан модель, оценка максилшльного правдоподобия'ГГарамгтричгской функции).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
