Г.И. Ивченко, Ю.И. Медведев - Математическая статистика (1115270), страница 14
Текст из файла (страница 14)
Отсюда получаем, что оптимальная оценка т" для функции т(0) имеет вид г -г/ Ь; (Т) ~, а/Ь„(Т вЂ” 1) ть = ЩТ) = 0 .ри Т=п'+' 43) (2.43 прн Т(п1 +» В частности, если т(0) =0' при некотором »~1, то Ь„(Т вЂ” г)/Ь„(Т) при Т ~ п1 +», (2.44) О при Т(п1+г. Таким образом, для важного класса дискретных распределений типа (2А1) можно строить оптимальные оценки для произвольных параметрических функций, представимых в виде степенибго ряда от 0. Пример 2.13 (пуассоноьская модель, оценивание параметрических функций). Пусть Х =(Х„..., Х„) — выборка из распределения Ж($) ев П(0).,Требуется оценить вероятности появления отдель- иых значений $, т. е.
фУнкцни Яь(9) =е-збьуй1, Й=0„1,.... Здесь го пь(8) = —, »' ( — 1)/-" —., т. е. л! л,л 1/ — Ф)/ ' //л (†/У ' а/= —...,, /=й, 8+1, .... Далее, г" (9) =е, позтому Ь,(/) =-и//11, 1=0, 1, 2, ... Под ав эти значения в формулу (2.43), находим, что оптимальная оценка яь имеет вид т Отсюда следует, что при заданном значении Т отличными от нуля являются значения оценок пь только для Ь=О, 1, ..., Т. По теореме 2.3, оптимальной оценкой некоторой суммы вероятностей пь(0) является сумма соответствующих оценок пь. В частности, статистика г Х .- —.) ! ~г-ь Сг- '1 — — ) при Т~г ь=г О при Т(г оптимальнаЯ оценка длЯ с(0)=Ргали~») — ~' п„(0) *=г Пример 2.14 (отрицательная биномиальная модель, оцениваем параметра). По выборке Х = (Хь ..., Х,) требуется оценить параметр 9 модели 1/1(г, 8).
Здесь )" (0) = (1-0)- = „'У', С'.,+,,8, г а 'г() С"' '-г — /г . =О (г 2 ° °, пОэтОму по формуле (2 44) имеем, что оптимальной оценкой т(8) =0 является статистика Т/(Т+пг — 1) прн Т= 1, 0 при Т=О. Пример 2.1$ (равномерная-1 модель, оцениванав параметра). По выборке Х=(Х„..., Х„) требуется оценить параметр 9 равномерного распределения Я (О, 0). В примере 2.3 было показано, что Т= Хоп — достаточная статистика для 9. Убедимся в ее полноте. По формуле (1.21) плотность распределения величины Т равна у (1; 0) = /.-'/0 , О . 1 9. Пусть теперь для функции ~р (1), 1=кО, выполняется условие о Еокг(Т) =-- ~ Ч8(1)(к 'В=О, 18)0.
о о Дц1)х)хренцируя по 6 тождество ~ сГ(1) 1"-'01= — О, получаем <Г(6)8"'= — О, о т. е. ц (6) =О, 88) О. Тем самым доказано, что статистика Т вЂ” полная. Далее имеем 8 ЕоТ = - [ (к дЕ =- —" 6. 8 ол 6 п-)-! пц-1 По теореме 2.9 отсюда следует, что — Т = — 'Х,„1 — оптималь- ная оценка 9. Нетрудно показать, что Пример 2.16 (достаточная статистика, не являющаяся полной).
Пусть произведено одно наблюдение Х над дискретной случайной величиной с распределением (О 1) [ 9" (1 — 8)о при х=0, 1, 2, ..., Тогда Х вЂ” достаточная, но не полная статистика. Действительно, пусть гг(х) — заданная иа множестве ( — 1, О, 1, 2, ...) функция, удовлетворяющая условию Еоц (Х) = О, Ч0 ~ (О, 1). Это условие можно записать в виде ф ( — 1) —, + э ц (х) 8к = — 0 к =о или (см. пример 2.14) «о (0) + г,' [ср (х) — -хгр ( — 1)18к= О. к= ! Этому условию удовлетворяет любая функция, для которой гр (0) =О, <р(х) = — х~р ( — 1), х= 1, 2, ..., т.
е. значение ~р( — 1) можно задать п оизвольно. Следовательно, в данном случае критерий полноты не выполняется, поэтому нельзя ожидать, что уравнение несме- щенности будет иметь однозначное решение. Рассмотрим, напри- мер, задачу оценивания параметрической функции т(8) =(1 — 6)'. В этом случае непосредственно можно проверить, что любая ста- тистика Т=Н(Х), где функция Н имеет внд Н(х) =~ а произвольно, является ие- 1 пи х=О, [ах при х= — 1, 1,2,..., смещенной оценкой т(9).
$2.4. Оценки максимального правдоподобия 1. Определение и примеры оценок максимального правдоподобия. Одним из наиболее уни- версальных методов оценивании параметров распределений является метод максимальлюго правдоподобия. Оценку параметра 6, полу- чаемую с помощью этого метода, будем обозначать 8 = 6(Х), а оценку параметрической функции т (9) — записывать в виде т=2 (Х).
Пусть, как обычно, задана выборка Х =(Х,, ...„Х,) нз рас- ЛРЕДЕЛЕННЯ Я(Е)8=У=(Е(г1 8), 98НО) и Е(х; 6) — функция правдоподобия дпя реализации х=(х„..., х„) выборки Х, По определеншо, оценкой максамальнсгс правдолодккбия (о. м. и.) 6 параметра 8(точнее, значением о,м.
п. при заданной реализации х выборки Х) называется такая точка параметрического множе- ства О„ в которой функция правдоподобия Е (х; 9) лрн заданном х достигает максимума. Таким образом, Е(х; 9)-- Е(х; 6), 76, или Е(х; 9) = ьцр Е,(х; 9). оме Еслн для каждого х из выборочного пространства Я максимум Е.(х; 9) достигается во внутренней точке О и Е.(х; 9) днфферен- цируема ло 8, то о. м. п.
6 удовлетворяет уравнению — '' =0 В1п Е(кс 81 пли, ' =-О. Если 6 — векторный параметр. "0=(6„..., 8,), то это уравнение заменяется системой уравнений — '.~ ' 1=О, С88 Е = 1, ..., г. Последние уравнения называются уравнениями правдоподобия. Отметим следующие свойства оценок максимального правдо- подобияя. 1) Если суи(ествует эффективная оценка Т(Х) для скалярного параметра 6, то 8 =Т(Х). Это очевидное следствие критерия эффективности Рао — Крамера (см.
теорему 2 4): В!оЕ(ьа 8) ! — = — 8 [Т (х) — 8). 2) Е ) Если имеется досп1атвчная статистика Т =Т(Х), а оценка максимального правдоподобия 9 существует и единственна, тоска является функцией от Т. Действительно, нз представления (2,36) следует, что в данном случае максимизация Е (х; 8) сводится к максимизации д(Т(х); 6) по 6. Следовательно, 0 зависит от ста- тистических данных через Т(х), мо.
Примерами оценок максимального правдоподобия 6 для р лелей со скалярным параметром являются приведенные в табл. 2.2 л гада соответствующие эффективные оценки. Так, для моделей о4" (9, оо), !(6,1),В 1 '(, 1, 1(, 8), П(8) оценка 8=Х. Рассмотрим еще несколько примеров нахождения оценок максимального правдоподобия. 3 зокоз м цво (2.46) Пример 2.17 (оби!ая нормальная модель, оценка максимального правдоподобия ег параметрог), Рассмотрим общую нормальную модель ьт (8„0;.). Как следует из примера 2.7, максимизация функции правдоподобия 1.
(х; О), 8=(8ь 8д), эквивалентна здесь минимизации по 0 функции где зд = — г' (х! — х)' — реализация выборочной дисперсии 5- и С.~ с=-! (см. 2 1.2). Как легко проверить, !па~а — 1, э!а~О. Отсюда, в частности, имеем неравенство 1пх((х' — 1)/2, вх- О; знак равенства достигается только при х=1. Учитывая это неравенство, получаем, что ф(х! 8)= О; знак равенства имеет место лишь в точке 0=(х, з). Таким образом, в данном случае оценка максимального правдоподобия существует, единственна и при этом 0 =(8„0) =(Х, 5).
Отметим, что полученная о. м. и. 0 — функция достаточной статистики Т = (Тд, Тд), рассмотренной в примере 2.7. Л(ожно проверить, что полученное решение совпадает с решением уравнений правдоподобия. Пример 2.!8 (многомерная нормальная модель, оценка максимального правдоподобия гг парамгпсрсв). Предположим, что наблю. дается многомерная (скажем, размерностия) случайная величинами, распределенная по иевырожденному нормальному закону ь,г (!д, Х), где вектоР сРедних значений 1д=(Р„..., Рд) и матРица втоРых моментов Х =[ос;1ьс(с)е1Е = 'Е, 'ФО) — неизвестные параметры. Общее число неизвестных параметров (с учетом симметричности матрицы Х) равно й+й(й+1)/2. Пусть Х=(Х„, ..., Х„) — выборка из распределения Ж(Ц, т. е.
Х,— независимые й-мерные случайные величины с плотностью 1(х; 8) =, — ехр1 — — (х — р)' Е-'(х — 1д)~, 0=(11, Х). 1 с 1 Г~12П)Ь ~ л ) 2 Найдем оценки параметров 0 такой модели по методу максимального правдоподобия. В данном случае функция правдоподобии 1.
(х; 8) = Ц1 (хс! О) = с=! л 1 2 Лы (2п)-длсд1Х !-ссгд ехр — -- г' (хс — 1д) Х ' (хс — )д) . (2.4о) с=! Пусть х=(х,-1-...+х„)(с! (сложение векторов производится по- координатно); тогда ~' (х,— 1д)'Х-'(х! — 1д) = с=! сс (х, — х)' Х-'(х! — х) + п (х — р)' Х-'(х — 1д). с=! Введем выбо очн ю Р у матрицу втоРых моментов, положив,поопре- 1 лс (х) = с! ~~~, (хд — х) (хс — х)' = )! о , [ь (, !) и вы орочныи второй момент от о„(х) вычисл ет о формуле сс ! хд О!7= — 2 (ха — дс)(хс7 — хс), 1, 1=1, ..., й (здесь х,=(хп, ..., хм), 1=1, ..., п, х=(2, ..., ), =- — (хи+...+х„,) . Воспользовавшись равенством у'Ву=(г(В т), т'=уу', и линейностью оператора 1г (взятия следа от матрицы), получим ;У', (х! — х)'Е-'(х,-х) =п1г(Х-'Е(х)). (2А7) с=! Учитывая равенства (2,4Б) — (2.47), формулу (2.40) можно переписать в виде Е(х.
О) (2п)-дл/дехр~ "(х — )д)'Е д(х — )д)— — — 1г(Х 'Е(х)) — - 1п/ Е ф. Отсюда следует, что максимизация по 0 функции Е(х; О) эквивалентна минимизация по 1д и Е функции др (х; 1д, Х) = (х — В)' Х-' (х — р) + [1г (Х-'Х (х)) — А — 1п / Х-'Х (х) Д (постоянные и н 1п| Х (х)! введены здесь для упрощения дальнейших преобразований). Обозначим через Лм ..., Ль корни характеристического уравнения ~ Е-"Х (х) — ЛЕд / = О или уравнения /Х(х) — ЛЕ!=-О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
