М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 34
Текст из файла (страница 34)
е. с Рв-вероятностью единица 9(Х) — Маь(Х) — и(Х; 9) 1- (0) Ь (9) =О, (26) откуда н следует (23). ° Следствие 1. Пусть неравенство (22) обращается в равенство, Ь(9) обратима, Ь-'(9), l„'(9), ф(9) непрерывны по О. Тогда найдутся такие функцнн Н~(9),...,Н,(О), В(9), К(х), что l Гх(х; 0) =ехр1~~' Н; (6) В> (х) л. В(0) + К(х)1.
(26) т. е. статистическая модель является экспоненцнальной. Действительно, нз (23) получаем, что вектор градиента по 9 йгаде 1и)'(х; 0) =- $(х) А — '(О) — ~р (9)Л-'(01 непрерывно зависит от О и, следовательно, функция !п1(х; 9)— днфференцнруемая функция переменных 0=(Оь...,О ) в областн 8. В курсах математического анализа доказывается, что в этом случае в )пах; 9) — 1п)(х; 9„)-.—.! (9()А- (91 — р(9)А- (0)) (1. Ц где криволинейный интеграл берется вдоль любого гладкого пути, лежащего в областн 6 п соединяющего точкн Оа п О. й— векторный элемент пути, штрих обозначает транспоннрованне.
Производя интегрирование, получаем представление (26). Следствне 2. Если Մ— повторная независимая случайная выборка, то 1п1х„(х„; 9)= ~ 1п~хг (х,; 9), г ~ () (х„; 6) == нгабв!п~„~(х„; 0) =- л и ='~ йгаб01п~х,(х,; 0) = 5 1)(т,;9), Ух (0) = Йшх;в> = ~~ Ншх„м = п1х (9) ° 192 я неравенство (22) приобретает ввд )7„„,(6» ' й(6) 7х-,'(6) Д(6) . (27) Рассмотрим пример, (1П) Для повторной независимой выборка нз распределения )У(р, оз) положим О~=р, От=от. Тогда и ~х (х; 6) = () '2эъ 6,)~ ехр ~ — — ' ~~) (хг — 0,)') . ! ! Меры Рв имеют общий носитель — все пространство й", н вы- полняются требования днфференцнруемостн интегралов теоре- мы 2.
Находнм а, а — 1п 7~, (х,; 9) = — ~ — !и ~ 2л — — !и О, — — (х, — О,)') =- да~ Оер 2 20, =- (х, — 6,) Оз ', д ! (х,— В)а — 1п(х,(х,; 6)= — — + азз 24 хне откуда для вектора 0(хь 9) н симметричной матрицы (1'(х~, 6) Х Х(7(х~, 6) получаем выражения и(х,; 6)=ц.,— 9,)0, (.,— 6,)~О.;е — О ), О)(> (х 6 Оа (х, — 9,) Од (х, — 0,)' — (х, — 9 )О. Од ((хт — 6>)'- 9. ' — 1)' Таким образом ГО.' '1 7„,(6)=ма (Х,, 6)()(Х,; 6) —..„' 1.
0 20з' ~ где мы использовали следующие соотношения для стандартной нормальной сл. в. У~ *(Х~ — О,)/Оз-'~ (см. п. 3 $7): МУ'=О, МУ~'-— 3. Поскольку О(6)=МОО(Х)= (6„6,1, Л(6) =~ (1 01 ~О 13' то неравенство (27) для любой несмещенной оценки $(х), удовлетворяющей требованням теоремы 2, принимает внд 1 Г оз,'и О )7м, (6» — 7х, (6) = ~~ л ' 1 0 2о~/ ~~ 193 В частности, 05< (Х) ~ ~оз/и, 05т (Х) )~2о~/п. Наилучшие иесмещенные оценки л 5х (х„) =- — - Т (х< — х)"-, л — <С< < — 1 чч 5 (х,) =-х-. — ъ х<, «4< « очевидно, удовлетворяют требованиям регулярности теоремы 2, а нх мьгр<ша ковариаций равна Г о'/и /1ню(8) = ~~ о 0 2оЧ(п — 1) (29) а где мы использовали, что Х и Л = ~" (Х, — Х)' независимы, « о' '2 имеет распределение « и т.
е. о., '2 распределена как сумма и — 1 ивадратов независимых У(0, 1) сл. в. Сравнивая (28) н (29), мы видим, что по 8д нижняя граница ие достигается, но прн больших и разинца пренебрежимо мала. 3. Границы дисперсии прн нарушении условий регулярности !94 Как видно из неравенства Фреше — Рао — Крамера, в регулярном случае дисперсия иесмещеиных оценок в повторной выборке имеет с ростом п порядок не выше и '.
Если дисперсия оценки Т(Х ) имеет порядок 1/и, то нз неравенства Чебышева вытекает, что отклонение оценки от ее математического ожидания имеет порядок 1/~'и. В то же время были примеры, в которых порядок убывания дисперсии равнялся 1/и'. Так было для выборки из равномерного на (О, 8) распределения и статистики х<„ь а также для распределения с экспоиенцнальиой плотностью о'ехр ((х — !с)/о) и статистики х«ь В обоих случаях оценивается точка разрыва плотности /(х; 8! распределения отдельного наблюдения, или, другими словами.
точка излома функции распределения. Можно показать, что, вообще говоря, точка х~, в которой ф.р. <'(х; 8) ие имеет производной, может быть оценена по результатам повторной выборки с точностью, превышающей !/!<и; здесь мы ограничимся прнл<ером. (!Ъ'! Пусть одномерное рас, ределенне повторной выборки сосредоточено иа интервале (О, а(8)), а ф. р. Е(х; 8) вблизи точки х-а(8) ведет себя следующим образом: 1 — Р(а(8) — б, 9) -сб", 8-<.0, а>0, с>0. В таком случае прп п-~.оо 9<,(п<~'(а(8) — Х<,<)>!) =У,(Х<„<(а(8) — гп-ы') =Г(и(0)- (н "")' —. (! — ((-Г(о(0) — (и ьн)И'— — (! — с! и-1) ' ехр( — с(ч). (30) (3!) (5(х)), (х; О+ЛО) ( = р(6+58), ) (Я(х) — ф(6)) /х(х; О) г(х =0; ) (5 (х) — р (О)) Р„(х; О+ 56) Дх = р (О+ ЛО) — р (6), или (32) где г(х=дх1....Фх„а интегралы понимаются как а-мерные.
Вы- читая выражения (32) одно из другого, получаем 1 (Я (х) — ~р (6)) Ае~х (х; 0) Их — Йр (8), (33) где Ье1х(х; 6) =)~(х; 6+ ЛО) — гх(х; 6), Ьр(8) =~р(8+АБО) — ~р(8). Допустим, что для данного ЛО (х:Рх(х; 6+56) >0)С:(х:Ух(х; О) ) О). (34) Тогда, ограничивая область интегрирования в (33) правым мно- жеством (34), перепишем (ЗЗ) в виде (5(х) — ср(8)! /х(х; 8)их=5%'(8). (35) а,(х(ж е! !х (х; Е! Применяя к (35) неравенство Коши — Шварца — Буняковского, получаем (8), ~()() ~ (ае(х(ж еН' (х (36) 7х(гч е! где интеграл в (36) берется по носителю меры Р,. В случае по- вторной выборки и при соблюдении условия (34) имеем Ье!„(х; Е! г-т /х,(гл О+До! — 1, !„(х; в) !» (ал е! 1 1 / !95 Таким образом, отклонение Х, 1 от а(6) имеет порядок л-ц', так что при а<2 статистика х~„> является лучшей оценкой а(6), чем это можно было бы ожидать в регулярном случае.
° Неравенство Фреше — Рао — Крамера можно модифицировать так, что оио даст нижнюю границу для дисперсии оценок и при нарушении условий рег,лярности. Запишем в случае скалярного параметра О условие несмещенности оценки 8(х) в точках О и О+ ЛО: ! 5(х)гх (х; 0)дх ~р(6); и ннтеграл в правой части (36) можно записать в виде ~ь~,(х; в>) ( ( р ~х,; е~-ьо> ) у )х (хп 0+ ао) — 2Мо, + 1. П"' ",. )х,(Х,; 0) (37) Учитывая независимость сл.
в. Хь...,Х„, а также, что где также было использовано равенство, аналогичное (37), но для а=1. Таким образом, для повторной незавнснмой выборки неравенство (38) приобретает вид шоу <оооо((м,('""'""" )'.; 1)" — и'; ~зо ах — 2~~(х: 8 — 06)с(х+~~(х; 8)с(х. (40) /(оо О) о о о Два последних слагаемых в правой части (40) дают в сумме — 1, н выражение (40) приводится к виду м1-ы — 1+ ~ (а(8 — 86)-о(8 — 86 — х)" ')оа-ойо(8 — х) *+Чх о (Ч) Рассмотрим частный случай примера (1У), полагая, что плотность одномерного распределения повторной выборки равна 1(х; 8) =ай-'(Π— х)'-', 0<х<8, 1/2<а<1, н равна нулю прн остальных значениях х.
Найдем аснмптотнку прн ЬО-~0 математического ожидания, входящего в правую часть (39), полагая ЛО= — 86, 6)0, что обеспечннает выполнение одномерного варианта условия (34). Проводя элементарные преобразования, получаем е о х — ~~ ' ' х= (Ьо! (оч 0))о 1 ~ (1(х; 0 — 06) — ) (к; 0))о 1(х; О) ) 1(оо 0) о о — 1+ ~ а(1 — 6)-1 (1 — х)"-' (1+ бх(1 — х) — ~)'- Их.
(4Ц о Мы покажем, что при 6-~0 выражение (41) эквивалентно сб', где с — некоторая постоянная. Имея в виду эту аснмптотику, отбросим в интеграле (41) мномснтель !: — 6) ' и, положив у=1 — х, запишем остающееся выражение в акте 1 Ю ауо-'((1+бу-' — 6)' * — ЦНу=6"и (а+6) — "-'((1+г)' — ЦИг, где сделана замена переменного г 6Г' — 6, что н доказывает наше утверждение, причем с = а ~ а — а-' ((1+ х) '-" — Ц с(г. о Возьмем б'=(Ьл)-', где Ь вЂ” произвольная постоянная. Тогда из (39) находим ( 42) 143) — бо~р' (О)'(Ьп) — "" ((с (Ьл)-'+ Ц" — Ц вЂ” '— бо(р' (0)оь-азх (ссь — 1)-1п-2 о. Значение Ь можно выбрать так, чтобы максимизировать множитель прн и-' в (43).
Если 6" взять порядка и-' " плн и-', е)0, то легко обнаружить, что правая часть (42) будет иметь порядок о(1)п-", где о(Ц О, и-о-оо. Следовательно, граница (43) является наилучшей возможной (по порядку), которую может дать неравенство (39). Заметим, что оценка параметра 0 с помощью порядковой статистики х<„ь предложенная в примере (17), как раз дает оптимальный порядок отклонения (см. (30) ). глАБА !тг ПРАВДОПОДОБИЕ $20. метОд мАксимумА пРАБ1!ОИО!!Опия 1. Функция правдоподобия.
Положим Е(х; 6)=((х; 6) или Р (х), хаем О витт, соответственно для непрерывной или дискретной статистической модели (Х, Ф. (Р„, ОенВ)). В $15, 16, рассматривая 1.(х, 6) при каждом фиксированном 6 как статистику, мы видели, что совокупность статистик (Е(х, 6), ОыВ) порождает достаточное разбиение ®'. Это означает, что любые два наблюдения хо> и х<п, для которых (. (х< ~; 6) =.(.(хы>; 6), О~ В, несут равнозначную информацию о неизвестном параметре 6, Если какая-",о с~атпс1«н окая процедура дас; разлпчиыс ~,.ч гы для х('>, х~", удовлетворяющих (1), то следует признать, что ири этом используется информация, не имеющая отношения к задаче различения распределений Рв, ОеиВ.
Хотя некоторые вопросы тео* рии приобретают более естественную матемитчческую форму, если допустить и такое процедуры,темпе менее основное теоретическое и прикладное значение имеют процедуры, которые для любых х(п и х'г с совпадающими фупкцпямп 1.(х"ц 6) и 1.(х'>; О), 0-9, приводят к одним н тем ясе статистическим выводам. Функция (.(х; 6), О~В, (1)' у которой 6 рассматривается как основное переменное, а х — как параметр, называется функцией правдоподобия.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
