М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 43
Текст из файла (страница 43)
(В) Операция дифференцирования по О перестановочна с ингегрцрованием по х в интегралах — ~ /(х,; 0)дх,, — ~ /(хг; 0)дх,; а с а г (С) д/(х~., О)/д0=0 при х: /(х~, 0) О. В этих предположениях (см. $19, 20) Мв д! (Х,; О)/дО = О, /х, (0) =Мв(д/(Х~'* О)/дО)в= — Мв(дв((Х ' 0)/дОв). (33) где 1(хб 0) =1п/(х~, 8). Используя соотношения л д1'"'(х„; О)/дО =~ д!(х;; 0)/дО, д 1вч (х„; 0)/дО = ~ д 1(,,; О)/дйв, с-ю представим (32) в виде 1 (/х, (Ов)л) (Овч(Х„; 0) — Ов) = = Д~ ~( " '1' ) ~ — ~~~~ ~1 " Ов)' ), (34) где сл.в.
Хь 1=1, ..., л, имеют распределение Рв,. Применяя центральную предельную теорему для одинаково распределенных слагаемых, получим с учетом (33), что первый сомножитель в правой части (34) имеет в пределе при л-в-ав распределение й/(О, 1). Ко второму сомножителю в (34) применим закон больших чисел (см. теорему Хннчнна, п. !) и с учетом (33), получаем,что он сходится по вероятности к единице. Таким образом, статистика 0'"'(х„; Ов) по мере Рв, асимптотически нормальна й/(Ов, (/х, (Ов) Х хл) '). Итак, построена последовательность статистик 8м'(х„; 0), л= =1, 2, ..., зависящая от параметра Оен8. При каждом фиксированном 8 статистика 0'"'(х„; О) асимптотически нормальна й/(О, (/х, (0) л) ) по мере Рв Однако рассматриваемая по мере Рв.чьРв статистика евч(х„; 0) уже не обладает хорошими качествами как оценка 0'. Таким образом, никакая из совокупно- 245 Мы докажем (35) прн одном дополнительном условии регулярностн: ((.)) существует третья производная по 0 плотности )(х; О), )аЧ(»(; В))69 !<П(х,), М.й(Х,) <-, В =Е, где )((х!) — некоторая независящая от 9 функция.
Йля доказательства соотношение (35) запишем для левой ча. сгн уравнения правдоподобия (30) разложение по формуле ТеПлора до квадратичного члена: (») , («) (л) а( („;В!) +аЧ („;Е,) (6 6)+ ) аЧ (з.) ВВ(6 ав дв! 2 дВ) где 0)=8)(х„; 6) лежит между 8» н О. Решенне 6(")(х„) уравнения (38) с учетом (36) н (32) представнм в виде (я) 1 («) ' — ! -(.) х а(' (.„; е,) 'а*( (х„; е,) 6(».)-в, ач( !н в,)' де да! 2 де! («) ч -! (6(»)(„. 6) 0)() ! (Г ( дЧ (х„; О!) В(»„)-В» е ! (и) т — ! (хы В!) и дВ) (37) Выше было установлено, что и ' дч'") (Х„; 9 )/д⻠— -» — )н, (9 ), л-«.
оо. ~Э (38) Далее, в силу условия (0) ( ач (х.;в) ( (а((н() е,)~ — ~< — ~)'„л < « л дв» л дУ ! ! 246 стн статистик 9(")(х„; 6), веп6, не пригодна как оценка параметра О. Вспомним теперь, что при каждом венб статистика 9(")(х„; О) по построению «близка» в областн Вез",з~ к оценке уравнення максимума правдоподобпя 6("'(х„). Можно сказать, что статистика О(") (х„) приближает всю совокупность статистик 6(")(х„; 9), вапВ, причем каждую отдельную статистику 8(" (х„; 6) — в области переменного х„, нмеющую Р,.меру, близкую к единице. Точный смысл утверждения состоит в следующем: при каждом фиксированном 8«епэ имеет место сходнмость по вероятности (Вм'(Х„) -6,ИВ(")(Х„: 9,) — 9,) , ) , (36) » < ) 0 (х„) — Оь ) — ~) ~ Ь (лд. ю-и (4!) Поскольку » вЂ” ~~)~Ь(Х,) ь-«сапа(.
0~"~(Х») — Оь — -«О, л-«оо, С-1 то, применяя к правой части (4)) лемму 2, заключаем, что л 1д»1ы1(Х„; Оьч(Х»))(дбь — и ~ дЧы~(Х„; О )1дбь — «О, и-«оо. Отсюда и из (38) выводим, что л ' дЧ'"'(Х„; 0'»'(Х„))1дО' — т-«1х, (О).
(42) Соотношение (42) показывает, что при достаточно больших л на множестве Р,-вероятности, сколь угодно близкой к единице, справедливо неравенство дЧ»~(х„; Ооо(х„))1дйт(0, т. е. состоятельный корень 0(х„) уравнения правдоподобия на самом деле является локальным максимумом функции 1~»~(х„; 0). Более того, если 0~и~ (х»), О)"' (х») — два состоятельных корня уравнения правдоподобия, то либо функция 1<»>(х„; О) постоянна на отрезке с концами 0~1 '(х»), От»' (х). либо между ними найдет- 247 д Ь (Х~) — «сопз(, и ~ оо. ( с-~ » еа» (39) ! ! Из (37), (38), (39) н состоятельности оценки 0(х„) вытекает (35).
Принимая во внимание лемму 2, получаем следующий результат. Т е о р е м а 3. Предположим, что информация ло Фишеру 1х (О), Оен9, положительна и выполнены условия (А), (В), (С), (Р). Тоеда любая состоятельная оценка уравнений максимума правдоподобия асимптотически нормальна )Ч(0, (1х, (О) и) '). В условиях теоремы запишем по формуле Тейлора (»! (»] (»1 д»1 (х» О) дц (х» Оо) (О О д»( (х» 01) (40) дв» дв' ь д(Я Подставляя в (40) состоятельный корень О Оои(х„) уравнения правдоподобия (30) и используя (Р), получаем ! ( дчы'(х„; Оы'(»»О ( д'((.„; аь) ~ Л д6» » да» ся точка ез(">(х„), являющаяся локальным минимумом функпин рл>(х„; О). В последнем случае, очевидно, дЧ~> (Х„; Оз("> (хл))/дет ) О.
Так как корень уравнения правдоподобна ез (х„) заключен ьеж(л> ду состоятельными корняин О<>"'(хл) и ег(">(х), то он также является состоятельным, и нз (42) н (43) вытекает, что вц("> (х„; 0("> (х.)) Но это противоречит предположенню /я, (О) ) О, 0 ен 6. Итак, получен следующий результат.
Теорема 4. Предположим, что выполнены условия теорел<ы 3 и производная д/(х; О)/де не обращается в нуль тоидественно ни на каком интервале значений еен8. Тогда с Р;вероятностью, стремящейся к единице при п- со, и любом еенб функция правдоподобия имеет единственный внутренний локальный максил<ум О<">(х„), который представляет собой асимптотически корма.гьиую У (О, (/к, (О) и) >) оценку параметра 8. Следствне 1. Если функцня правдоподобия 1(л>(х„; О) достигает максимума во внутренней точке, то теорема 4 применима к оценке максимума правдоподобия. Следствие 2. Пусть (р(0) — днфференцнруемая параметрическая функция и <р'(0)ФО.
В условнях теоремы 3, воспользовавшись леммой 3, выводим, что <р(0<">(х„)) аснмптотическн нормальна У(<р(0), ц>'(О)'(/», (0)п) '). Если <р(0) — обратимая на 9 функция, то, выбирая в качестве нового параметра <р <р(0), получаем для функции правдоподобия в новой параметрнзацнн 7(">(х„; р(Е)) =1(">(х„; 0), д/ы'(х„; 0)/де = (д7'"> (х„; <р (0))/д>р) (д<р (О)/де), н, следовательно, оценка <р(">(хл) уравнения правдоподобия д)<л>(х„; <р)/д<р=О совпадает с оценкой <р(0(л>(х„)), что дает независимый вывод асимптотической нормальности последней оценки. В случае, когда О<">(хл) является оценкой максимума правдоподобия, заключаем в условиях теоремы 4, что оценка максимума правдоподобна <р(0<л>(х„) ) аснмптотнческн нормальна А/ (ф (О), <р' (0)т (/», (О) и) ').
7. Аснмптотическая эффективность оценок максимума правдоподобна. Для выборки конечного объема оценка параметрической функции <р(0), дисперсия которой совпадает с нижней границей неравенства Фреше — Рао — Крамера, называется эффективной. 248 В $ 19 было установлено, что эффективные оценки существуют только в зкспоненцнальных моделях н при этом только для параметрических функций вида ф(8)=шрз(8)+(1, где ~рэ(0) определяется по модели однозначно, а, 11 — произвольные постоянные. Роль дисперсии как меры разброса оценки вокруг среднего на самом деле не очень велика, если оценка хотя бы приближенно не является нормально распределенной с параметрами, равными ее среднему и дисперсии.
Действительно, информация о разбросе распределеиня оценки, которую дает дисперсия, полностью описывается неравенством Чебышева, а это довольно грубое приближение по сравнению с нормальным приближением, если последнее имеет место. Переходя к выборкам большого объема, из теорем 3, 4 и следствия 2 мы имеем, что асимптотнческая дисперсия оцейкн максимума правдоподобия (илн оценки уравнений максимума правдоподобия) параметра 0 н любой дифферепцнруемой параметрической функции ф(0), ~р'(8)~0 эквивалентна нижней границе неравенства Фреше — Рао — Крамера прн и-~со.
По этой причине такие оценки называют асимлготичегки эффективными. Хотя дисперсия оценок максимума правдоподобия еоо(х„) может и не существовать илн быть больше, чем (/х, (0)п) ', указанное обстоятельство практически не играет никакой роли для аснмпто. тической задачи оценпвання: оценка еоо(х„) при больших а приближенно нормальна со средним 0 н дисперсией (/х, (О) л), так что именно аснмптотнческая дисперсия оценки еоо(х„) определяет ее разброс (нли концентрацию) вокруг оцениваемого параметра О.
0. Асимптотическая достаточность. В условиях регулярности (А) — (0) запишем разложение логарифмической функции правдоподобия по формуле Тейлора: ач 1'"(х,; 0) = 1'"'(х„; О„) + " '""' " (0-8,)- аа [Щ + 1 д'~ 1"'е~» 0 о)з+ 1 ди (х'01(0 о)з (44) 2 д01 3! двэ где !Ви — Во!» ~0 — Ео!. Подставляя в (44) ез=еоо(х„) — состоятельный корень уравнения правдоподобия д(оо(х„; 0~">(х„))/до О н проводя элементарные преобразования, получаем )аа(х„; 0) =(ач(»„; Еач(х„))— — — 'Кх, (0) (~п (0 — Оич(х„)))'+ ю(х„; 0), (40) 249 где (л) (л) л ( „; в) — '( — ' "' '""' ' '"""- - 7,,(в))(У (в — ом'(хл)))'-, .9 ' "' '""' " (в-вм'(х„))(У (в-ом'(х„)) -'.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
