4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 16
Текст из файла (страница 16)
Тогда: РО сь Р~ Р~, б) 71 — ~ -Р О, Е'(~„)-Р Ж ф =о Х(Ч ) — с- Ж (~); В) ж(Ч„)- ж(Ч), К„-"О=зсЧ„~„— О; г) 2'(Ч,) с (Ч), ь„~ ~=-~~пз1:=ь.с (Ч„+ь,) с (~+ ), к (Ч с ) 2 (сц). 2'(Ч !0 )- к(Ч/с) при сФО; д) Ч вЂ” ~„— О, 2'(,".„)-с--о (ь), функция ср непрерывна =-гчс(ч,) — ср(с ) — О.
проверка этих простых утверждений предо- ставляется читателю. 3'. Пусть Т„= Т„(Х), Х =(Л„..., Х„), — оценка скалярного параметра 6 в модели У =. «г (х; 9), 9 ен 4)[. такая, чпю .2'ех х[«п4҄— 9)) — ~.Р7 (О, ое(0)) при и — Рос и всех Ве-=сс. Пусть, далее, функция ср диффгренцируема и ср'ФО. Тогда Же[Усс (ср(Т„) — ср(9)))-РР~ (О, [ср'(В)]еое(9)). (2.53) Кроме того, если ср' непрерывна, то Хввги(ср(Т ) — р(0))7ср'(Т,)) Ф" (О, о'(0)), а если и о(6) непрерывна, то Хеl«си —,-" — ,г (О, П. р(т„> — р 00 ~' (г 1 о с7'„1 ) (2.55) Доказательство основано на разложении Тейлора ср (Т„) — ср (В) — — (҄— 6) (ср' (6) +:,„), ГДЕ ДЛЯ сгг)0 ~Ь„«<г ПРП «Т„— 9,'(6 = 6(В).
ОтСЮДа Ре(«Ь с Сг)=.ре( Т,— 9 -б). Но здесь правая ча:ть по условию стремится к 1 при п- со. Следовательно, с„— е О. Отек>да иа основании свойства 2е в) «' п(сР(Т„) — сР(9)) — «lл[(Тв — 9)сР'(6) =-)са(҄— 9) ~ — е, О. ХФЬ' я (ср (Т ) — ср (6)) о (Т,)) . Г (О, 1). (2,57) Сформулируем теперь основные асимптотическне свойства оценок максимальногоправдоподобия. Предположим,что модель г является регулярной в смь.еле $2.2, а функция правдоподобия Е„(х; 0) при всех и= 1 и х ~Х имеет лишь один локальный максимум по О, лежащий внутри Й, п притом достижимый (7.
е. о. и, п. О„ существует и совпадает с локальным максимумом). Тогда: !) О„является состоятельной оценкой параметра О (беэ доказательства); 2) если дополнительно функция 7'(х; 6) триждыдиффгргнцируема по 0 и при этом существует не зависящая от 0 функция Л4 (х) 73 Это в силу свойства 2' б) означает, что случайная величина )си(ср(Т„) — ср(9)) имеет такое же предельное распределение, как и величина «~ п(҄— Иср'(6), т. е.
нормальное распределение пл (О, [ср'(0)1'о'(91), что доказывает (2.53). Далее, если ср' непрерывна, то па основании свойства 1" ср'(Т„) — "ср'(9). Отсюда и из предыдущего в силу свойства 2" г) следуег (2.54). Рассуждая аналогично, можно убедиться в справедливссси формулы (2.55). Приведем без доказательства обобщение утверждени я 3' на случай векторного параметра О= (6„..., 6,). 4е. Пусть Т„=(Тл„, ..., Т ) — оценка параметра О, удовлетворяющая условию о (Рп( ҄— 0)) — Р (О, Е(0)) при и — с- со и всех 0 е=(4. Тсмда для любой дифференцируемой функции ср от г переменных Хв[«с И(сР(Т„) — сР(В)))-Рьл" (О, се(0)) (2,55) при условии, чтв о(6) ~0, где о'(О) = — Ь' (О) 2(О) Ь(0), Ь(0) = ~ ссср (е) Вср (6) ) — — Если, кролсе тога, функция ср непрерывно вес эег диффгренцируена и всв элементы матрицы вторых молсгнтов Х(0) непрерывны па О, сио (2.62) где л ~ е„! =' .0, — 9 ! ) (Е1(0*) ~С'2гй (9) ~ ЗС 16) ' —,—, г™ (ХС).
с=-с Поскольку 9,— -6, нз условия, наложенного на функцию М(к), РЕ Рв на основании свойства 26 в) следует, что е,— О. Применим к величине С Е, (0) 1 Ч) Е(Х", 6) л " л Л, явз с=! такая, что для всек Оеи ЕС ~ -'М (к), Е,М (Х ) (сю (1, 1, о=1, ..., г), то прсс п- со Х,($'сс((С„-СС)) . Е.(О, 1- (В)), (2.58) где ! (О) — информационная лсатрица, определенная в (2.32) и являсосцаяся (по условию) невьсрожденной.
Более того, если т(0) — непрерывно дифференцирйемая 4ункция от О и О„=т(0„) — ее оценка лсаксимального правдоподобия, то .2' ()'п(т„— т(0))-Р-ле (О, о',(О)), (2.59) где о,' (9) = Ь' (О) 1-' (О) Ь (В), Ь (О) = , , ..., †„ ) . Таким образом, для широкого класса моделей оценки максимального правдоподобия являются состоятельными и асимптотически нормальными. Для случая скалярного параметра соотношения (2.58) и (2.59) принимают соответственно вид Ж ()' и (вл — в)) — ь- Р е" (О, 1ЕЕ(В)) и (2.60) Ж, ()с'и (О. — с (6))) -Р- ~Ф" (О, (т' (9))РЕс (О)), (2.61) где 1(9) — функция информации, определенная в (2.18). Доказательство свойства асимптотической нормальности о.
и. п, (если ограничиться случаем скалярного параметра) основывается на разложении функции вклада (Е„(9) =(Е„(Х; 0) в ряд Тейлора относительно истинного значения параметра 9 и рассмотрении этого разложения в точке 6„. Имеем О =: (Е„ (9.) = (Е„ (В) + (В„ — 0) (Е'„ (О) + †,' (В„ — 0)* (Е." (В *), где В* — некоторая промежуточная точка между 0 и 6,.
Вто равенство можно записать в виде се„(6) 1 сс„' 161 )с сс(9,— О)= „" ) — — "+в 1 )сл с'(6) лс'(6) закон больших чисел, согласно которому [см. (2.19)1 — (Е„'(9) - — —,. Еь 1' ' ) =1. сюшЕ(х„в)1 лс (6) " с' (6) (, дьс К случайной величине л — (Е„(0) = —, ? — '— чч В Щ Е(Х", 6) )сл с 16) г~л с(6) !=с применима центральная предельная теорема, по которой в силу соотношений (2.16) и (2.18) при и- зз '~6(~.
1'л(6)с ~'~~ (О ). Отсюда и из соотношения (2.62) в силу свойства 26 г) следует, что такое же предельное распределение имеет и случайная вели- чина )/п(9,— О), т. е. справедливо соотношение (2.60). Утверждение (2.61) является прямым следствием (2.60) и утверждения 3'. Назовем асимптотической дисперсией статистики Т„удовлет- воряющей при сс-Р-со условшо Х,(Р п(҄— (О))) =Е (О, *(О)), величину о'(9)Еп. Тогда из соотношений (2.60) — (2.61) следует, что асимптотическая дисперсия о. м. п. 6„(о.
м. п. О„) совпадает с нижней границей в неравенстве Рао — Крамера (2.20) для дисперсий всех несмещениых оценок рассматриваемой параметри- ческой функции. Введем следующее понятие, являющееся в неко- тором смысле асимптотическим аналогом понятия эффективности (см. п. 2 В 2.2): если оценка Т„(для параметра 0) является асимптотя чески нормальной ьЕ (9, 1Еси' (6)), то эта оценка— асимптотически эффективная. Для любой оценки Т„удовлетворяющей условию .26(Т„)-Е (О, ог(0)Еп), (2.63) ее асимппютическая э4фективность еИ(Т,; 9) определяется как отношение нижней граинцы Рао — Крамера к асимптотической дисперсии оценки Т„: еИ(Т„; О) =1с(0) оу(9))-'.
(2.64) Из соотношений (2.60) и (2.64) следует третье свойство оценок максимального правдоподобия. 3) Оценка В„являепсся асимлтятически эф4ективной оиенкой параметра 6, т. е. ее асимптотикеская эффективность еИ(9„; 9)=1. Приведем пример, показывающий, что оценки максимального правдоподобия ие всегда аснмптотически нормальны. Пример 2.25 (раеномернал модель, распределение о. лс. л. ее паралсенсра). Пусть Х =»(Х„..., Х„) — выборка из равномерного распределения )т'(О, 6). Тогда, как показано в примере 2.19, 6„= Х,„,.
Но, как было показано в 3!.4, экстремальные значения выборки не являются аснмптотическн нормальнымн. В частности, в рассматриваемом случае по теореусе 1.8 прн гс-ьоэ ж,~," (6 — 6»)' Г(1, !), т. е. в пределе имеем экспоненциальное распределение.
Пригн;пз, по которой предельное распределение ие является нормальньсм, заключается в нерегулярности модели. Заме ч в н не 1. Из соотношения (2.61), вообще говоря, не следует, что «ватт-» [т'(6)[',ГС(6) Пра Л вЂ” » ел (НЗ СХОдНМОСти раСПрадЕЛЕНИй ЕщЕ НЕ СЛЕдуЕС сходнчость момен гав). Более того, можно привести примеры, когда у сгсгтн. стиви т„вообще не суясествугог конечные моменты ни при каком л, но утверждение (2.61] имеет ь есто. Рассмотрим, например, задачу ггцегсигсаггня параметрической функции т (О) = 118 я пуаесоновской модели П !О). Здесь теоретическое среднее р(0)=6, поэтому нз результата примера 2,24 следу:т, что о.
м. п. 0 совпадает с выборочным средяни Х. На основании принципа инварнэнтяости о. и. п. т»=$1Х н для нее справедливо утверждение об аспэгптотической нормальности, Соотношение (2.61) в данном случае приникает внд ЯВ С )' л , 'т» — — ~ -»ар (О, 6'з), сЕВ) 0 1И ~8 ~ )г л (0.) , ° ] вэ' (О 1). т» т (6) т' (8„1 * (2 65) Заме ч а н и е 3.
Определение асичптотическн зф]ективной оценки предполагает, что невозиожно построить оценку с меньшей асимптотической дисперсией. Как правило, это имеег место для регулярных моделей, удовлетворяющих указанным выше условиям асимптотической нормальности оценок максимального правдоподобия, хотя н существуют исключения, как это яично гщ примера 2.26. Для нерегулярных моделей (когда неприменимо неравенство Рао — Крамера) аснмптотвческая дисперсия о. м.
п. может иметь порядок, меньший л с. Так, из результатов примеров 2.15 и 2.19 следует, что дисперсия а. и, и. 6 в модели $$ (О, 6) имеет прн больших л порядок л-э Пример 2.26 (нормаль««яд моделсь сверхэффективная олей»а ее ларам три). Пусгь Х=(Хь ..., Х») — выборка из ат" (О 1). Тогда о. и, п. В„=Х н (см. табл. 2.1). В то же время .Йв(лХ)=П(л9$, откуда Рв (Х= О) =-е "в .-О. Вчедсвательно, с положительной вероятностью Х принимает нулевое значение и поэтому статистика т нн при каком л не имеет конечных моментои. 3 а ме ч а н не 2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
