4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 15
Текст из файла (страница 15)
Пусть в условиях при- мера 2.17 требуется оценить параметрическую функцию т(9) = =01[ " '), представляющую собой вероятность Рьф=х,). 6. В этом случае можно положить, например, Ч(6) =(т(9)„6г) и, согласна принципу инвариаитности, о. м. п. Чг=(т(6), (и), откуда 1 ['хь — Х) Пример 2.22 (деумерная нормальная модель, оценка лГаксГГл1аль- ного правдоподобия ее пара.иетрое). Пусть Х=(Хм ..., Х„) — вы- барка нз двумерного нормального распределения ~" Ио О) 1 аь .- аг,[~ ! 1,! с неизвестными а')0 и Р~( 1, 1) т е Х ные случайные величины с плотностью распределения 1 Г х~+ д"- Найдем о.
и. п, а' и р. Здесь плотность сложным образом зависит от параметров, поэтому удобно переити к новым параметрам Ч =(д„де), положив ах=У~(6) == — 1.'[2а'(1 — Р')], Рл =дг(6) =- =рГ[ая(1 — рг)]. Тогда формулу (2.48) можно переписать в виде 1 Г" (х, у; Ч) =- — ехр [ГГГ(х'+уз)+ угху+т(Ч)], где т(Ч) =-(1/2))п(46! — д]). Отсюда сразу же получаем, что уравнения правдоподобия для нахождения о. м. п.
а, и дх имеют внд 1 л,, дт (Ч) 4ГН (х)+у!) = — — = — —.. ' и дг 4гй- 47' 1=~ и (2.49) 1 чл дт (Ч) гн -- Л ХУГ= — — =— и ~~~~ д42 441 — Ч! с =-! г ~'1~ Но а = — 4, „р=.— д,l(26), поэтому нз соотношений (2.49) находим, что значения о. м. п. а-' и р для заданной реализации выборки Х вычисляются по формулач п а =-, .
г (х]+уГ), р== 2 ~ х,у,!) (,т;.+!ГГ), Г=à — 1=! где (х„у,) — каблюдавшееся значение Хи 1=-1, ..., и. 3. Метод накопления для приближенного вычисления о. м. п. Оценки максимального правдоподобия в явном виде не всегда удается получить; в таких случаях прибегают к приближенным методам решения уравнений правдоподобия (когда такие уравнения можно составить).
Это, например, метод накопления, предложенный Фишером. Он заключается в следующем. Пусть 6 — скалярный параметр и функция правдоподобия Е. (6) =1 (х; 9) дважды дифференцируема по 9. Разложим функцию вклада У(9) =(7(х; 6) [см. формулу (2.15)] в ряд Тейлора в окрестности точки Ом выбранной в качестве начального приближения для 6 =9 (х), и вычислим это разложение при 6=9. В этом случае так как (Г(6)=0, то 0 = У (64)+(Π— Оь) (7' (9*), где 9" — некоторая промежуточная тачка между 6 и 64. Отсюда 9 =- 6, — и (6,), (Г ' (О ).
(2.50) 69 Если заменить теперь в этом равенстве 6* на О» и (/'(6») на — ггг(6,)=Егь(/'(Х; 6„) (см. п. 1 % 2.2), то получим первое приближение 6,=6»+(/(9»)/пг (6,). Теперь этот процесс можно повторить, взяв в качестве нового начального приближения 9, и т.'д.
Таким образом, (й+ 1)-е приближение по методу накопления вычисляют рекурренгно по формуле В„»=0»+(/(9»)/и!(6»), 0=0, 1, 2, ... (2.5!) Пропесс вычислений продолжают до достижения желаемой точности: 6»„— 8»,' -,е. Важным является выбор начальной точки 8,. Обычно в качестве 8» берут значение какой-нибудь легко вычисляемой состоятельной оценки (определение см. ниже в п. 4)", тогда все три точки 6„0* и 9 прн больших объемах выборки и будут находиться вблизи истинного значения параметра. Метод накопления, как правило, быстро приводит к цели, хотя в некоторых случаях этот процесс может и не сходиться. Пример 2.23 (мсдегь Когии, ог!елка параметра гю лгетодд накопления).
Пусть Х =(Х,, Х„) — выборка нз распределения Коши «гс'(О). Здесь функция вклада гч — В (/(8)=2 Х +( — вр г=! и получить точное решение уравнения правдоподобия (/(6)/ б невозможно. Функция информации для модели Коши равна 1,'2 (см. табл. 2.!), поэтому последовательность (2.51) принимает внд 9»ы = 6» + (2/и) (/ (8»), й = О, 1,,... В качестве началыюго приближения 9, можно взять значение выборочной медианы Хи„п«, н, которая, согласно теореме 1.7, сходится по вероятности при п-«.оэ к истинному значению параметра 6, являкяцегося в данном случае теоретической медианой.
Пример 2.24 (модель спгспсннаго ряда, метод нахопленггя дгя нее). Рассвготрим распределение типа сгепеннбго ряда, введенное в примере 2.12. Здесь функция вклада л д — я ° пк р (Э) Х вЂ” И (В) (/(9) = —; — 1и 8»'[-»(6) Иа(х) = — — — п — =и 88 1, И ' ) В / !В) г=' г где р(9) — теоретическое среднее распределения. Действительно, !»(0) =,У, ха(х) вк//(О) = О/' (8)// (9). Таким образом, уравнение к правдоподобия (/ (8) = 0 имеет вид р(8) =х.
(2.52) Вычислим функцию информации ((О). Имеем г(В)=Е«(/ (Х,; 6)=-,'гЕ,(Х,— р(В))'= —,',1),Х,= (8);6, 70 где о'(9) — теоретическая дисперсия; кроме того, г(9)= — Еэ[ — (/(Х,; 9) =Ее[ ~ ~~ + «в «) «» (6)/6 Если уравнение (2.52) нельзя решить точно, то для приближенного определения значения о.
и, п. 0 можно применить лгетод накопления. В частности, для усеченного в нуле распределения Пуассона /(0) =еа — 1 и уравнение (2.52) принимает внд 6 =х(1 — е '), а функция информации равна г'(6) = [1 — (1+ 9) е-э]/[6 (1 — е-з)»]. 4. Асимптотические свойства о. м. и. Метод максимального правдоподобия не всегда приводит к несмещенным оценкам. Так, нз примера 2.!7 следует, что оценкой максимального правдоподобия дисперсии 8,' модели /"(9„ 6,') является выборочная дисперсия 5», которая (см, и. 182.1) является смещенной оценкой. Однако ее смещение Е«,У вЂ” 61= — О,'/и, 8=(0„0»), убывает при увеличении объема выборки н в пределе, прн п-эсо, оценка становится несмещенной.
Оценки (вообще говоря, смещенные), обладающие указанным свойством, называются асилигтотичсски нес»гещенными. Таким образом, в данном случае о. м. п. является асимптотически несмещенной, т. е. свойства этой оценки, связанные с несмещенностью, с увеличением объема выборки «улучшаются». Это положение имеет достаточно общий характер. Именно: важнейшие свойства оценок максимального правдоподобия имеют асимптотический характер, т. е. справедливы для больших выборок.
Широкое применение оценок максимального правдоподобия связано именно с их «хорошими» асимптотическими свойствами. Изложение асимптотической теории оценок максимального правдоподобия и составляет дальнейшее содержание этого параграфа. Чтобы подчеркнуть зависимость рассматриваемых ниже статистик от объема выборки, будем отмечать их индексом и. Когда говорят об асимптотических свойствах оценок (нли свойствах для больших выборок), то прежде всего имеют в виду их состоятельность, или, что эквивалентно, сходнмость по вероятности рассматриваемых оценок к соответствующим оцениваемым теоретическим характеристикам.
Так, в гл. 1 было показано, что большинство выборочных характеристик (выборочные моменты, квантнли, значение эмпирической функции распределения в каждой точке н т. д,) сходятся по вероятности при гг -«-оо к значениям соответствующих теоретических характеристик и, следовательно. явлжотся состоятельными оценками последних.
Дадим строгое определение понятия состоятельности. Пусть Х =- (Хг, ..., Х„) — выборка нз распределения 2'($) ~ е:— ~=(Р(х; 0), 9 еп 6), где параметрическое множество гав в общем случае некоторый невырожденный открытый интервал г -мерного евклидова пространства «7'. По определению, оценка Т„=Т,(Х) для заданной параиетрнческой функции т(8) назы- нается состоятгльной, если при и — Рсо Т,. " т (9), сч 9 ен сс, т. е., каково бы ни было истинное значение параметра О, оценка Т, сходится по вероятности (относительно распределения Р„) к истинному значению оцениваемой функции. Свойство состоятельности обязательно для любого правила оценпвания, однако оно, по существу, является аснмптотическим н не связано со свойствами оценки при фиксированном объеме выборки (в отличие от свойств несмещенности и оптимальности).
Рассмотрим простой и важный критерий состоятельности. Теорема 2.10. Пусть (2.54) 72 Ее Т. = т (О) + е„, 0е Тл = 6, и е =-е„(0)-Р О, 6„==6„(9)- 0 при и- со для всех 6 ~ сд, тогда ҄— состоятельная оценка функции т =- т (6). П Поскольку 1҄— ЕвТ, ~ =,.= ~ Т, — т ( — ( Ев҄— т ~, событие «',҄— т( = е«влечет событие «Т„вЂ” ЕеТ„~ - е — ',в„;'). Отсюда иа основании неравенства Чебышева имеем 9» Ре (1 ҄— т , '=- е) — Ре (1 Т» — ЕеТв «) в — ~ ев,) -= ', -~-0 при п- оэ и всех 9 я Р). ° Приведем некоторые утверждения о сходимостя функций от случайных величин, которые будут полезны в дальнейшем.
1е. Имеет место следующее непосредственное обобщение теоре- мы 1.5: если 71, Р Ч и функция ср непрерывна, то ср(с1с) Р ср(с)), а паакже .2" (ср (Чв)) -~ -2 (ср (Ч)). 2е. Пусть «с)„, ь„сс, и =- 1, 2, ..., — послгдовапыльность пар случайных величин.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
