Г.И. Ивченко, Ю.И. Медведев - Математическая статистика (1115270), страница 15
Текст из файла (страница 15)
Тогда выражение в квадратных скобках равно Лд+... + ˄— й — 1п (Лд... Лд) и можно записать д)с(х; 1д, Х) =(х — 1д)' Х-д (х — 1д)-~- ~~~ (Л, — 1 — 1пЛ,). с=! Поскольку Х-' — положительно определенная матрица и а — !в — 1па=-О, а«О, из последнего соотношенияполучаем ф(х; )д, Х)'=- =.-О, причем равенство имеет место только при 1д=х, Лд=... ...=Лд=1, т. е.
при 1д=х, Е=Е(х). Таким образом, оценками максимального правдоподобия параметров !д и Х=|;.о!11 являются в данном случае соответственно статистики Х и Х(Х) =[оп(Х) 1. Пример 2.19 (равномерная-1 модель, оценка максимального правдоподобия гг парамгпсра). Если Х=(Хд, ..., Х„) — выборка 3* 87 из равномерного распределения )710, 9), то пз формулы для 7.
(х; 6), полученной в примере 2.9, следует, что й(х; 9) монотонно убывает по О для 9зах,„п При О=хна функция правдоподобия достигаег максимума. Таким образом, о. и, п. 9 =Х<„,, т. е. совпа- дает с достаточной статистикой. В этой точке функция правдо- подобия разрывна, поэтому производная Г (х; 9) в этой точке не существует.
Таким образом, в данном случае о. м. п. не является решениелГ уравнения правдоподобия. Это характерно для ситуа- ций, когда выборочное пространство 2' зависит от неизвестного параметра. Пример 2.20 (равномерная модель (прадаллсение)). Пусть Х = =(Х„..., Х„) — выборка из распределения )7(6, 9+1). Тогда из формулы (2.37) имеем 1. (х; 9) =е(6+1 — х)„))е(х,п — 6). Отсюда следует, что любое 6 ен [хГ„, — 1, х,п] максимязярует функ- цию правдоподоби я: такам образом, о. м. п. пе единственна. В качестве решения можно выбрать, например, 6==(Хпг РХм) — 1)Г2, в этом случае 6 — функция достаточной статистики Т=(Х1ц, Х,„,) (см.
пример 2.9). 2. Принцип инвариантнастн для о. м, и. Полезным свойством оценок максимального правдоподобия является их инвариантность относительно преобразований параметра. Это означает, чта если Ч =ЧГО) — произвольная функция от 6, взаимно однозначно ото- бражающая Гд в Гг, где Я=-]Ч=(Г)н ..., Ф)] — некоторое множе- ство в й', то о. м.
п. Ч =-Ч(6). Действительно, поскольку и —, взаимно однозначное отображение, существует обратная функция 9=9(Ч). Тогда ьвр Е(х; 6) =- зир й(х; 6(Ч)), 5кв чео и если максимум по 9 функции А(х; 6) достигается в точке 6, то максимум по, Ч функции Г. (х; 9(Ч)) имеет место в точке Ч, удовлетворяющей уравнению 9(ц)=1), т.
е. в точке () = Ч(6). Согласно этому, в„каждой конкретной задаче можно выбирать в качестве исходной наиболее удобную параметризацию, а о. и. и. получать затем с помощью соответствукхцих преобразований. Проиллюст- рируем это на нескольких примерах. Пример 2.21 (сби!ая нормальнан модель, оценка максилшльного правдоподобия'ГГарамгтричгской функции). Пусть в условиях при- мера 2.17 требуется оценить параметрическую функцию т(9) = =01[ " '), представляющую собой вероятность Рьф=х,). 6.
В этом случае можно положить, например, Ч(6) =(т(9)„6г) и, согласна принципу инвариаитности, о. м. п. Чг=(т(6), (и), откуда 1 ['хь — Х) Пример 2.22 (деумерная нормальная модель, оценка лГаксГГл1аль- ного правдоподобия ее пара.иетрое). Пусть Х=(Хм ..., Х„) — вы- барка нз двумерного нормального распределения ~" Ио О) 1 аь .- аг,[~ ! 1,! с неизвестными а')0 и Р~( 1, 1) т е Х ные случайные величины с плотностью распределения 1 Г х~+ д"- Найдем о. и. п, а' и р. Здесь плотность сложным образом зависит от параметров, поэтому удобно переити к новым параметрам Ч =(д„де), положив ах=У~(6) == — 1.'[2а'(1 — Р')], Рл =дг(6) =- =рГ[ая(1 — рг)]. Тогда формулу (2.48) можно переписать в виде 1 Г" (х, у; Ч) =- — ехр [ГГГ(х'+уз)+ угху+т(Ч)], где т(Ч) =-(1/2))п(46! — д]). Отсюда сразу же получаем, что уравнения правдоподобия для нахождения о.
м. п. а, и дх имеют внд 1 л,, дт (Ч) 4ГН (х)+у!) = — — = — —.. ' и дг 4гй- 47' 1=~ и (2.49) 1 чл дт (Ч) гн -- Л ХУГ= — — =— и ~~~~ д42 441 — Ч! с =-! г ~'1~ Но а = — 4, „р=.— д,l(26), поэтому нз соотношений (2.49) находим, что значения о. м. п. а-' и р для заданной реализации выборки Х вычисляются по формулач п а =-, . г (х]+уГ), р== 2 ~ х,у,!) (,т;.+!ГГ), Г=à — 1=! где (х„у,) — каблюдавшееся значение Хи 1=-1, ..., и. 3.
Метод накопления для приближенного вычисления о. м. п. Оценки максимального правдоподобия в явном виде не всегда удается получить; в таких случаях прибегают к приближенным методам решения уравнений правдоподобия (когда такие уравнения можно составить). Это, например, метод накопления, предложенный Фишером. Он заключается в следующем. Пусть 6 — скалярный параметр и функция правдоподобия Е. (6) =1 (х; 9) дважды дифференцируема по 9. Разложим функцию вклада У(9) =(7(х; 6) [см.
формулу (2.15)] в ряд Тейлора в окрестности точки Ом выбранной в качестве начального приближения для 6 =9 (х), и вычислим это разложение при 6=9. В этом случае так как (Г(6)=0, то 0 = У (64)+(Π— Оь) (7' (9*), где 9" — некоторая промежуточная тачка между 6 и 64. Отсюда 9 =- 6, — и (6,), (Г ' (О ). (2.50) 69 Если заменить теперь в этом равенстве 6* на О» и (/'(6») на — ггг(6,)=Егь(/'(Х; 6„) (см. п. 1 % 2.2), то получим первое приближение 6,=6»+(/(9»)/пг (6,). Теперь этот процесс можно повторить, взяв в качестве нового начального приближения 9, и т.'д.
Таким образом, (й+ 1)-е приближение по методу накопления вычисляют рекурренгно по формуле В„»=0»+(/(9»)/и!(6»), 0=0, 1, 2, ... (2.5!) Пропесс вычислений продолжают до достижения желаемой точности: 6»„— 8»,' -,е. Важным является выбор начальной точки 8,. Обычно в качестве 8» берут значение какой-нибудь легко вычисляемой состоятельной оценки (определение см. ниже в п. 4)", тогда все три точки 6„0* и 9 прн больших объемах выборки и будут находиться вблизи истинного значения параметра.
Метод накопления, как правило, быстро приводит к цели, хотя в некоторых случаях этот процесс может и не сходиться. Пример 2.23 (мсдегь Когии, ог!елка параметра гю лгетодд накопления). Пусть Х =(Х,, Х„) — выборка нз распределения Коши «гс'(О). Здесь функция вклада гч — В (/(8)=2 Х +( — вр г=! и получить точное решение уравнения правдоподобия (/(6)/ б невозможно. Функция информации для модели Коши равна 1,'2 (см. табл. 2.!), поэтому последовательность (2.51) принимает внд 9»ы = 6» + (2/и) (/ (8»), й = О, 1,,...
В качестве началыюго приближения 9, можно взять значение выборочной медианы Хи„п«, н, которая, согласно теореме 1.7, сходится по вероятности при п-«.оэ к истинному значению параметра 6, являкяцегося в данном случае теоретической медианой. Пример 2.24 (модель спгспсннаго ряда, метод нахопленггя дгя нее). Рассвготрим распределение типа сгепеннбго ряда, введенное в примере 2.12. Здесь функция вклада л д — я ° пк р (Э) Х вЂ” И (В) (/(9) = —; — 1и 8»'[-»(6) Иа(х) = — — — п — =и 88 1, И ' ) В / !В) г=' г где р(9) — теоретическое среднее распределения. Действительно, !»(0) =,У, ха(х) вк//(О) = О/' (8)// (9). Таким образом, уравнение к правдоподобия (/ (8) = 0 имеет вид р(8) =х. (2.52) Вычислим функцию информации ((О).
Имеем г(В)=Е«(/ (Х,; 6)=-,'гЕ,(Х,— р(В))'= —,',1),Х,= (8);6, 70 где о'(9) — теоретическая дисперсия; кроме того, г(9)= — Еэ[ — (/(Х,; 9) =Ее[ ~ ~~ + «в «) «» (6)/6 Если уравнение (2.52) нельзя решить точно, то для приближенного определения значения о. и, п. 0 можно применить лгетод накопления. В частности, для усеченного в нуле распределения Пуассона /(0) =еа — 1 и уравнение (2.52) принимает внд 6 =х(1 — е '), а функция информации равна г'(6) = [1 — (1+ 9) е-э]/[6 (1 — е-з)»]. 4.
Асимптотические свойства о. м. и. Метод максимального правдоподобия не всегда приводит к несмещенным оценкам. Так, нз примера 2.!7 следует, что оценкой максимального правдоподобия дисперсии 8,' модели /"(9„ 6,') является выборочная дисперсия 5», которая (см, и. 182.1) является смещенной оценкой. Однако ее смещение Е«,У вЂ” 61= — О,'/и, 8=(0„0»), убывает при увеличении объема выборки н в пределе, прн п-эсо, оценка становится несмещенной.
Оценки (вообще говоря, смещенные), обладающие указанным свойством, называются асилигтотичсски нес»гещенными. Таким образом, в данном случае о. м. п. является асимптотически несмещенной, т. е. свойства этой оценки, связанные с несмещенностью, с увеличением объема выборки «улучшаются». Это положение имеет достаточно общий характер. Именно: важнейшие свойства оценок максимального правдоподобия имеют асимптотический характер, т.
е. справедливы для больших выборок. Широкое применение оценок максимального правдоподобия связано именно с их «хорошими» асимптотическими свойствами. Изложение асимптотической теории оценок максимального правдоподобия и составляет дальнейшее содержание этого параграфа. Чтобы подчеркнуть зависимость рассматриваемых ниже статистик от объема выборки, будем отмечать их индексом и. Когда говорят об асимптотических свойствах оценок (нли свойствах для больших выборок), то прежде всего имеют в виду их состоятельность, или, что эквивалентно, сходнмость по вероятности рассматриваемых оценок к соответствующим оцениваемым теоретическим характеристикам.
Так, в гл. 1 было показано, что большинство выборочных характеристик (выборочные моменты, квантнли, значение эмпирической функции распределения в каждой точке н т. д,) сходятся по вероятности при гг -«-оо к значениям соответствующих теоретических характеристик и, следовательно.
явлжотся состоятельными оценками последних. Дадим строгое определение понятия состоятельности. Пусть Х =- (Хг, ..., Х„) — выборка нз распределения 2'($) ~ е:— ~=(Р(х; 0), 9 еп 6), где параметрическое множество гав в общем случае некоторый невырожденный открытый интервал г -мерного евклидова пространства «7'. По определению, оценка Т„=Т,(Х) для заданной параиетрнческой функции т(8) назы- нается состоятгльной, если при и — Рсо Т,. " т (9), сч 9 ен сс, т. е., каково бы ни было истинное значение параметра О, оценка Т, сходится по вероятности (относительно распределения Р„) к истинному значению оцениваемой функции.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
