Учебник_Бочаров_Печинкин (846435), страница 41
Текст из файла (страница 41)
дХ,) 1 п асимптотически при и — 9 со распределено по нормальному закону с парамет- рамн т =- т9(д) и дз/и =- 91т21д) — (п79гд))2)79п, с другое стороны, сама оценка д" записывается в виде д* =- 7п! ~(т ), где гп! ~(х) — обратная к т~(д) функция. В силу сделанных предположений обратное отображение т, (х) в окрестности точки т приближенно пред- ставляет собой линейную функцию т, (х) =а(х — гп) дд, причем а = 199пг'(д).
Но тогда и случайная величина д* как приближенно линейное преобразование приближенно нормальной случайной величины пт* распределена приближенно по нормальному закону со средним д и дисперсией азаз)п. Это доказывает утверждение теоремы. П Пример 2!. Найдем методом моментов оценку неизвестной вероятности успеха д в схеме Бернулли.
Поскольку в схеме Бернулли только один неизвестный параметр, для его определения необходимо приравнять теоретическое математическое ожидание числа успехов в одном испытании тп = 7п(д) = д выборочному среднему т." = 1Х9 д... + Х„)977 7П =д. Итак, оценка д*, полученная методом моментов, представляет собой наблюденную частоту успехов. Свойства этой оценки были нами достаточно полно исследованы в примерах 1, 4, 7 и !О П П р и м е р 22. Выборка Х9,..., Х произведена из генеральной совокупности с теоретической функцией распределения, имеющей гамма-плотность 999 9,— 9 ртгх) = р97х1д9,дз) = е '* 17х > 0) Г(919) с двумя неизвестными параметрами д9 и д2.
Первые два момента случайной величины Х, имеющей гамма-распределение, задаются формулами: т9 = МХ = —, тп2 = МХ 991 2 дПд~ -1- 1) д2 д.,' !93 4. Метод максимального правдоподобия Отсюда для определения оценок д; получаем систему двух уравнений; гп* = — ' дв н д.,* неизвестных параметров д~ и дг 19* <д1)з ' решение которой имеет вид 1 1 тп = — 191(Х1)+ ...
+д1(Ха)], .", т~ь = — 1дь(Х1)+" +да(Хо)) и п функций д1(Х), ...,дь(Х) с теоретическими средними тп = Мд1(Х), ..., ти = Мдь(Х). Пример 23. Пусть выборка Хп, Хв произведена из нормальной генеральной совокупности с известным средним т и неизвестной дисперсией д. Попробуем для оценнвания д применить метод моментов, взяв выборочное среднее т*,. Но теоретическое среднее т1 = т не зависит от параметра д.
Это означает, что использование выборочного среднего для оценивания неизвестной дисперсии неправомочно и нужно привлекать моменты других порядков. В частности, применяя второй выборочный момент т,* и вспоминая, что тг = д + т, получаем оценку д' = пьв — т . в ьг Следует отметить, что оценки, полученные методом моментов, обычно имеют эффективность существенно меньше единицы и даже являются смещенными. Иногда из-за своей простоты они используются в качестве начального приближения для нахождения более эффективных оценок. 4.
Метод максимального правдоподобия Метод максимального правдоподобия является наиболее распространенным методом нахождения оценок. Пусть по-прежнему выборка ХП ...,Хв ПрОИЗВЕдЕНа ИЗ ГЕНЕраЛЬНОй СОВОКуПНОСтИ С НЕИЗВЕСтНОй теоретической функцией распределения Г(ш), принадлежащей известному однопараметрическому семейству 7г(ш; д).
Функция ЦХ1,...,Х„) = ЦХ1,...,Х„Пд) = Р(ХПд)" Р(Хорд) в дискретном случае и Л(ХП...,Х„) = Ь(ХБ...,Хгдд) = р(тмд) ".р(. „; д) 7 П П Бочаров, А В. Печннквн 1га*) „т* 1л с" Вообще говоря, в методе моментов не обязательно использовать первые 7с моментов. Более того, можно рассматривать моменты не обязательно целого порядка. Иногда для использования в методе моментов привлекают более или менее произвольные функции д~(ш),...,дь(л), сравнивая выборочные средние Гл. 2. Оценки неизвесшных пирамегпров 194 в непрерывном называется функцией правдоподобия. Отметим, что в функции правдоподобия ЦХ1,...,Хгд д) элементы выборки Х9,...,Х„ являются фиксированными параметрами, а д аргументом (а не истинным значением неизвестного параметра). Функция правдоподобия по своей сути представляет собой не что иное, как вероятность (в непрерывном случае плотность распределения) получить именно ту выборку Х9,...,Хи, которую мы реально имеем, если бы значение неизвестного параметра равнялось д.
Естественно поэтому в качестве оценки неизвестного параметра д выбрать д*, доставляющее наибольшее значение функции правдоподобия й(Х9,...,Х9б д). Оценкой максимального правдоподобия называется такое значение д*, для которого Ь(Х9,...,Хгбд') = шахи(Х!, ...,Х„;д). При практической реализации метода максимального правдоподобия удобно пользоваться не самой функцией правдоподобия, а ее логарифмом. Уравнением правдоподобия называется уравнение д — ы,(х!, ..., х9б д) = о. Если функция правдоподобия дифференцируема по д в каждой точке, то оценку максимального правдоподобия д* следует искать среди значений д, удовлетворяющих уравнению правдоподобия или принадлежащих границе области допустимых значений д, Для наиболее важных семейств Г(зк д) уравнение правдоподобия имеет единственное решение д, которое и является оценкой максимального правдоподобия. Пример 24.
Найдем оценку неизвестной вероятности успеха д в схеме Бернулли, ио теперь уже в отличие от примера 21 методом максимального правдоподобия. Поскольку Р)Х;д) = д, если Х = 1, и Р(Х; д) = 1 — д, если Х = О, то функцию правдоподобия можно записать так: й!Хн..., Х„;д) = Р(ХО д) Р(Х„; д) = ди)1 — д)" где р = Х~ ч- . + Х вЂ” суммарное число успехов в п испытаниях Тогда уравнение правдоподобия принимает вид (!инхп, Х9Н д))' = ГР1пд+ (и — р) !п(1 — д))э — — — — — — О.
й 1 — е Решая это уравнение, имеем д*= — =пи. * Е п Поскольку то 1п Е(хо..., Х„; д) представляет собой выпуклую вверх функцию д. Значит, д* доставляет максимум функции правдоподобия Цхн...,Х9нд), т.е. является оценкой максимального правдоподобия. Эта оценка представляет собой, как и в примере 21, наблюденную частоту успехов О 4. Мешод максимального правдоподобия 195 Оказывается, имеется тесная связь между эффективными оценками и оценками, полученными методом максимального правдоподобия.
А именно, справедлива следующая теорема. Теорема 6 (совпадение эффективной оценки с оценкой максимального правдоподобия). Если (естественно, при условиях регулярности теоремы 1) существует эффективная оценка д,*, то она является оценкой' максимального правдоподобия д; . До к а з а т е л ь с т в о теоремы 6 представляет собой дальнейшее уточнение доказательства теоремы 1. Действительно, как следует из замечания 1 к теореме 1, из существования эффективной оценки д,*в вытекает (6) и (8) (с д = 1). Отсюда и из (4) следует равенство 1 = с(д) М(д,",ь — д)з = Поэтому из условия строгой положительности информации 1 вытекает строгая положительность с(д), которая в свою очередь влечет за собой единственность решения д."„= -' (д*(Х,) + ..
+ д*(Х„)! уравнения правдоподобия — 1пЦХь,Х„;д) = ~' Ре( *' ) = с(д) ~ (д*(Х,) — д) = О. Это решение совпадает с эффективной оценкой д,*ь и задает единственный максимум функции правдоподобия 1,(Хн..., Х,; д), !л В общем случае оценка максимального правдоподобия может быть не только неэффективной, но и смещенной. Тем не менее она обладает свойством асимптотической эффективности в следующем смысле. Теорема 7 (асимптотическая эффективность оценки максимального правдоподобия). Прн некоторых условиях на семейство Г(х; д) уравнение правдоподобия имеет решение, при и — оо асимптотически распределенное по нормальному закону со средним д и дисперсией 11'(п1), где 1 — информация Фишера. Доказательство Сначала сформулируем условия теоремы (см. (9)), которые, как мы увидим далее, гарантируют возможность дифференцируемости под знаком интеграла и разложения д1пр(х; д)/дд по д в ряд Тейлора до первого члена: а) для (почти) всех х существуют производные д1пя(хса) д 1пр(х; д) дг 1пя(х; В) дд ддз ддз б) при всех д справедливы неравенства дд(х,в) < 1 (,) д Р(х д) < С (,) /д 1вР(х,д) < 11( где функции бы(х) и бш(х) интегрируемы на ( — оо, оо) и ) Н(х)р(х; д)дх < Л1, причем ЛТ не зависит от д; в) информация 1 конечна и положительна для всех д.
Гл. 2. 09!анки нвизввсщньгх парамввгров !96 Обозначим через д истинное значение неизвестного параметра д. В силу условий теоремы справедливо следующее разложение (1пр(х;д))„' в окрестности д' — 1п р(х, д) — — 1п р(х, д) ч- (д — д) — 1п р(х, д) -~ — у(д — д) Н(х), дд ' дд о=о ддз ' ю=,9 2 причем Ц <!. Тогда после умножения на 1,уи уравнение правдоподобия можно записать в виде и дд — — )пй(Хы...,Х 'д) =' бои- (д — д) ~~ + — 'у(д — д)~бз = О (!4) 2 где случайные величины бо, б~ и бз определяются выражениями бо = — ~ — 1п р(Х„д)1 1 " д 1 д б9 = — ~ — —, 1пр(Х„д) и б, =- — ~ Н(Х,). Рассмотрим поведение йо, бн бз при больших п.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
