4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 10
Текст из файла (страница 10)
Отсюда н из равенства (2.8), положив Р,Тт=О,Т»=и=и(9), получим 0,7, (с+! сочв (7„7») !)«г (2.9) Поскольку Т! (!=1, 2) — оптимальные оценки, п=РаТ!~ РаТ„ откуда РаТ» —— о, т. е. 7, также оптимальная оценка. Но так как Ф * Здесь н далее равенство статнстнк ноннмаетсн в том смысле, что РВ(Х ем (х; Т! (х) ~ т» (х)))=В, УВ !м 9. ~, «-Ф -»О и, "ол в неравенствах (2.9) имеют место знаки равенства то сом (Т Т е и е более того, сока (Т„Т»» = РаТ» = и.
Следовательно, Тх и Т, линейно связаны, т. е. 7»=ЬТ»+а. Из условия несмещенности оценок имеем т=йт+а, т, е. а=т(1 — А), и, следовательно, Т! — т= (» — ъ). Здесь коэффициент к=й(9) — функция от параметра 9 определяется цепочкой равенств и=сота(Тт, Т!»=Еа(7» — т) (Тв — т) =ЙЕа(Т» — т)'=ЙОаТ» — — Ап. Отсюда имеем А=! и, следовательно, Т,= Т,.
° П риведем пример существования оптимальной оценки в конкретной модели. Пример 2.4 (бернуллиевская модель, оценивание пара»!етра). Пусть Х =(Х„, ..., Х„) — выборка из й (В) я В! (1, 8). Т еб ется оценить параметр 8. ре уется Здесь ЕаХ;=6, поэтому выборочное среднее Х является несмещенной оценкой В. Более того, из результатов 9 1.3 следует, что Х сходится по вероятности при н-э-ео к оцениваемому вараРа метру: Х вЂ” 9, )г'В ен (О, 1). Однако Х не единственная несмещенная оценка 6. Например, всякая статистика Т= —,У Ь-Х! при —; !пи ! т=! т+...+Ь„=п также является несмещенной оценкой 9. При этом так как Оат=-',,'Р Ь«8(! -6) ~-'8(1-8) при тах1Ь!| ~Ь(со, то, согласно неравенству Чебышева, а Т вЂ” 9 при и-!-оз и, таким образом, эти оценки так же«хороши», как и Х.
Итак, в данной задаче класс оТ', содержит много оценок, и поэтому возникает вопрос о выборе среди них наилучшей. Покажем, что в данком случае оптимальная оценка Т" существует и при этом Т*=Х. Имеем ОаХ=В(1 — 8)«л, поэтому всоответствии с определением (2.7) достаточно показать, что для любой несмещенной оценки Т= Т(Х) параметра 6 Оа7~8(1 — 8)«л, 'еВ~(О, 1). (2.10) В данном случае распределение наблюдаемой случайной вели- ЧИНЫ 9 таКОВО: Г(Х; 6)=Ва(1 — 6)'-", Х=О, 1; СЛЕдпнатЕЛЬИО, раС- пределение случайного вектора Х =(Х„..., Х„) задается вероятностями ' а «.(х; 9)=п )(х!; 6)=6~"!(1 — 8)" а"!, х=(хт, ..., х„).
(2.11) т=! Так как 1м«! 'у', «,(х; 8) и ВмвиЕаТ(Х)= )~~ Т(х) «. (х; 6), то, дифференцируя эти тождества по 6, получаем хд~.(х; 61 Ъ" д!пЕ,(х; 6), 8, Е (д!пЕ(Х, 6>) 1 =~~Т(х) ","' Ь(х; 6)= Ее(Т(Х) Отсюда можно записать !=Ее~(Т(Х) — 6) и, согласно неравенству Коши — Буняковского, (д !и с(Х; 6!'2 1(Ее(Т(Х) — 6)2Ее( де ' 3 . Но Ее(Т(Х) — 6)'=РеТ, поэтому из последнего неравенства следует, что РвТ =- 1/Ев~ 1(Г6 е- =(О 1). (2.12) В рассматриваемом случае (см. формулу (2.11)1 Л Л Л 2=1 ~=1 ~=! поэтому Г Л 12 1=1 э»(! — 61 е 1 6 ! — 6' Отсюда и из неравенства (2.12) получаем соотношение (2.10). Учитывая важность для приложений бернуллиевской модели В1(1, 6); сформулируем доказанный результат в виде теоремы.
Теорема 2.2. Относительная настыла произвольного события в и независимых испып1аниях являетоя оптимальной оценкой для вероятности этого события. Как следствие этой теоремы отметим, что значение эмпирической функции распределения в каждой точке х является оптимальной оценкой для значения в этой точке теоретической функции распределения (это значительное усиление результата теоремы 1.1). Дока1кем важное свойство оптимальных оценок. Теорема 2.3. Пусть Т1 и Т*, — оптимальные оценки функций т =т (6) и 22=те(6) соответственно.
Тогда статистика Т' = 1 1 2 2 = и Т" +а Т' является оппшмальной оценкой функции т = аст1+ +аег, для любых постоянных а1, ае. о Б Установим сначала следующее свойство оптимальных оценок, представляющее самостоятельный интерес: для любой ста- тистнки ф =»р (Х) с Ееф = О, 6(6 енй, выполняются равенства. сочв(Т1 ° ф) = О, В'6 ~ 9. Для доказательства рассмотрим стати-' стику Т1 = Т*,+ Хф. При любом )с это несмещенная оценка для тм поэтому в силу оптимальности оценки Т1 РеТ»=Р671+)с»Реф+2Хсоче(Т!' ф)=-РеТ', 76енВ. (2.14) Отсюда следует, что саче(Т», ф)=0, 76, так как в противном случае при ~!соте(71, 26)( соч (т», 6) !соч (Т1, 6); сосо(т»1, 1)) Юеф (Хс., имеем РеТ1(Р6Т1, что противоречит неравенству (2.!4).
Перейдем непосредственно к доказательству теоремы. Пусть Т вЂ” произвольная несмещенная оценка т. Тогда ф = Ть — Т имеет нулевое математическое ожидание и, по предыдущему, О=а, сочв(Т7. ф)+а» сочв(Т2. 1Г) =соъ'е(Т*, ф) = = РеТ* — сочв (Т'", Т), т. е.
РеТ"=саче(Т' Т)~ $' Р6Т»РеТ или РеТ" ~РеТ 126 у й 2 2 Критерии оптимальности оценок основанные на неравенстве Рао — Крамера н его обобщениях (2.15) В этом и следующем параграфах будут рассмотрены общие критерии существования оптимальных оценок и способы нх нахождения. 1. Понятия функции правдоподобия, вклада выборки, функции информации. Пусть, как обычно, Г(х; 6) — плотность распределения наблюдаемой случайной величины 5 (или вероятность в дискретном случае), Х=(Хп ..., Х„)-- выборка пз с (6) ы,У' и х= = (х1,..., х„) — реализация Х. Функция В (х; 8) == ((х„; 6)...) (х„; 6) является„очевидно, плотностью распределения случайного вектора Х.
Функ»Ция Ь(х; 8), рассматриваемая при фиксированном х как функция параметра 6 е= В„называется функцией правдоподобия. В дальнейшем предполагается, что функция Г (х; 6))0 при ВСЕХ Х 6НХ и 8 ~ В и дифференцируема по параметру 6. Пусть параметр 6 — скалярный. Случайная величина Л д(п !. (Х; 6)»й2 д (п((ЛП 6) )= де' 1=1 называется вкладам (или функцией вклада) выборки Х ((-е слагаемое в правой части (2.15) называется вкладом 1'-го наблюдения, 1 = 1, ..., и). В дальнейшем предполагается, что 0<Вес(2(Х; 6)<со, Ч8 е= В. Для случая векторного параметра 6=(вм..., 6„) под вкладом выборки понимается случайный вектор (У,(Х; 6), ..., У,(Х; 6)), где У,(Х; 6)= ', 1=1, ..., г.
д1п1. (Х; В) ! В последующем неоднократно придется дифференцировать по 6 интегралы от функций на выборочном пространстве 2', а также предполагать, что прн этом можно менять порядок интегрирова- ния и дифференцирования. Модели, для которых все перечислен- ные условия выполняются, обычно называют кратко регулярными. Точные аналитические условия, обеспечивающие регулярность модели, известны из математического анализа и вид нх опреде- ляется в каждом конкретном случае. Отметим, в частности, общее )(еобходимое условие, состоящее в том, что выборочное прострап- ство 2 йн должно зависеть от неизвестного параметра 9.
Рассмотрим некоторые свойства вклада У (Х; 6) для регуляр. ных моделей. Всегда имеет место тождество (по 6) )6(х; 6)бх=! (бх=бхю..дх„) (здесь и далее для дискретных моделей интегрирование заменя- ется суммированием). Если модель регулярна, то, дифференцируя зто тождество по 6, получаем Таким образом, для регулярной модели ЕВУ(Х; 6)=0, УВ Яе. (2.16) Определим теперь функцию информации Фишера, или просто ин- формацию Фишера о параметре 6, содержащуюся в выборке Х: В.
(9) = 1) У(Х; 6) = Е,У*(Х; В), играющую важную роль в статистике. Величину (д!и!(ХП 6) 16 (2.18) называют "также количеством (фии(еровской) информации, содержа- и(ейск в одном наблюдении, Из соотношений (2,15) — (2.!8) непо- средственно следует, что („(В)= п((8), т. е. количество информа- ции, содержащейся в выборке, возрастает пропорционально объ- ему выборки. Если функция !(х; 6) дважды дифференцируема по 6, то, про- дифференцнровав при п=1 выражение (2.!6) еще раз, получим эквивалентное представление для !'(8): 0 ~ (и 1п)(ю 6) ) ( . 8) б + У ~д !п((»; 6) )~ ((х; 9) бх т.
е. Пример вычисления информации Фишера для бернуллл(евс((ой модели В((1, 9) имеется в 6 2.1 (формула(2,13)1; для этой модели ! (в) = 1116 (1 — 6)1. Рассмотрим еще одни пример вычисления функции 1(6) для нормальной модели»"(9, о'). здесь вклад одного наблюдения д!п!(Х(', 6) Х( — 6 д~!п/(ХП 6) 1 Отсюда по формуле (2.19) получаем 1(9)=1!аз. Видфункцвя64(6) для некоторых моделей приведен в табл.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
