Г.И. Ивченко, Ю.И. Медведев - Математическая статистика (1115270), страница 10
Текст из файла (страница 10)
9. Оптимальные оценки. Требование несмещенности в силу сделанных выше замечаний нельзя рассматривать как универсальное, тем не менее во многих встречающихся на практике случаях оно уместно и обоснованно и далее в основном рассматриваются именно несмещенные оценки. Итак, пусть требуется оценить заданную параметрическую функци!о т=т(В) в модели .У =(Е(х; 6), Оев!Э» по статистической информации, доставляемой соответствующей выборкой Х = =(Х„..., Х,).
Предположим, что в данной задаче существуют несмещенные оценки, т. е. статистики Т=Т(Х), удовлетворяющие условию (2.3). Обозначим класс всех несмещениых оценок 4! в данной задаче через оУ',. Таким образом, Танау, тогда н только тогда, когда выполнено условие (2.3). Дополнительно предположим, что дисперсии всех оценок из класса еУ, конечны: ОаТ =Ее(Т вЂ” т(8))»С со, т47 енеу «и !аВ я В. В этом случае точность оценок можно измерять величиной их дисперсии, и мы получаем простой критерий сравнения различных оценок из класса оГ"т. Пусть 7* и Т вЂ” оценки из класса еУ «. Если Оа7 ~ Рат, чВ ве ет, (2.6) то по критерию минимума дисперсии оценка Тв равномерно (по парюветру 8» не хуже оценки Т; если же в (2.6) имеет место строгое неравенство хотя бы при одном 8, то следует отдать предпочтение Т*, как более точной оценке.
Если условие (2,6) выполняется для любой оценки Т вно7;, то Т' называют несмещенной оценкой с равнамерно лшнимальной дисперсией. Такую оценку 7* в дальнейшем для краткости будем называть оллтимальной и иногда обозначать т*, чтобы подчеркнуть, что она относится к функции т(8). Итак, оптимальной является оценка с* вн аУ;, для которой выполняется условие Р =)п(07, пав. (2.7) вг« Требование равномерной минимальности дисперсии сильное и не всегда имеет место. Может оказаться, что из двух оценок Т„ Те ы ат « дисперсия ОеТ! минимальна (в классе вх;) для одних значейий параметра 9, а дисперсия 0«Т» — для других значений 6.
В таких случаях с помощью одного критерия минимума дисперсии зти оценки 'сравнить нельзя. Однако это требование выделяет оптимальную оценку в классе о7 « однозначно, если такая оценка существует, о чем свидетельствует следукнцая теорема. Теорема 2.1. Пус!пь Т! = Т,(Х), ! = 1, 2, †д аптилитльные оценки для т =т(6).
Тгеда Т,= Т, а ьл Рассмотрим новую оценку Т, = (Т, + Тв),!2. Ясно, что Твеноу т н ОаТ» =(0»Тт+ ОаТ»+ 2 сочв (7! Т Д)(4. (2,8) Для любых случайных величин т)т, т)в имеет место неравенство Коши — Буняковского !(сот(т)т, т)а) ! =3~0«),0»)а, причем знак равенства имеет место только если т)х и т)в линейно связаны. Отсюда н из равенства (2.8), положив Р,Тт=О,Т»=и=и(9), получим 0,7, (с+! сочв (7„7») !)«г (2.9) Поскольку Т! (!=1, 2) — оптимальные оценки, п=РаТ!~ РаТ„ откуда РаТ» —— о, т. е. 7, также оптимальная оценка.
Но так как Ф * Здесь н далее равенство статнстнк ноннмаетсн в том смысле, что РВ(Х ем (х; Т! (х) ~ т» (х)))=В, УВ !м 9. ~, «-Ф -»О и, "ол в неравенствах (2.9) имеют место знаки равенства то сом (Т Т е и е более того, сока (Т„Т»» = РаТ» = и. Следовательно, Тх и Т, линейно связаны, т. е. 7»=ЬТ»+а. Из условия несмещенности оценок имеем т=йт+а, т, е. а=т(1 — А), и, следовательно, Т! — т= (» — ъ). Здесь коэффициент к=й(9) — функция от параметра 9 определяется цепочкой равенств и=сота(Тт, Т!»=Еа(7» — т) (Тв — т) =ЙЕа(Т» — т)'=ЙОаТ» — — Ап. Отсюда имеем А=! и, следовательно, Т,= Т,.
° П риведем пример существования оптимальной оценки в конкретной модели. Пример 2.4 (бернуллиевская модель, оценивание пара»!етра). Пусть Х =(Х„, ..., Х„) — выборка из й (В) я В! (1, 8). Т еб ется оценить параметр 8. ре уется Здесь ЕаХ;=6, поэтому выборочное среднее Х является несмещенной оценкой В. Более того, из результатов 9 1.3 следует, что Х сходится по вероятности при н-э-ео к оцениваемому вараРа метру: Х вЂ” 9, )г'В ен (О, 1). Однако Х не единственная несмещенная оценка 6. Например, всякая статистика Т= —,У Ь-Х! при —; !пи ! т=! т+...+Ь„=п также является несмещенной оценкой 9.
При этом так как Оат=-',,'Р Ь«8(! -6) ~-'8(1-8) при тах1Ь!| ~Ь(со, то, согласно неравенству Чебышева, а Т вЂ” 9 при и-!-оз и, таким образом, эти оценки так же«хороши», как и Х. Итак, в данной задаче класс оТ', содержит много оценок, и поэтому возникает вопрос о выборе среди них наилучшей. Покажем, что в данком случае оптимальная оценка Т" существует и при этом Т*=Х. Имеем ОаХ=В(1 — 8)«л, поэтому всоответствии с определением (2.7) достаточно показать, что для любой несмещенной оценки Т= Т(Х) параметра 6 Оа7~8(1 — 8)«л, 'еВ~(О, 1).
(2.10) В данном случае распределение наблюдаемой случайной вели- ЧИНЫ 9 таКОВО: Г(Х; 6)=Ва(1 — 6)'-", Х=О, 1; СЛЕдпнатЕЛЬИО, раС- пределение случайного вектора Х =(Х„..., Х„) задается вероятностями ' а «.(х; 9)=п )(х!; 6)=6~"!(1 — 8)" а"!, х=(хт, ..., х„). (2.11) т=! Так как 1м«! 'у', «,(х; 8) и ВмвиЕаТ(Х)= )~~ Т(х) «. (х; 6), то, дифференцируя эти тождества по 6, получаем хд~.(х; 61 Ъ" д!пЕ,(х; 6), 8, Е (д!пЕ(Х, 6>) 1 =~~Т(х) ","' Ь(х; 6)= Ее(Т(Х) Отсюда можно записать !=Ее~(Т(Х) — 6) и, согласно неравенству Коши — Буняковского, (д !и с(Х; 6!'2 1(Ее(Т(Х) — 6)2Ее( де ' 3 . Но Ее(Т(Х) — 6)'=РеТ, поэтому из последнего неравенства следует, что РвТ =- 1/Ев~ 1(Г6 е- =(О 1). (2.12) В рассматриваемом случае (см. формулу (2.11)1 Л Л Л 2=1 ~=1 ~=! поэтому Г Л 12 1=1 э»(! — 61 е 1 6 ! — 6' Отсюда и из неравенства (2.12) получаем соотношение (2.10).
Учитывая важность для приложений бернуллиевской модели В1(1, 6); сформулируем доказанный результат в виде теоремы. Теорема 2.2. Относительная настыла произвольного события в и независимых испып1аниях являетоя оптимальной оценкой для вероятности этого события. Как следствие этой теоремы отметим, что значение эмпирической функции распределения в каждой точке х является оптимальной оценкой для значения в этой точке теоретической функции распределения (это значительное усиление результата теоремы 1.1). Дока1кем важное свойство оптимальных оценок. Теорема 2.3. Пусть Т1 и Т*, — оптимальные оценки функций т =т (6) и 22=те(6) соответственно. Тогда статистика Т' = 1 1 2 2 = и Т" +а Т' является оппшмальной оценкой функции т = аст1+ +аег, для любых постоянных а1, ае. о Б Установим сначала следующее свойство оптимальных оценок, представляющее самостоятельный интерес: для любой ста- тистнки ф =»р (Х) с Ееф = О, 6(6 енй, выполняются равенства.
сочв(Т1 ° ф) = О, В'6 ~ 9. Для доказательства рассмотрим стати-' стику Т1 = Т*,+ Хф. При любом )с это несмещенная оценка для тм поэтому в силу оптимальности оценки Т1 РеТ»=Р671+)с»Реф+2Хсоче(Т!' ф)=-РеТ', 76енВ. (2.14) Отсюда следует, что саче(Т», ф)=0, 76, так как в противном случае при ~!соте(71, 26)( соч (т», 6) !соч (Т1, 6); сосо(т»1, 1)) Юеф (Хс., имеем РеТ1(Р6Т1, что противоречит неравенству (2.!4). Перейдем непосредственно к доказательству теоремы.
Пусть Т вЂ” произвольная несмещенная оценка т. Тогда ф = Ть — Т имеет нулевое математическое ожидание и, по предыдущему, О=а, сочв(Т7. ф)+а» сочв(Т2. 1Г) =соъ'е(Т*, ф) = = РеТ* — сочв (Т'", Т), т. е. РеТ"=саче(Т' Т)~ $' Р6Т»РеТ или РеТ" ~РеТ 126 у й 2 2 Критерии оптимальности оценок основанные на неравенстве Рао — Крамера н его обобщениях (2.15) В этом и следующем параграфах будут рассмотрены общие критерии существования оптимальных оценок и способы нх нахождения.
1. Понятия функции правдоподобия, вклада выборки, функции информации. Пусть, как обычно, Г(х; 6) — плотность распределения наблюдаемой случайной величины 5 (или вероятность в дискретном случае), Х=(Хп ..., Х„)-- выборка пз с (6) ы,У' и х= = (х1,..., х„) — реализация Х. Функция В (х; 8) == ((х„; 6)...) (х„; 6) является„очевидно, плотностью распределения случайного вектора Х. Функ»Ция Ь(х; 8), рассматриваемая при фиксированном х как функция параметра 6 е= В„называется функцией правдоподобия. В дальнейшем предполагается, что функция Г (х; 6))0 при ВСЕХ Х 6НХ и 8 ~ В и дифференцируема по параметру 6. Пусть параметр 6 — скалярный.
Случайная величина Л д(п !. (Х; 6)»й2 д (п((ЛП 6) )= де' 1=1 называется вкладам (или функцией вклада) выборки Х ((-е слагаемое в правой части (2.15) называется вкладом 1'-го наблюдения, 1 = 1, ..., и). В дальнейшем предполагается, что 0<Вес(2(Х; 6)<со, Ч8 е= В. Для случая векторного параметра 6=(вм..., 6„) под вкладом выборки понимается случайный вектор (У,(Х; 6), ..., У,(Х; 6)), где У,(Х; 6)= ', 1=1, ..., г. д1п1. (Х; В) ! В последующем неоднократно придется дифференцировать по 6 интегралы от функций на выборочном пространстве 2', а также предполагать, что прн этом можно менять порядок интегрирова- ния и дифференцирования. Модели, для которых все перечислен- ные условия выполняются, обычно называют кратко регулярными. Точные аналитические условия, обеспечивающие регулярность модели, известны из математического анализа и вид нх опреде- ляется в каждом конкретном случае.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
