Б.А. Севастьянов - Курс теории вероятностей и математической статистики (1119910), страница 31
Текст из файла (страница 31)
е. имеет место пред ставление (16). Если р(х; 6) — плотность, то будем предполагать,что имеется преобразование (!3) и плотности рт(х; О) и рь „(Е, у; 6) связаны соотношением (14). Тогда услов- ная плотность т) при условни т = Е, равная р„„(у)Е) = Р1 Ч(Е~ Ет~ У~ ° °" Ух ~) "' ~ Рва(Е~ "' Ет' У~ "' Уь-т) ЛУ~ "' ~у -т в снлу (14) н (16), представима в виде р,),(у 1Е) = Е(Е: В) Ь(х(Е, )) Г'(х(Е, у)) ...
$ У(Е;О) Л (х(Е,У)) Е '(х(б у)) ау~ ... г)уь-ь Ь (х(Е, У)) Х ' (х(Е, у)) ... ~ А(х(Е„У))Е (х(Е, У))ву1 .. ау,-ы 222 ГЛ. Кч ОЦЕНКИ ПАРАМЕТРОВ и, следовательно, не зависит от О. Так как М(У(Б[т=!) = ~ ° ° ~ й (х(г~ У))Рч!,(У [!) "У~ ° ° аул м не зависит от О, то взяв у(х) =!для хан В и д(х) =0 для хФ В, где В си Я» — борелевское множество из й'", получаем, что Р (5 еи В ! т = !) не зависит от О при любом В ~ Я", т. е.! — достаточная статистика. Пусть, наоборот р„!,(У[!) не зависит от О.
Тогда из р„,,(у 1; О) =рч„(у[!)р,(1; О) и (14) имеем рь(х; О) =р„„,(у! !) р,(1; ОКУ[, т. е. плотность ре(х; 0) представима в виде (10). Тео- рема доказана. Второе из указанных выше свойств достаточных ста- тистик вытекает из следующей теоремы. Те о р е м а 3. (Теорема Колмогорова — Блекузлла.! Пусть ! — доститочния статистики семейства распреде- лений р(х; О), а б (х) — несмещенная оценки пираметра 0 с конечной дисперсией, построенния по всчборке (!).
Тогда условное митематическое ожидание О при фикси- рованно.ч ! О= М(0 [!) будет несмещенной оценкой О с дисперсией !лО(00. Доказательство. Из свойства (15) имеем МО = М [М (О [!)) = МО = О, т. е. оценка О несмещеиа (О действительно является оценкой, так как пс зависит от О, поскольку ! — достаточная статистика). Вычпслим 00: 00 = М (Π— 0)' = М (Π— 0 + вт — 0)' = =М(0 — 0)т+М(Ос — О) +2М(0 — 0)(0 — 0). (!О) Так как М(0 — 0)(0 — О) = М [М(0 — 0)(Π— ОЦ !) = = М [(Π— О) М ((Π— ОИ !Н э в!.
эээвктивность оцвпок а М((Π— 0))1)=0, то из (18) получаем 00)00. Теорема доказана. П р и и е р !. Пусть выборка (1) взята из схемы Бернулли (х; = 1, если в !тм испытании был успех, х, = 0 в противоположном случае). Параметром в этом случае служит вероятность р. Вероятность появлеиия выборки (!) равна )>(х; р) — Ц '>т1! *э — р"!+." ! "л(1 р)" '! " "л, э ! откуда по критерию факторизации следует, что число успехов х, + ... + х„ есть достаточная статистика. П р и м е р 2. Пусть (1) — независимая выборка из нормального распределения с параметрами (а, а).Тогда по крптери>о факторизации л 1 р(х; а, о) =, ехр ' — — ~ (х! — а)' 1!т)п:2 оп ( Зо> ! !! л р( — — '„(Е .! — 2 г;-!- Ф)), п !! ,> х! и .>, х! — достаточные статистики.
!. ! !=1 0 61. Эффективность оцеиок Как мы видели в 6 60, несмещеиныс оценки 0 параметра 0 с меньшей дисперсией предпочтительней остальных оценок. Естественно поставить вопрос о нахождении оценок с наименьшей дисперсией. Некоторый подход к решспнго этого вопроса дает неравенство Рао— Крамера. Пусть р(х; 6) = р(х!, ..., х„; 0) — плотность, зависящая от параметра О,а О = <р(х) = !р(х!..., х )— оценка параметра О по выборке хь ..., х„не обязательно несмещенная. Обозначимся(0)=МО=~ ... ~ !р(х)Х Х р(х; О) г(х.
Прсдполо>ким, что выполнены некоторые условия регулярности, при которых интегралы ~ р(х; 0)Их= — 1, ~ р(х) р(х; О)!(х= — п(6) «Я4 гл. и. опеля<и плелььетгов можно дифференцировать по параметру О. В этом слу. чае справедливы равенства — а'х — = О, дя дз 2 ьр(х) з ь(х = я'(О». (19) (20) ьЧатеььатььческое ожидание (здесь $ имеет распредел нис р(з,О)) носит название информации Фиьиера относительно сельейства р(х; О).
ь е о р е м а 4. (Неравенство Рао — Крамера,) Если сельеь)ство плотностей р(х; 0) и оценка О =-ьр(х) таковы, что вмполненьь Ославил (19) и (20), то имеет место не- равенство (лО > — ' (я' (з) Р л' (З) (22) Локазательство. Условия (!9) и (20) перепн. шем в эквивалентном виде: (23) р(х) р(х; О) "',," ах=я'(О). Умножпм первое пз тождеств (23) на д(0) и вычтем его из второго: ~ [ьр(х) — я(О)) р(х; 0)йх= — д'(0). (24) Полагая в (24) ьр, (х) = ьр (х) — я (0), ьр, (х) = —, применим д,« неравенство Коши — Буняковского Ц ьр,(х) ьрз(х) р(х; 0)с1ь~ ( ( ~ ьр'(х) р (х; 0) ь(х ° ~ ьрет (х) р (х; 0) аьх.
225 6 6Ь ЭФФЕКТИВНОСТЬ ОЦГНОК Имеем отсюда: [д (О)) = ~~(ф(х) — д(0)) р(х, 0)6(х1 н:; ((ф (х) — и (О))' р (х; 0) дх ° ~ ( д~ р ) р (х; О) 6(х, а это равносильно неравенству (22). Замечание !. Теорема 4 остается справедливой, если под р(х; О) понимать вероятности днскретного распределения, а под интегралами — суммы. Замечание 2.
Если тождества ((9) можно еще раз дифференцировать по 0: то информацию Фишера (2!) можно записать в другом виде: 7(0) = — М дОР, ' =- — ~ — ~ — ~ р(х; 0) Нх. (25) В самом деле, обозначая р = —, р = —, имеем др „дбр дв ' дО'' откуда р6(~ — ~ р 6(х ~ ( ) р6(~ — Х(0), что н утверждалось. За лбе чан не 3. Йз цсрвого тождества (23) следует М ' = О, поэтому информацию Фишера (2!) а!Вяр(!; О! можно записать иначе: С) у д ~оп р й О! 1 дв 3 а и е ч а н н е 4. Еслн хь ..., х„независимы, то нх совместная плотность р.,(хь ..., х„; 0) есть произведе.
ние одномерных плотностей: Р р„(хь ..., х„; О) .= Ц р(х6; 0). 6-~ 8 В. 6. Сеплстьянов 220 гл и оигпкн плглмгтгов В этом случае информация Фишера У„(0)= М( дв "'! зависит от и линейно: У„(0) = пУ~ (О), (26) г д (од р(хл О) ха где У1(0)=$ ~,0 ' У' р(х;0)ах — инГрормацня Фишера одного наблюдения хы а (22) превращается в нсравенство следующего вида: ЦО~ 1я (0)Р (27) Формула (26) следует пз ~.(а=оф-'-"~ оо)=у о(''""'"""). 3 а м с ч а и н е 5. Если оценка 0 несмещенная, то 2(О)=-0, и в неравенствах (22) и (27) числитель равен д'(О) = =1.
В условиях теоремы 4 неравенства (22) и (27) дают оценку снизу дисперсии оценок О. Ниоткуда нс следует, 1то эта оценка достигается, однако во многих важных случаях, как мы увидим иноке, опа является нижней границей дисперсии О хотя бы в асимптотическом смысле при п- оо. Пример 3. Пусть хо .... х„— независимая выборка из нормального распределения с параметрами (х — а)' (а, о), а — известно.
Так как 1одр(х; а) = — —, — д)ляр х — а (и (о а)~ — !од ХУ2но, — = —,, то Ул(а)=л л о~ 1 — Длч оценки й=х имеем ь)й= — = — „, т. е. л лУ,(а)' в этом случае в (27) достигается равенство. Ниже мы всегда будем предполагатгь что выпол. пены условия теоремы 4. С) яр одоление 2. Назовем эффективностью оценкп 0 отношение е(0)= (я ( )1 (ЗО Х (0) $6!. зФФвктнвность оцгнок Оценка 0 с эффективностью е(0)= ! называется эффективной. Этн определения обычно применяют к несмещенным оценкам.
Оценка х в примере ! эффективна. Если неравен. ство в (22) или (2?) для некоторой оценки превращается в равенство, то эффективность оценки Π— это отношение минимально возможной дисперсии к дисперсии данной оценки; ~п!и 00~ е(0) = — '. * з, Рд Эффективность всегда удовлетворяет неравенствам 0 ~ -= е(0) ( 1. Конечно, при нарушении условий теоремы 4 неравенства (22) и (27) могут не выполняться и могу! сушествовать «сверхэффективные» оценки 0 с диспер/ !х сией 08 убываюшей при л- по быстрее, чем О !ч — ). л Прим ер 4. Пусть хь ..., х,— независимая выборка из распределения с плотностью х е — !« — э! х»0 О, ( О. В этом случае нарушается условие (19) и оценка О= = ппп х» обладает «сверхзффективностью», так как ! ~»«л МО=О+ —, ОО= —. ! .
! л' л'' Важным понятием в теории статистических оценок является также аснмптотнческая эффективность. Будем предполагать выполненными условия теоремы 1. Оп р еде лен и е 3. Асимптотической эффективностью е„(6«) оценки 8„= 8„(х„..., х„), построенной по независимой выборке х!„..., х„, назовем предел е,(0)=!1п! 1 "! ! л! (В! 0в„ если он существует. Оценка О„называется асимтотически эффективной, если е»(8„) = 1, Гл. кч оцвнки пАРАмвтРов Таким образом, если 6 — несмещенная оценка с асимптотической эффективностью е,(6), то ее дисперсия 06 при больших п асимптотически равна [ез(6) ° п1~(6)[ Для асимптотически нормальных при и-+ со оценок О, полезно другое определение асимптотической эффективности.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
