Б.А. Севастьянов - Курс теории вероятностей и математической статистики (1115332), страница 32
Текст из файла (страница 32)
Естественно поставить вопрос о нахождении оценок с паимепышей дисперсией. Некоторый подход к р!еп!гнию этого вопроса даст неравенство Рвов )храх!ера. Пусть р1х; О) = — р(хь, х„; О) — плотность, зависящая от параметра О, а 0 = <г (х) = ч (х\,, хл)— оценка параметра 0 по выборке х!, ..., х„, пе обязательно несмещенная. Обозна !1!мГ!(0)=МО=~ ... ~ !р(х)Х Х р(х; О) г(х. Предположим, что выполнены некоторые условна регулярности, прп которых интегралы ~ р (х; О) г1х = — 1, ~ !р (х) р (х; 0) г(х = =д (О) Гл Б. Опенки пхелыстеов ««4 можно дифференцировать но параметру О.
В этом слу- чае справедливы равенства — их ==.= О, др да ~р(х) н йх=д'(О). (20) Мз гематннеское ожидание (2дссь ~ имеет распредел '.- нне рД,О)) У(0)=М( "' ') =~( " ) ( О) (21) носит название инфорл2иции Фшиера относительно сельей сто а р (х; 0) . Теорем а 4.
(Е!сравенство Рао — Крамс а. Если сельейство плотностей р(х; ) и оценка = ср(х) таковеп что вьлполнены условия (19) и (20), то имеет место неравенство ь20 ) —, («(о(Р т (о2 Доказательство. Условия (19) и (20) перепишем в эквивалентном виде: р (х; О) — — ' йх === О, д (сир(х; 0) дв и (О)' (20; Умножпм первое нз тождеств (23) на д(0) и вычтем его из втопого: ~(ср(х) — д(0)) """ р(х; 0)йх= — 4'(О). '(24) де Т(влагая в (24) 4', (х) = Ч, (х) — и(0), <рт(х) = — —, применим неравенство Коши — Буняковского ~ Я <р, (х) ~уз (х) р (х; О) й.с~ « ~ ~~ ~р', (х) р(х; О) Их ° $ ср,,'- (х) р (х; О) Фх. % я.
эФФГктивность Оцгнок Имеем отсюда; [а'(0))з = Ц (Ч (х) — Е(О)) — „в=~ Р(х; О) ох1 ч= ~~(ср(х) — и(0)) р(х; 0)г(х ° ~ ( до ) р (х; О) г)х, а это оавиоснльно нсраивиатву (22). 3 а м е ч а н и е 1, Теорема 4 остается справедливой, если под р(х; 0) понимать вероятности дискретного распределения, а под интегралами — суммы. За и с чан не 2.
Если тождества (!9) можно сьце раз дифференцировать по О: д'!ья р дэд дх —.= О, то информацию Фьчпсра (21) моною записать в другом виде; Б самом деле, обозначая р = —, р" = —.-, нм"см / др д1р да ' дог ' р' д~ !рн р р" р' откуда что и утверждалось. 3 а и е ч а и не 3.
!Ла первого тождества (20) следует дьодр(1: В! М вЂ” — '' = О, поэтому информацию Фппзера (21) можно записать иначе; 3 ~ д ~ оГ р (1, в) ) да 3 а м е ч а и н е 4. Если хь ..., х„независимы, то ня совместная плотность р„(хь ..., х„; 0) есть произведение одномерных плотностей: П р„(хь ..., х„; О) = Ц р(л„; О).
ГЛ !5 С11ГПКП ПЛРХИГТРОВ В этом случае информация Фишера У„(О) = М ( ' ") ео зависит от п линейно! Х„(0) = га.(, (О), (26) " (' Л (аа Л (х; В) ~а где х!(О)= 1( ",' ' ) р(х1 О)е(х — информация Фппера одного пзбл:одсипя хг„а (22) превращается в неравенство следующего вида: (а' (В)1' (27) Форхгула (26) следует из а а ю ! 3 а и с ч а и и с 5. Вели опенка 0 несмещенная, то (((О)= — — О, н в неравенствах (22) и (27) и:слитсль ра- вен !1'(О):=- 1. В услощгах тсорсггы 4 неравенства (22) и (27) дают с!Пспгу снизу дисперсии оценок О, 11иоткуда пе следует, гто эта оценка достнгается, однако во многих всокпых г..учаях, как мы усидим ниже, опа является нижней 1'1хаишге(! дисперсии 0 хотя бы В асимптопгчсском смыс- '!с и(ги П вЂ” ~- са, П р и м е р 3.
Пусть хп ..., х„— псзависичая вы- борка нз нормального распрсдсленпня с параметрами (х — а)! (а, о), о — известно. 1"ак как (оар(х; а) =-— а~ — 01ан р к — а М (Π— а)' — 1оа,/Ба, '' =- —,—, то 7 (а)==п да а' ' " а! и а' 1 — — Для оценки д =х имеем 0а= — = —, т. с. а1 ' и ггг (а) ' в этом случае в (27) достигается равенство. Ниже мы всегда буде!! Предполагать, что выпол. пены условия тсорсмы 4. Определение 2. Назовем эффективиоегью оцен- ки 0 отношение е (О) = — '. 1 ' (0)12 00 ° 7 (О) 5 я, эФФективпость оценок Оцелпса 0 с эффективностью е(О) =! называется з4лфактионой. Зги определения обычно применяют к несмещенным оценкам, Оценка х в примере 1 эффс1ггинпа. Гели неравенство в (22) или (27) для некоторой оценки превращается в равенство, то эффективносль оценки 0 — это отногпенис минимально возможной дисгерсин к дисперсии данной оценки; ,! !Зй, е(0) = — ' !зй Эффективность всегда удовлетворяет неравенствам О ( .
~ ',О) ( 1. Конечно, при парущспин условий теоремы 4 неравенства (22) и (27) могут нс выполняться и могуг существовать «сверкэффсктивны*» оценки 0 с дисперл!к сией ЭО уоывающей при пг»эо быстоее, чем О 1л — ). 4 л П р и м е р 4. Пусть хь ..., х. — нсззгиснмая выбор. ка из распределения с плотностью , — 1» — О! (О В этом случае нарушается условие (19) и оценка О = = п1!и х; обладает «свсрхэффектпвностлно», так как ~.-л<» ' МО=О+ —, 00=- —,. Важным понятием в теории статистических оценок является также асимптотпческзя эффективность.
Будем предполагать выполненными условии теоремы 1. О п р е д с л е н и е 3. Аснлттотичесаой эфЧлективностью е,(0„) оценки 0„=0„(х1, ..., х„), построенной по независимой выборке хь ..., х„, назовем предел е„(0) = 1! а+ лУ~ (0) 00» если оп существует. Оценка О, называется асимтотичегки эдлрективно11, если ел(0„) = 1. Гл.
15 опвнки пАРАмгтРов' 228 Таким образом, если 0 — несмещенная оценка с асимптотической эффективностью е,(0), то ее дисперсия 110 при больших и асимптотически равна [ес(О) ° ЛУ1(0)] Для асимптотически нормальных прн п-+ Ро оценок О„полезно другое определение асимптотической эффективности. Определение 4. Если оценка О, при и-~со ( ~вт аснмптотически нормальна с параметрами О, =~. ~' ~.-1' то ее асимптотической эффективностью называется от.
ношение 1 е„(0„) = Г, (81 с'„ т, е. в этом случае за математическое ожидание и дисперсию оценки О мы принимаем математическое ожидание и дисперсию аппроксимирующего нормального закона распределения. Аналогично, если еА(0) = 1, то оценка будет называться асижитотически эффективной. С понятием асимптотической эффективности асимптотически нормальных оценок мы встретимся в следую. щем параграфе. О 62.
Методы нахождения оценок До сих пор мы занимались свойствами оценок параметров, не затрагивая вопроса о способах их иахождс. ния. Сейчас мы познакомимся с некоторыми методами нахождения оценок. 1. Метод моментов. Пусть х1, ..., х, — независимая выборка из распределения с плотностью р(х; 01, ..., О,), зависящей от г параметров 01, ..., О,. Предположим, что все моменты тА (О„..., О,) = ~ х р (х; 0„..., О,) йх, к = 1,..., г, конечны н что система уравнений ЬА = т (01, ..., 0 ), к = 1...
„г, » м. ывтоды и»хождения оценок однозначно разрешима, причем ее решение 0»=п[-[(Ь„..., Ь,), Ь=1, ..., т, дается непрерывными обратными функциями т, '. Прн этих условиях имеет место Теорема 5. Оценки О», /г=1, ..., т, получаемые как ре[иение системы |й»=и[»(В„..., О,), Уг=1, ..., т, (28) к [х"~ » еде [й» = — „гт х; — выборочные моменты, состоятельны. [ | До к аз ательст в о.
Согласно нашим предположе- ниям система (28) нмсст единственное решепце 9» = =[и [(и[„..., и,), причем и[-[ — пепрерывныс функ- ции. По усиленному закону больших чисел гй» сходятся п. н. к пг„а из непрерывности функций т-[ отсюда следует, что О» прн и-»со п. и. сходятся к О», Теорема доказана. Метод нахождения оценок, описанный в теореме 1, носит название метода мо,нснтов. Этот метод лает со- стоятельные оценки, но часто их эффективность и асиьш- тотическая эффективность меньше единицы.
2. Метод наибольшего правдоподобия. Пусть х[, ... ..., х„ — независимая выборка из распределения с плот- ностью р(х; 0)„зависящей от параметра О. Совместную плотность Л (х; 0) = р (хб 9) ... р (х„; О), рассматриваемую как функцию параметра О, назывюот [рункцией правдоподобия. Оценкой наибольшего правдо- подобия называется оценка О = 0(хь .., х„), которая обращает в максимум функцию правдоподобия: 1. (х; О) = — шах Е (х; О).
Если функция правдоподобия й(х; О) дифференцирусма по О, то оценку наибольшего правдоподобии 0 можно найти, решив относительно 0 уравнение правдоподобия =0 вэ гл гг оценки пдолкггтгов гао Установим некоторые свойства опенок наибольшего гравдоподобия. Будем предполагать, что выполнены !леду гопгпс условия: 1) Пусть параметр 0 изменяется в интервале 01~ - О -.- О, и истинное значение параметра Оо лежит внутри этого интервала. Предположим, что в этом индг1 дга гно гервале сугиествугот поонзводные —. —, — „. д0' дО~' дн'' 2) Интеграл ~ р(х; 0)дх можно два раза дпфференппропсть под знаком интеграла, так что Я агх = — О, ~ ~—;', ггх — = О. ( д'и 3) 1, (Оо) =- ~~ ~=",— "" ) р (х; О) г1х ) > О, ! днО.„! ~~У(х), н )Ло1! (соз) = ~ О (х) гч(х; О) г1х е М, где М нс зависит от О.
Те о р е м а б. гг1ггг выполнении условий 1), 2)„3) уравнение правдоподобия (29) игяеет региение О, которое при гг-+ оо еходигсгг по вероятности к Оо. Эта ог1енка наиболгаиеео ггравдоподобил асигиптотически нормальна и асг. !ггггоггг !вски эффегогггвна, . Уравнение правдоподобия (29) равносильно уравнсниго 1 дй д!онб ~~ д!оир(гы 01 ди сгО Л.~ до ь=г д ! ои и гх; О! Разложим —: — ' гго фор;,гуле Теблора в ~~р~~~- оО ности точки О„: + !О О ) бгг (х) (31) где (б( !. Разделив (ЗЮ) на и и воспользовавпгись разложением (31), имеем — ' — '-',='=В,+8,(0 — О,)+ —,' б Ва(0 — О,)'„(32) в вв.методы нлхождения оценок аз1 где д!оно(х,,; 8) ( Х !о=.в, А-! с," д' !оя р (ха; 0) ~ й=! Н (хв).
! В = — „ о ! В2=— и Обозначим через 5 событие, состояп!ес в том, что одновременно выполняются неравенства !В„<ь'-, В, У (0), !Вз 2Л В силу (ЗЗ) Р(3) <е и Р(5) > 1 — в. Прп О-=.О, ней уравнение (32) прсобретаст внд Вв-+ В!В+ —,. б)1Аг==О, ()4) В множестве Я ~ Вв + -.'- М„,1г' ) < (.!1 + 1) )г, У1 (вв! н при Ь < —,— знак левон чзсгн (,й) определяется ! д!оя!. знаком члена Т- В Л, Так кзк — непрерывно зависит от О, то в интервале (΄— )н Ов+Л) при и яо с вероятностьго - ! — е супп сгвусг корень О. Тпкпм образом, мы доказалн первую часть теоремы. Псрс- а Р По закону больших чисел „— МВ,=О, В, — МВ, = = — — — У!(Ов) (см. (25) нз 5 6!), В, — ЫВ„! МВг!=<„Л. 11усть теперь /! > О и е > О фиксированы. Выбнр.гсл! и таким, чтобы прн всех п>ив Р (! Вв ! > Ье) < —."', Р ( В! > — — ', " ~ < —,.', Р (! В, ! > 2М) < -.—.
(ЗЗ) Гл. 1з. Опивки плрлмптРов пишем равенство В + В,(Π— Оз)+ — '(Π— О,)'=О в следующем виде: ч-ч д!он р (х; В) — — — бде — ~ 11 (Оо) 2 1~ (Оа) Числитель в (35) по центральной предельной теореме асимптотически нормален с параметрами (О, 1), а знаменатель прн и-ч-оо сходится по вероятности к 1. ПоэтомУ слУчайпаЯ величина (6 — Ор) чг71 (Оз) и аснмптоти.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
