В.П. Чистяков - Курс теории вероятностей (1115342), страница 32
Текст из файла (страница 32)
Интересно отметить, что при нарушении условий регулярности (см. аадачу 12; в условиях этой эадачи нарушено условие 1') дисперсия оценки при и - оо может быть меньше 1)п1 (6) даже по порядку. 4.4. Метод наибольшего правдоподобия для нахождения оценок параметров. Метод моментов. Если функция распределения Р (х, 6) Р (хг ( х), й = 1..., п„име ет плотность р (х, 6), то функция 1, = Л(х„,, „х„, 6) = р(х„О) р(х„О),,р(х„,О) (4 14) называется функцией правдоподобия. Для выборки, со- стоящей из дискретных величин хю й = 1,..., и, с рас- пределением Р (хэ — — х) = р„(0) функция правдоподобия определяется равенством л. = 1 (х„..., х„, 0) = р„(0) р (0)... р (0).
(4.15) При фиксированных х„..., х„функцию 6 будем рассматривать как функцию параметра О. По методу наибольшего правдоподобия за оценку параметра О принимается значение аргумента О, при котором П имеет максимальное значение. При фиксированном О функция правдоподобия А ((4.14) или (4.15)) задает совместное распределение выборки, если рассматривать х„..., х„в (4 14) и (4.15) как независимые переменные. Таким образом, по методу наибольшего правдоподобия выбирается значение О, при котором вероятность получения данных значений выборки максимальна. Поскольку 1п Ь при фиксированных х„..., х„достигает максимума при том же значении О, что и с, то для нахождения оценки можно решать уравнение правдоподобия — — О. д1а й дэ (4.16) Решением (4.16) будем называть только корни, зависящие от х„х„..., х„.
Каждое решение уравнения правдоподобия (4.16) будеы называть оценкой наибольшего правдоподобия для 8. При некоторых достаточно общих условиях уравнение (4 16) имеет решение 0», являющееся состоятельной оценкой параметра 8; 0~ ~при и -ь оо является асимптотически нормальной и асимптотически эффективной оценкой О. Условия, при которых доказывается это утверждение (см.
НО), гл. 33, стр. 544), заключаются в существовании нескольких производных по 0 от 1п А" и в существовании моментов этих производных. Если О = (О„..., 0,), то оценками наибольшего правдоподобия параметров 0„..., О, являются аависящие от (х„..., х„) решения системы уравнений — =О, й=1,2,...,в. дэ Пример 6. Пусть величины хю к=1,2...,п, имеют нормальное распределение. Неизвестными параметрами являются а = Мхе, Ь = с' = Охэ, Найдем их 18$ элвмвнты мАТЕИАтичвскои стАтистики 1гл. 9 точечные Оценки оценки наибольшего правдоподобия.
По формуле (4.14) Ь=Ь (х1,...,х,а,Ь)= (=) ехр ( — ~~ ) к=к и 1 %1 1пЬ= — -2-(1п2п+ 1пЬ) — — > (хк — а)к. к=к Отсюда для оценок а* и Ьи получим систему и д !в.й 1 %"1 — = —,„кэ (хк — а*)'= О„ и Э!вГ, и 1 К=! г~ Из первого уравнения а*= — р хк = х.
Подставляя это и,р ~ к=к значение во второе уравнение, найдем и Г! Ь*=лкк = — к (хк — Х)к. к=к Асимптотическая нормальность„ и асимптотическая эффективность оценок Х, лкк параметров а, ок следуют из результатов п. 4.3 и теоремы 3.2. П р и м е р 7. Найдем оценку наибольшего правдоподобия для вероятности успеха р в схеме Бернулли. По формуле (4 15) Ь=Ь(хк,...,х„,р)= Ц р"к(1 р)гккк хк = О, 1 (хк — — 1, если в испытании й был успех, и хк = = О в противном случае), и и 1п к, =,Я (хк 1п р + (1 — хк) 1п (1 — р)). Ккя Отсюда «вз ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ [ГЛ.
9 и р» = и. Так как для числа успехов р» имеем равенство р„= з«+ л, +... + л„, то р» = р„/и. Оценка р» является асимптотически нормальной (следствие теоремы Муавра — Лапласа) и эффективной. Другим методом, который иногда используется для оценки параметров, является метод моментов. Если функция распределения г"«(х, О) = Р (лэ ( х) зависит от г параметров О = (О„..., 8,), то теоретические моменты„ например аэ = М$»«являются функциями от параметров (О„, . „О,). Предположим, что систему уравнений «ь = ««э (О«« ... Оз), «« = 1«э э э э~ можно разрешить относительно О,: О,= 0«(а„..., а,), 1 = 1,, „г. Тогда в качестве оценки параметра 8«можно взять величину 8» = 8, (а,..., а,), где ૠ— выборочные моменты, соответствующие а«. При достаточно общих условиях выборочные моменты близки к теоретическим„функция 0«(ам..., а,) от этих моментов асимптотически нормальна« а математическое ожидание предельного распределения равно О« = О, (««„ ...та,).
В таком случае оценки ОР оказываются состоятельными. $5. Интервальные оцении Точечные оценки дают приближенное значение неизвестного параметра. Если известен закон распределения оценки или ее дисперсия„то можно указать пределы, в которых с большой вероятностью находится неизвестное значение параметра.
Эти пределы легко выражаются через дисперсию оценки. Однако иногда дисперсия может вависеть от неизвестного параметра. В атом случае границы, в которых лежит неизвестный параметр, тоже зависят от значений этого параметра и, следовательно, пользоваться такими границами нельзя. РассмотРим выбоРкУ х„хю ., „х„с Р (л. ( )— = Рэ (х, О), где Π— неизвестный параметр. Предположим, что нам удалось найти функции О = 8 (х„..., л„) и О= 6 (з„..., х„) такие, что 0(0 при всех х««..., з„ и при любых значениях О: Р(0(х„..., з»)(0(0(хы..., х„)) =1 — 2а, т.
е. вероятность того, что случайный интервал (О, 8) накроет неизвестный параметр О, не зависит от параметра О, интш валькыи оцинкн 187 Р ~~ — ~ (ив~= 1 — 2иа Р(х — ив — (а(х+ и„=1=1 — 2а, (5.1) ~/в .,/-в',— где ив определяется как решение уравненкя О $ — )е ' Их=и, ив (5.2) Таким образом, мы нашли доверительный интервал а а (х — и =, х + и„= ~ для параметра а. в- у-l Более естественной является ситуация, когда оба параметра, аи и, неизвестны. В этом случае воспользуемся теоремой 3.5, согласно которой величина т, = =)Ги — 1 ~/ ви имеет распределение Стьюдента с в — 1 степенями свободы.
Отсюда, определяя 1,, как решение уравнения Р ( ~ т, ~ ( г„, 1) = 1 — 2и, (5.3) получим, что Р '(х — ~а, в т у' — 'у- ( и ( х + Га, а ' ~~:1) = 1 — 2и. (5.4) Найдем теперь доверительные интервалы для параметра о'. При известном а воспользуемся тем, что величина )(„' В этом случае интервал (О, О) называют доверитальимм интерваюм для неизвестного параметра О, соответствующим дааеритальной вероятности 1 — 2а. В ряде случаев функции О и О, обладающие указанными свойствами, можно найти. Пусть имеется выборка х,„.. „хв, причем величины хз распределены нормально с параметрами (а, о'), а параметр о известен. Найдем доверительный интервал для а.
Случайная величина х = (х, +... + х„уи имеет нормальное распределение и Мх = а, Ох пав. Следов — а вательно, величина в распределена нормально с паап в раметрами (О, 1) и ее распределение не зависит от а, От- сюда 188 элементы ИАтемАтическои стАтистики (гл. 9 = яз/о', где я'= ~ (х„— а)', имеет распределение у' с п В .1 степенями свободы. Пусть )(„' „является решением ураввения Р (Х' > Х'. ) = (5.5) 1з Юз а Тогда Р (т, „„( —, ()(„, „~ = 1 — Зх и, следовательно„ Р (Я/)(, < о( Я/)(, „,„) = 1 — 2а. (5.6) При неизвестном а воспользуемся теоремой 3.4.
Поскольку величина пти,(о~ имеет распределение )(' с п — 1 степенями свободы, то Р ()~поз/2 „, (о ( )~пт;~уз „,) = 1 — 2а. (5.7) Среди прикладных задач встречаются такие, при решении которых приходится сравнивать средние двух независимых выборок. Для такого сравнения полезно иметь доверительный интервал для разности соответствующих выборкам математических ожиданий. Пусть хп, хм,... ...,х,щ, ( = 1, 2, независимы, нормально распределены и Мхм — — а„0хы — — о', 1=1,2,Й=1,...и,, Найдем доверительный интервал для а, — а,.
Положим и п 1 ч1 1 ч1 хм тз'= — .у (х1з — *1)з 1=1,2. 1=1 з=1 Из теоремы 3.4 и из независимости выборок следует, что Х„хз, т „т,з независимы. Кроме того, величина п,т„/о' имеет распределение )(' с п; — 1 степенями свободы. Следовательно, величина (и,т„+ а.,тт)/о' имеет распределение (з с п1 + пт — 2 степенями свободы.
Таким образом„ величина (у1 — гэ — (а1 — а,))/с тп,+п~-3— п1иьп + п2тм (п1+ пв — 2) У )/тмо + п1тм имеет распределение Стьюдента с п + п — 2 степенями свободы. Используя величину (5.8), легко выписать доверительный интервал для аг — а,. 189 интнгвальныи оцвнки При построении доверительных интервалов (5 1), (5.4), (5.6), (5.7) и величины (5.8) предполагалось, что элементы выборок имеют нормальное распределение. Пусть теперь лп кю..., х„— произвольная выборка. При больших л можно построить простые приближенные доверительные интервалы без предположения о нормальности хю Найдем, например, доверительный интервал для параметра ат = = Мхю Пусть о' = Олю Тогда по центральной предельной теореме распределение величины з,+х~+...+х„— па г з сф'й 1/з9л близко к нормальному распределению с параметрами (О, 1).
Если о,', — состоятельная оценка параметра о', то распределение величины (й — а) )/л/о„тоже близко к нормальному с параметрами (О, 1) и, следовательно, 1пп Р(~ ' ~ (и„)=1 — 2я, п или с„ с Р ~и — ив — "(а(х+ и„— ~) 1 — 2а (6.9) 1/6 уй) при и -~ оо. Рассмотрим асимптотическое равенство (5.9) в двух частных случаях.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
