В.П. Чистяков - Курс теории вероятностей (1115342), страница 31
Текст из файла (страница 31)
Состоятельность оценки и была доказана в $3 (см. (3.13)). Пример 2. Пусть О = р, =М(х„— Мхе)е. Положим 0„*= Р, где Р определено формулой (3.8). Из соотношений (3.9) и (3.13) следует несмещенность и состоятельность оценки О,",. Выборочная дисперсия те не обладает свойством несмещенности (см. (3,7)), [73 ВЛВМВВТЫ МЛТВМЛТИЧЗШКОИ 0ТЛТИСТИКИ [ГЛ. Э 4.3. Деетаточвые етатветшш.
Может оказаться, что вся полезная информация о невввестных параметрах содернштся в небольшом числе фувкцвй, аависящих от выборки (х[,..., х„). В етом случае, особенно при больших объемах выборки, задача построения оценок может значительно упроститься. Различные функции от выборки обычно называют стаягистиками. Обозначим Ре (А) закон распределения вероятностей случайного вектора (хг, хг,..., х„) с Р (хг ч х) = Р (г, 9).
Статистика Х = Х (хг,... ..., х„), скалярная или векторная, называется досгиаточной для параметра О, если для любого события А условная вероятность Ре(А )'Х) не зависвт от 9. Определенная таким образом достаточная статистика Х подытоживает все существенные сведения о параметре О. Действительно, вероятность любого события, которов может произойти при фиксированном Х, ке зависит от О, в, следовательно, оно не ыожет содержать дополввтелькой информацвн о неизвестном параметре 9. Очевидно, что Х = (х„..., х„), т.
е. сама выборка является достаточной статистикой. (Событие А является подмножеством множества аначевий (х„..., х„), и, следовательно, Рз (А ( Х) при любом О есть либо О, либо [.) Больший интерес представляют случаи, когда размерность Х меньше и. Приведем теорему, позволяющую практически находить достаточные статистики. Т е о р е м а 4А. Пусть рэ (и), и = (иы .. и„),— совмескгиая плотность распреде.гения случайной выборки х[, х„..., х„, где хз = хз (и) = из, й = (,..., и. Статистика Х = Х (и) доетаточна для параметра О тогда и только тоеда, когда ре (и) = уэ (Х (и)).Ь (и), (4.3) вдв ув, й — неотрицательные функции и Л не вависит от О.
гуля дискретного случайного вектора х = (хг,..., хн) утверждение теоремм сохранится, если ре (и) понимать как вероятность события (х = и).' Доказательство приведем только для дискретного вектора *. Пусть В = (ип), и[з),..., и[ ),...) — множество значений Х = Х (и) (и ен В) — некоторая достаточная статистика. Выберем какое-нибудь ищ) ш В и положен о = Х (ий)). Тогда Р (х = и[Г)) = Р (х = и[ ), Х (и) = о) = = Рэ (Х = о).Р (х = и[~) ) Х = о), Первый множитель в правой части зависит только от о и неизвестного параметра О, а атаров множитель по определению достаточной статистика (в качестве А нужно взять событие (х = и[е))) не зависит от О.
Таким образом, получили (4.3). Пусть теперь выполнено (4.3) и Х вЂ” некоторая статистика. Покажем, что Х вЂ” достаточная статистика. Найдем условную вероятность Р, (А ) Х = о). Используя (4.3), получим Р(Х=о)= ~ рс(ибО) = ~ у,(Х(и[")Дй(иш)) = ч[г)Ы[х=е) ч[) )я[Х=г) бо (о) лл Л (иг)г ч[г)Ш[Х вЂ” г) Р(А П (х и)) = ~ ле(х(ийп)) й(и(з>) и (и) ~ й(и(ю), «(ь)н» «(с)ы» где В = А Д (Х = и). Отсюда находим, что условная вероятность Р(А)Х =и) = ( ~ й(и(Ю))/( ~ й(и(Ь>)) и, следовательно, не зависит от 6.
Теорема для дискретного случая доказана. Рассмотрим два примера. П р и м е р 3. Пусть х,, *,, ..., х„ — независимая выборка с Р (хз —— и) = В» (1 — 6)(» (и = О; 1), й = 1,..., н. Тогда ре(и)=Р(хь=им °,х =и„) = ~~~~ ««- Я «з = П В"ь(1-6)' «в=бе=' (1-6) « 1 Ч 1 Это равенство для статистики т = — ь хг имеет вид(4.3) с й (и) = и Геы ж 1, у (и) = 6«» (1 — В)"-"», Рассмотренная в данном примерз выборка определяет и испытаний схемы Бернулли с вероятностью появления всхода 1 в каждом испытании, равной В.
Таким образом, показало, что достаточной огатвстикой для вероятности успеха в схеме Бернулли является частота л. П риме р 4. Пусть хм х„..., х„— независимая выборка, в которой хз (й 1,..., а) имеет нормальное распределение с параметрами (а, ов). Будем искать достаточную статистику для двумерного параметра В = (а, оз). Плотность совместного распределения выборки равна п ре(и) = е"р~ — 7 (из а)~~ ( 1 и(( ПГГ,~" Г *.? и =(рс2яс) ехр( — "а- — (( ~ изз+ а ~~)~~из~. г=( с-1 Отсюда, так же как в предыдущем примере, нетрудно получить, что достаточной статистикой является двумерная статистика ( ~ хз~. Так как обе функции етой статистики можно вые з ь=д равить через и и вв без использования авив, то (л, вз) тоже достаточная статистика. Приведем теперь частный случай теоремы Рао — Блзкуалла— Колмогорова.
Эта теорема позволяет по данной оценке найти оценку с мекыпей дисперсией, если известна достаточная статистика. Т е о р е и а 4.2. Пусть х(,..., х„— и»завис«мах вил»рва с Р (ху < х) = рй (х, 6), Вз — нвсмви(аннах ввснаа вараивтра !80 ЭЛЕМЕНТЫ МАТЕМАТИЧЕСКОЕ СТАТИСТИКИ (РЛ.
9 8 и Х вЂ” достаточная статистика. Тогда дисперсии оценок Ос а и Оч = М (Оас ) Х) удоелетеоряют ераеенстеу ПОс ) 00о Доказательство проведем для случая, когда Оса и Х имеют дискретное распределение: Р (Ос = ию х = ос) = рк с, а, ! = = 1, 2,... Из формулы полного математического ожидавия (6.6.3) следует, что МОо = М [М (Оас ( Х)) = МОса = О. Поэтому для доказательства яужяого неравенства достаточно показать, что М (Оо)' = М ((М (8с ( Х))') ~ М (8с)'.
(4.4) Пусть р с — — ~~ ру Р Тогда М (Оа)' = 1С игр„и М((М(Оа(ХЦг)= е е,с к,с 'Гс р ( р ик С р с. По неравенству Коши — Буняковского е "рс Умножив обе части этого яеравевстеа на р.с и просуммировав по всем !, получим (4.4). Теорема доказана. 4.3. Неравенство Рао — Крамера. Пусть х = (х„...
..., х„) — независимая выборка, в которой хк (й = 1,... ..., и) имеет плотность распределения р (о, 0), где О— неизвестный параметр, а о — переменная плотности распределения. Положим С = (ьч р (о, 0) ) О) и С„=(и=(и„...,ин): исб— : С, с=1,,,и). Совместная плотность распределения ре(и) = р (и„О)...
...р (и„, О) выборки (х„..., х„) отлична от 0 на множестве С„. Пусть 6 = О* (х„х„..., х„) — несмещенная оценка параметра О. Тогда МО* = О. Это равенство можно записать в виде О= ~ Оа(и)рэ(и)с(и, и=(и;,...,и„). (4.5) Сн Оценим 00" в следующих условиях регулкриоетис 1'. Множество С = (сс р (и, О) ) О) не зависит от 6. 2'. Выражение в правой части (4.5) и выражение о ) р (и, О) с(и можно дифференцировать по 0 под знаком Ф интеграла.
101 точечные Оценки 3'. Выражение Х(О)= ~( де ' ~ Р(и, О)ии™ ~ де"' ~ (4.6) а положительно. Так как Рз (и) — плотность распределения, то 1= ~ ре(и)8и,, и=(и;...,,и„). (4.7) оп Проднфференцировав (4.5) и (4.7) по О, найдем 1= ~Ои (и) Рз ии, 0= ~ Ре ди. (48) о„ с„ Умножим теперь второе равенство в (4.8) на 8 и вычтем из первого.
В результате выполнения указанных преобразований получим дрЕ (и) 1= ( (0*(и) — О) — Ии, дЕ оп Так как на множестве 6 плотность ре (и) ) О, то дрз (и) д 1в ре (и) де до Ре (и). Подставляя это выражение в (4.9) и используя неравен- ство Коши — Буняковского, находим 1= ( ')(0„(и) — 0) 0 Ре(и)йи) т~ оп / д 1п ре(и) 1з ~~ ~(Ои — 0)'Ре(и) Ыи ~ ~ ) Ре(и) Ыи оп о„ или (4.10) Выразим второй сомножитель в (4.10) через величину 1 (О), определенную (4.6).
Из равенств (4.8) при и = 1 следует, что 1 М (4 11) 182 ' ' злемвнты млткмлтичискои стАтистики (гл. э о Так как )п ре (х) = Д 1п р (х„, О), то Кьк ~ .' )=~ д!прэ(э) )з ~-1 д1пр(э„б) д1п р(з,в) кд-к Отсюда, учитывая независимость сомножителей при й чь 1 и равенство (4Л1), находим Подставляя это выражение в (4.10), получим окончательный результат: О 8*„>,'„,, (4Л2) где Х (О) определено формулой (4.6). Это неравенство называют нераденхтдом Рао — Крамера. Аналогичное доказательство может быть проведено и для дискретных выборок. В этом случае нужно использовать представление э (О) в форме математического ожидания о).
Назовем эффективностью несмещенной оценки 0„*, удовлетворяющей условиям регулярности 1' — 3', величину э (0„*) - (ЛУ (0) Обо)- . (4ЛЗ) Из неравенства (4.12) следует, что 0 ~( е (ОД)~( 1. Оценку 8о называют эффектидной, если е (8"„) = 1. Оценка 8з параметра 0 может оказаться асимптотически нормальной с параметрами (8, озlи) при п-ь оо даже в тех случаях, когда ()О*„не существует. Асимптотической эффективностью назовем величину е (О"„) = (аз1 (О)) к. Оценку Оь называют асимптотически эффективной, если ез (8~) = 1. Вычислим эффективность нескольких оценок. П р и м е р 5.
Пусть хк, хз... х„— независимая выборка, соответствующая нормальному распределению с параметрами (а, о'). В качестве оценок а и оз возьмем выборочное среднее х и величину э', определенную формулой (3.8). Обе оценки являются несмещенными и состоятель- ° ) Можно показать, что неравенство (4.12) обращается в равепство, если оценка О„является достаточной статистикой, точичвыв оцвнки ными (см.
примеры 1 и 2), Мх= а, Мг'=о', 0х = —, 0зт = ' + 0( — ) . с' Р4 — Рв /$~ и ' э юР ~ ' В примере 5 4 2 гл. 7 были найдены центральные моменты нормально распределенной случайной величины; в частности, М (х„ — а)е = Зо4. Подставляя это значение в формулу (3.11), получим точную формулу для 0тэ ~ . 2 (и — 1) о')и'. Отсюда 0Р = 0 ( — ш,~ = 2о4)(п — 1), Для вычисления эффективности нужно еще найти величину 1 (6) для О = а и О = о', По формуле (4.6), полагая р (и, 6) = р (и, а, о') = (2яо')-'и охр~ — -(-~ф-~ > находим /х — аж 1 1(а) = ~ ~ —,) р (и, а, оэ) аи = —,, Ф Ф ' М (х — а)э 1 ~з 1(о')= ~ ( 2~, — 2~т) р(и,а,о*)да=а О~ По формуле (4.13) получаем е(х) =1, е(з')= — (1. Итак, оценка х является эффективной„а оценка еэ асимптотически эффективна.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
