4. Математическая статистика. Ивченко_ Медведев (1984) (1186157), страница 12
Текст из файла (страница 12)
(х; 9) дважды днфференци- руема по 9, то, продифференцнровав тождество ~ Е(х; 9)/)х=— 1 сначала по 9ь а потом по 6/, получим /сл1пс!Х; 6) Е /д-'1и/(Хп 61) (2.34) дб/ дб / ! дб; дб/ Матрица 1„(О) — аналог функции информации !„(6) для случая векторного параметра и называется инфорлюционной матрицей выборки, а 1(9) =1/(0) — информационной матрицей одного наблю- дения.
Соотношение (2.34) показывает, что для схемы повторных независимых наблюдений 1„(0) =п1(9), т. е. здесь имеется анало- гия со случаем скалярного параметра. По аналогии со случаем одномерного параметра назовем не- смещенную оценку Т* = Т" (Х) для т(9) эффективной, если ее дисперсия совпадает прн всех 0 с правой частью неравенства (2,31) (илн (2.32)]. Из теоремы 2.5 следует, что критерием эффек- тивности (а значит, и оптимальности) оценки Т является пред- ставление (2.33).
Приведем пример использования этого кри- терия. Пример 2.9 (оби!ая нормальная модель, оцгниванив среднего). Пусть Х=(Хм ..., Х„) — выборка нз распределения ьэ' (9„61). Требуется оценить параметрическую функцию т(9) =т(9„8,)=6,. Речь идет об опениванин теоретического среднего, поэтому в ка. честве несмещенной оценки можно взять, например, выборочное среднее Х.
Покажем, что в данном случае Х вЂ” оптимальная оценка 6,. Действительно, 1 ( 1 (.(х; 9) = „ехр — - —, Г (х! — 6/)' (92лЦ). ~ 26! ? — функция правдоподобия для модели /ьРч(бм 8;) и непосредст- венно можно проверить, что 6; 01пб(Х: 61 л „„ и дбл По критерию (2.33) отсюда следует, что статист)лка ТЪ(Х)=Х является оптимальной оценкой 9,, / Было показано (см. табл. 2.2), что выборочное среднее Х— оптимальная оценка теоретического среднего и для модели , Ф (0, о"). Таким образом, статистика Х наилучшим образом оценивает неизвестное среднее норл/альной модели независимо от того, известна дисперсия или нгт.
Как и в одномерном случае, эффективные оценки не всегда существуют. Рассмотрим, например, задачу оценнвания неизвест- ной дисперсии нормальной модели. Если среднее модели известно, то, как показано в и. 3 (см. табл. 2.2), выборочная дисперсия ч 1 %~ — лл (Х; — р)6 является оптимальной и одновременно эффективной ю=- / оценкой теоретической дисперсии. Для общей нормальной модели ьт" (9„' 6,') это уже не имеет места.
Во-первых, как уже было показано в 9 2.! (пример 2.3), вы- борочная дисперсия 5' не является несмещенной оценкой функ- ции т(6) =61, а таковой при п)2 является статистика 5", опре- деленная в (2.4). Во-вторых, оценка Я' не эффективная, что можно установить, сравнив ее дисперсию, определенную в (2.5), с нижней границей в неравенстве (2.32). Действительно, по формуле (2.34) в данном случае д„= пЕб (1/01) = и/01, д,.
= д„= (2П /бл) Еб (Х, — 6/) = О, д'а — — (Зл/9',) Еб (Х, 9/)л и,/0„= 2п/01, т. е. для модели ьр (6„01) информационная матрица ! (О) = 11,9;- О 1 Отсюда ое! 1„(0) =д„д., ФО, дэ'=дй =0л((2п) и правая часть в неравенстве (2.32) равна дл' (т.',)л = 29//пг что меныне 261/(и — 1)=06(о'). Это еще пе означает, что существует более точная, чем 3', оценка для 0;. Покажем, что в данной задаче вообще не существует эффективной оценки (нижняя граница в неравенствах (2.31) — (2.32) не достигается ни для какой несмещенной оценки 0,"), но оптимальная оценка Т* существует, н это Я'.
Воспользуемся аналогом критерия Бхаттачарня для векторного параметра, который имеет следующий вид: если при некотором целом в =-2 н коэффициентах с. =-с. (9) имеет место представление Т вЂ” т= /. ~ с/дб + ~чс// дб дб + ' '. + ~~ с//"'/к дб, ... дб;, (2.35) ! /./ то статистика Т = Т(Х) есть оптимальная оценка функции т = = т (0), . 03 Применим этот критерий к рассматриваемому случаю.
Имеем: 1 д). д)пЬ 1 К) ь л - - = — = — ~~ (Х( — 8,)* — — = ь дв, дв, =61 л.'~ ' 6, (=1 = —, 'у) (Х! — Х)ь+ —, (Х вЂ” 6!)ь — —, 1.ю, 1 )=! 1 дЧ. дь1пЬ д1п!.)ь л~ п 1 Отсюда 1(ьь1 дЬ Ь (!л — 1 д62 — — У (Х,-Х) -9,'=;5п-8;. л[л — 1)д61 л — 1 лн 61 дч.) 1 ч1 — 6 ь,! 1=! Ка основании критерия (2.35) это означает, что статистика Ть=3' является оптимальной оценкой для 01 в модели ьл (6„Вь). Итак, в задаче оценивання параметрической функции т(8) = 6; для модели ь4"(8„ 81) имеет место более точная, чем (2.32), оценка для дисперсии несмещенных оценок т(0) — это оценка Рьт~20Яп — 1); при этом равенство достигаетс~~для статистики Т =о".
й 2.9. Принцип достаточности и оптимальные оценки Рассмотренные в предыдущем параграфе критерии оптимальности оценок имеют сравнительно ограниченную применимость. Во-первых, они требуют жестких условий регулярности исходной модели и, во-вторых, в лучшем случае позволяют находить оптимальные оценки для отдельных параметрических функций т(0). Так, например, было установлено, что оптималь. нол оценкой для дисперсии 91 модели ьФ" (вп 81) является статистика 8', но решить вопрос об оптимальном оценивании среднеквадратического отклонения 8, с помощью изложенных выше методов нельзя. Более эффективным способом построения оптимальных оценок является использование достаточных статистик, рассмотрению которых и посвящен настоящий параграф.
1. Достаточные статистики, По определению, статистика Т = = Т(Х) (вообще говоря, векторная) называется доспиппачной для модели 6"=(г'(х; 6), 6 еп(0)) (пли достаточной для параметра 9, когда ясно, о какой модели идет речь), если условная плотность (или вероятность в дискретном случае) 7.(х)1; 8) случайного вектора Х =(Хп ..., Х„) при условии Т(Х) =! не зависит от параметра 6. Это свойство статистики Т означает, что она содержит всю информацию о параметре 6, имеющуюся в выборке, и поэтому все заключения об этом параметре, которые можн(Рсделать при наблюдении х, зависят только от (=Т(х).
Кожно также 04 сказать, 'что все статистические выводы о модели, обладающей достаточной статистикой, в итоге формулируются в терминах этой достаточной статистики. Достаточная статистика, следовательно, дает оптимальный в определенном смысле способ представления статистических данных, что особенно важно при обработке боль- ших массивов статистической информации. При этом обычно стре- мятся найти достаточную статистику минимальной размерност)г, представляющую данные в наиболее сжатом виде, в этом смысле говорят о минимальной достаточной статистике (очевидно, сама выборка Х всегда является достаточной статистикой, ио эта ста.
тистика тривиальная, так как пе сокращает данных). Приведем критерий факторизации, позволяющий в каждом конкретном случае определить, существует ли достаточная стати- стика, и одновременно установить ее вид. Теорема 2.7 (критерий факторизации). Для того чтобы ста- тистика Т (Х) была достаточной для 6, необходимо и достаточно, чтобы функция правдоподобия й (х; 6) имела вид л (х; 6) =в(т(х); 6)й(х), (2.36) где мнажшпель а может зависеть от 6, а от х зависит лии(ь через Т(х), множитель й же ат параметра 6 не зависит. (:1 Приведем доказательство для дискретной модели.
Если ста- тистика Т достаточна, то при любом ! из области значений Т(х) функция (Х(х)1; 9) не зависит от 9 и ее можно записать в виде й(х, 1). Пусть Т(х) =1; тогда событие (Х=х) ~(т(х)=!), по. этому Е(х; 6) =Рь(Х=х) =Рв(Х=х, Т(Х) =1)= = Рь(Т(Х) =!) Рв(Х=х1Т(Х) =1) =й(1; 9) й(х11; 6)= = й (Т (х); 6) й (х, 1), т. е. выполняется представление (2.36). Обратно: пусть имеет место разложение (2.36), Тогда прн любом х такам, чта Т(х) =1, 7,(х:1; 8) =Р,(Х=Х!Т(Х)=() =~6(х=* ~т(")=() = Рв (Т (Х) = С) =Л(х; 0) ~ 'У', С(х'1 В)=д(1; 6)й(х) ~ у; д(1; В)й(х')= 1 ьа г(х')ьн 1 м! г (ь') = ! =й(х) ~ 'У', й(х'), 1*': г(п )=! т. е. не зависит от 6.
Если же х таково, что Т(х)Ф1, то, оче. видно, 1.(х/1; 6) =О. Таким образом, в любом случае (при лю- бом х) условная вероятность 1,(х)й 6) не зависит от 9. ° Отметим, что всякая эффективная оценка является одновре- менно достаточной статистикой, так как (см, (2.21)1 из представ- ления т(х) — (в) = (0) следует форма (2.36) для 1,(х; 6). Итак, эффективная оценка'существует только тогда, когда имеется достаточная статистика. Но последняя может существовать и при отсутствии эффективной оценки, т.
е. условие достаточности является менее ограничительным, чем условие существования эффективной оценки. Заметим также, что если Т достаточна, то таковой же является и любая взаимно однозначная функция от Т. Действительно, если Н=-<6(Т) и Ч вЂ” взаимно однозначная функция, то существует обратная функция ср-!! Т =- !9-! (Н) и из представления (2.36) имеем й(»; 8) =д(Ч!-!(Н); 9)Ь(х) = а!(Н; 6) Ь(х), т. е. Н вЂ достаточн статистика. Примерами достаточных статистик для ряда моделей со скалярным параметром являются (с учетом сделан»ого замечания) эффективные оценки т', приведенные в табл.
2.2. Рассмотрим еще несколько примеров нахождения достаточных статистик для моделей с векторным параметром и для нерегулярных моделей. Пример 2.7 (общая нормальная модель, достаточная статистика для нее). Функцию правдоподобия для общей нормальной модели 4 (9„8;) можно записать в виде ! у л (х — ад"- !=.! откуда в силу критерия факторизации имеем, что статистика и Т=(Т„Т,), Т,=Х, Т,=ч (Х,— Х)', является достаточной для 6=(8„8,). Пример 2.8 (равнол!ерная лшдель, достанючная статистика для нее). Пусть модель,У'=/7(0, 8).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
