М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 32
Текст из файла (страница 32)
Заменяя интеграл (39) повторным и интегрируя сначала по </ч, найдем, что (39) равен 1 /в<<, (и) 1»й (/»)ц (и)//~,";, (и)) </и =.. /„и < (О,: 9,). Аналогично /,=-./к<и(8,:9,), что и дает требуемый результат. 179 Коротко: для независимых набл<одений информация склады вается. Проверим последнее свойство, предполагая, что меры Рв,, / 1, 2, определяются плотностями. Имеем /хц „,„(9,: 9) —..)<)!' /», (и, ч) !оа(/», (и, ч)//в,(и, ч)) </и</ч, (36) где </и=г/и«... /ид, <(ч=</и<...<(о„м а интегралы в (36) соответственно й-мерный по и и (л — й)-мерный по ч.
Ввиду независимости /»:(и ч) /'<ц хи<(и,ч) =/ ';ц(и)/„т<(ч). <=.1,2. (37) Проверим равенство информаций !т<х< (О< '. Оа) =!х (О< . 'Оа), когда статистика Т=Т(х) — достаточная. В соответствии с предположениями 5 16 найдется статистика У=у(х) такая, что преобразование (1, у)-(Т(х), У(х)) регулярно и с вероятностью единица взаимно-однозначно, так что Ух (О<: Оа) — — !т<хьт<х) (О<: Оа) = 1/тв т (1 У) )од Дта'т (1 У),'Фт!! У)] «ЫУ (40) где <!1=гй«...
т<х, а<у=<(у«... (у„, и интегралы имеют соответствуюшую размерность. Подставляя в (40) факторизацию (23) $16, приведем (40) к виду 1 ) д (1; О ! й, (1, у) ! / ! ' ! ои (я (1; О ),'я (1; О )) Н1<(у. Заменим интеграл (41) повторным и проинтегрируем сначала по у. Учпть<аая формулу (24) $16 ©х,(1) — --д(1;О) «й<(1,у)1,)1-<ду, получаем для (4!) выражение 1 (.' (1) 1ой (!.'.< (1) (оча (11) <Й =. Ут<х< (О< 0*1 что и требовалось установить. 4. Информация по Фишеру.
Предположим вначале, что 0 — скалярный параметр, и рассмотрим информацию по Кульбаку: <(О:О+ЛО) =)1(х; О)!ой(((х; 6)/1(х; О+д<6))«х, (42) где <(х=<(х<...«хх, а интеграл понимается как и-мерный. Будем предполагать, что носитель у всех мер Ра, Оап9, общий, а от плотностей ((х; О) потребуем выполнение свойств регулярности, которые мы не будем перечислять, но которые обеспечивают обоснованность проводимых ниже выкладок. Разложим логарифмический член в (42) по формуле Тейлора: !ой~(х;6) — !од~(х;О+ ЛО) =. — ' ЛΠ— — ' ЬОа, д 1<а,((х. О) 1 да 1ои !(х; П ! де 2 дв» (43) где О лежит между О и О+ЛО. Поскольку (мы считаем логарифм натуральным) 180 1/(х;О) ~ ' 1(х=) /(х; 8) ~ 1(х= до /(х; 01 а а =/' (х; 8) бх = — 1 / (х; 8) их = — 1 = О, (44) то, подставляя (43) в (42), имеем /(О: О+ ЬО) = — — 1/(х; 0) ' Лех1(х.
(45) 2 дех Положим /(0) = — 1/(х; 01 — ~/(" — '1 бх = — Мз Тогда (45) можно переписать в виде /(О: 9+ЛО) = !/х/(О) ЛО + о(50 ). Дифференцируя, получаем а*!Он/(х;О) 1 У/(х;О) / а/(х101 ~г аех /(х; 01 дох / (х; О) 1 ае Но (ср. (44)) (4б) 1 а/(х;О) ( д*/(х;01 ~ /(Х; 01 дех,) дех поэтому, взяв математическое ожидание от обеих частей раиен- ства (4?), где полагаем х=Х, имеем /(8) М, 1 / д/(Х'01 1' М,/ а!Щ/(Х:01 '1з (48) ' /х(х101 ~ ао / а1 ао М,(д!од/(Х; 0)/де) =О, (49) запишем для /(О) эквивалентную формулу /(О) =0,(д!ои/(Х; 0)/де).
(50) Работая с информацией по Фишеру, ыы будем всегда предполагать, что выполнено равенство (49), что обеспечивается требованием совпадения носителей мер Рх и возможностью дифференцирования под знаком интеграла (44). 181 Формула (48) определяет инфоряацию по Фишеру в выборке Х о параметре 8 (мы полагаем прн этом, что ех — интервал в /т'). При условиях регулярности, для которых оправданы приведенные выше выкладки, информация по Фишеру определяет по формуле (46) информацию по Кульбаку для бесконечно близких значений параметра 9 и 9+ЬО.
Используя равенство (см. (44)) Если статистическая модель дпскретна, то формула (50) заменяется на следуюшую: ! (8) = ьт)в (д )ой Ра (Х)/дО), (51) прн этом требуется выполнение равенства, аналогичного (49). Перейдем к векторному параметру 0= (0<,...,Оз), предполагая, что 9 †облас в )<а. Информационной з<аграцей Фшиера назовем матрицу коварнаций ((8) случайного вектора йга<)в!ой ! (Х; 9) =-(д !од у(Х; 9)удО,, ..., д 1оя ! (Х; 9)/дОе), (52) где Х имеет распределение Ре.
При этом предполагается, что вектор (52) имеет нулевое математическое ожидание: Мойгабв!ой!(Х;6)=-0, Они ее, (53) и, таким образом, ! (9) = Мв ((йга<!в!ой ! (Х; 6))' дга<!в 1од (Х; 6)]. (54) (т<х< (9) = М ((йгабв !од !т<х< (Т (Х); 8))' йгадв !од (т<х, (Т (Х); О!), (55) где (т<х< (1' О! — плотность распределения Т(Х) в предположении, что выборка имеет распределение Рв. В частности, у(8) =)х(8). Если выборка или статистика днскретны, то плотности в (53)', (54), (55) заменяются на распределения вероятностей. Перечислим некоторые свойства информации по Фишеру. 1.
Если Т(Х) — подобная статистика, то !т<х<(6)=0, ОыО. 2. Йля любой статистики Т(Х) имеет место неравенство*> !т<х<(9) < (х(9) О шо. 3. Если Т(Х) — достаточная статистика, то )т<х< (О) = (х (О), 0 <ш В. 4. Пусть Х= (Х<п, Х<м), Х«>, Х<м — независимы при каждом Рв, Опии, и для ннх определена информация по Фишеру. Тогда )хп, „„, (8) =. (ха, (8)+ !хсп (8), Проверим свойство 4.
Ввиду независимости Х<о и Х<м 1ой !ха<к<а< (х<'>, х<т<; О) = 1од !к<п (х<п; 8) + !од !ха> (х<'>; 8) *< Напомннм, что анан неравенства Ач;В между мзтрнцамн означает, что разность  — А неотрацатезьно определена. 182 Аналогично определяется информационная матрица Фишера для статистики Т(х): Огас(в !он гас» хсг> (Х"', Хс", О) == = Огас)О 1оНГхс» (Хс'>; О) + игас(В !он Гасе> (Хс"; О), (56) причем векторы в правой части (56) независимы, имеют нулевое математическое ожидание и у них; уществует матрица ковариаций.
В таком случае математическое ожидание вектора в левой части (56) равно нулю, а его матрнпа ковариацнй равна сумме матриц ковариаций векторов в правой части, что и требовалось установить. Свойство 1 очевидно. Свойства 2, 3 ради сокращения выкладок докажем для скалярного парамегра н в дискретном варн- анте. Положим Е.(1)= ~ Р.(). мтса> > Рассмотрим ( а> яре(х) а>еяйе(т(х)) )е Ме( де „( с>ар,(х> ~~иа,<~<хп ) Распишем математическое ожидание в правой части (57): Ре(") с)е(т(")) Р чгч >7е(г) Е Ре(х) с)е(т(х)) ссе(с) ссе(г) д (че(с)) г с)е(г) ) — — — Я Р, (х) = ~Р = ~~)~ ~ — ~ ае(1) = („х,(6).
с)е(г) дв с)е(г) ~ ае(г) ) ! к:т(х> с Таким образом, левая часть (57) равна >х (6) — >тсх> (О) (58) а так как правая часть (57) всегда неотрицательиа, то свойство 2 установлено. Допустим, что Т(х) †достаточн статистика. По теореме факторизации (см. п. 5 $ 15) равенство (59) Р,(х) =н(Т(х); 8))>(х), выполняется при каждом О иа некотором подмножестве У: „ имеющем Р,-меру единица.
Изменим при каждом О меру Р, па подмножестве ~(Э 2е Р>-меры пуль "ак, чтобы равенство (59) выполнялось прн всех х~Ж. Формально статистическая модель при этом изменилась, но с содержательной точки зрения 183 и, следовательно, рт>х>(1;О) =-р«), 1еиК', Они Е, где 1(1) — плотность, ие зависящая от О. Но из этого вытекает, что при всех Оя8 ~ Т <х> «. 9) а1 = 1 7 (1) а1 — --1, У" т. е, (гг(У') =1 прп всех Озим, что доказывает подобие статисти- ки Т(х). Чтобы доказать обращение свойства 3, воспользуемся следую- щим утверждением.
Л е и м а 2 (13, с. 62) . Пусть (К, гн, (Рв, 9 ~ 9)) — непрерыв- ная или дискретная модель. Тогда существует счетное подмноже- ство 9'ыВ>, что для любого подмножества Х'~Х, для которого при всех 8~6' верно РВ(Х') =О, это равенство справедли>во и для всех Оенб. Предположим, что 6 — интервал прямой, статистика Т(х) та- кова, что разность информаций (58) обращается в нуль. Потре- буем от модели, чтобы производные (63) 184 такое видоизменение несущественно.
Суммируя (59), находим (гз(1) =у(1; 9) ~ й(х). (60) ч:т>М Подставляя (59), (60) в левую часть (57), обращаем ее в нуль, что с учетом (58) доказывает свойство 3. Отметим, что свойства 1, 3 допускают обращение, если нало- жить некоторые ограничения, исключающие кпатологпческие» случаи. Предположим, для краткости, что 8 — скаляр, а 9 — не. который интервал, и потребуем, например, чтобы производная д!оц)т;х> (1; 9)/дО (6Ц была непрерывна по 9.
Допустим, что Ттов(В) =:О, Вен 6, т. е. Вз (д!оКТт>х> (Т (Х); О),'дв) =О, Оеи 9, и, следовательно, (см. (53)) д!онат>х> (1' 8)/дО =-О, 8 еи 9, (62) на подмножестве У,с=У переменного 1 (гг-вероятности единица, где Яг — распределение статистики Т(Х). В таком случае зля подмножества 9'г:-9, состоящего иэ всех рациональных точек из 9, соотношение (62) выполнено на некотором подмножестве У'ы ~У, (гг.мера которого равна единице для всех Оен8'. По не- прерывности (62) выполнено при всех 9~9 на У"': — 1ои(т,х> (1; 8) =-О, 1вн К', О = 9, а ав — !одРВ(х), — !ойдо(Т !х)), 0 ~6, д д до дв были непрерывны по 9 (прн х, для которых онн определены).
Пусть с!' — подмнон'ество, определенное в лемме 2, ег" — подмножество рациональных точек нз сз. Поскольку левая часть (57), по предположенню, обращается в нуль, то прн каждом Оеетр — !ой РВ (х) — — 1од Я> (Т (х)) = 0 д д дО дв (64) на подмножестве Ы.о:-оп, имеющем Р,-меру единица, В таком случае найдется подмножество Ф'ыФ, что равенство (64) справедливо прн всех Оееб'Оэо н хей, н при этом для О~ер'Цер" верно Ро(лп') =1 (65) По непрерывности равенство (64) выполнено прн всех Ояб, хее ~Ы', а ванду леммы 2 равенство (65) выполнено прн всех 8е=тр.
Итак, с Р,-вероятностью 1 прн каждом Ое-:тз — !опРо(х) — — !ой()е(Т(х)) =О, О ее о, д д дв дв откуда Р,(х) =До(Т(х))й(х), Оее9, где л(л) пе зависит от 8, т. е. статнстнка Т(х) †достаточн. ф Основание логарифмов в рассмотренных памн информационных мерах не является существенным н определяет лншь единицу измерения. Расчеты в статистике удобнее проводить с натуральными логарнфмами. й 19. НЕРАВЕНСТВО ФРЕШŠ— РАΠ— КРАМЕРА !.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
