М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 33
Текст из файла (страница 33)
Скалярный параметр. Обратимся к задаче несмещенного оценнвання параметрнчекон;;)нкцнн ср(8) в кишели (Я, Я)(РВ, Оеехз)). Пусть Т(х)— достаточная статистика. Как было установлено в $17, еслн за эффективность оценкн прннять величину ее дисперсии, то можно ограннчпться оценками внда 5(х) д(Т(х)), не проиграв в эффектнвностн. Еслн же оценка ищется в анде й(Ч(х)), где статистика У(х) не является достаточной, то происходит проигрыш в эффектпвностн, если только й(Ч(Х)) не совпадает с а(Т(Х)) с Рв-вероятностью единица, Оее9. Интересно, что проигрыш в эффективности несмещенного оценивання может быть оценен непосредственно через количество ипформацнн по Фишеру.
Напомним, что ннформацня по Фишеру не теряется прн переходе от вьборкн х к достаточной статистике Т(х) и, напротив, уь1еньшается прн переходе' к статнстнке Ч(х), не являющейся достаточной. 185 Т и, в. Козлов, А. В. Прохоров В качестве основания логарифмов в определении Ух (18 примем число е. Вкладом выборки называют величину У(х; В) =- — 1п~(х; О) или — 1пРв(х), д д дв дв (1) соответственно для непрерывной или дискретной моделей.
В случае повторных независимых наблюдений ч У(х,; О) = Я У(х;; О), где У(хи 9) называется вкладом наблюдения х; и определяется формулой, аналогичной (1). Мы предполагаем выполненным условие (49) $ !8: М,(~(Х„9) =О, (2) так что из (2) получаем 1! ),„(0)=О„и(Х„; О).-.-. У В„и(Л,; О) = (х,(01. Ниже мы докажем, что при некоторых условиях регулярности дисперсия несмещенной оценки 5(х) я(Т(х)), где Т(х) — произвольная статистика, удовлетворяет неравенству Фреше — Рао— Крамера: )у,(5(Х)) ~ я (0)з1(„„,(0). (3) Если статистика Т(х) — достаточная, то Ут~х (О) =Ух(О) и неравенство (3) приобретает вид 0с5 (Х) > ~р' (О)",')х (О).
14) Если статистика Т(Х) не является достаточной, то (см. п. 4 $18) тих~ (О) ( г х (О). и нижняя граница (3) дисперсии гцобой несмещенной оценки, являющейся функцией Т(Х), больше, чем нижняя граница несмещенной оценки — функции всей выборки Х. В случае повторных независимых наблюдений неравенство (4) имеет впд 0„5 (Х„) > ~р' (О)"-/(лУх, (О)). (б) Стоит подчеркнуть, что правая часть (б) имеет порядок 1/я, так что стандартное отклонение имеет порядок 1г"гп. Если оценка 5(х) смещенная: М.5(Х) - р(9)+Ь(9) = р(9), то она является несмещенной оценкой $(8), и, следовательно, не- равенства (4), (б) сохраняются с заменой <р(9) на ф(9). !88 л )х (8)= )" 7хт(0) =и/х,(0), ! ! Так как () (х; 8) =.— 1пРо(Х!=-х!) = — !п(01(1 — 0)' ')= д д дО " ' ' ' да д = — (х, !и О+ (1 — х,) 1п(1 — О))=-х„0 — (1 — х!) (! — 0) =. де =- (х, — О)!(О (1 — О)).
7х, (О) =0оУ(Л!! 0)= (8 (1 — О)) то так что в данном случае неравенство [5) обращается в равенство. (П) Для выборки пз экспоненциального распределения мера Р„О>0, задается плотностью л !'о(хл)= Олехр( — О~! .!!), х!> О, ! =1, ..., л. 1=! Наилучшая несмещенная оценка О равна (см. пример (1) $17) л Т (хл) = (и — 1) / ~ хь !=! Вычислим дисперсию Т(Х„): е!! ). Ел йлоТ(Хл)о= ~ ( — ! — — -)л-!е-еЫ! == Ф, Г(л) о =- (и — 1)обо ~ — !'"-и-!е-еЯ> =- Г(л — 2) Г Ил Г (л) " Г (л — 2) о 187 Рассмотрим примеры.
(1) Я= (х„= (х,, ..., х„): х! = 0 нли 1, ! =-1, ..., и), л Ре(х„) =8т!""'(1 — 8)" !" ', Т(х„)= ~ х!, 0< 8< 1. о=! Наилучшая несмещенная оценка параметра 8 имеет дисперсию Г)(Т(Х„))и) =8(1-0) 7 . Вычислим информацию по Фишеру, пользуясь независимостью и одинаковой распределенностью сл. в. Х„..., Х„: =- (а — 1)тОз ( = — Ох, Г(и) л — 2 О„т(Х,.) — " ' 0 Оз= и — 2 а — 2 (6) Подсчитаем информацию Фишера: У(х,; О) = — 1п(Оехр( — Ох,)) =8 — ' — х„, д до /,(О) =о (О-' — х1)= 0- . Неравенство (5) принимает вид 0еЗ(/Г )в0з/и.
(7) <р (О)з/(л/х, (О)) = 0 '/(аО-') =. 1/(пО*), т. е. для наилучшей несмещенной оценки х неравенство (5) обращается в равенство. Щ Условия, в которых будет доказано неравенство Фреше — Рвов Крамера (4), включают в себя прежде всего требование (49) $18, сформулированное при определении информации по Фн. шеру: йй.и(Х; 0)=О, О=Е. ) ....) /х(к; 0)дх, .. Ых„=-1, (8) Так как (9) то в предположении, что операцию дифференцирования по 6 можно перенести под знак интеграла, нз (9) получаем ° ~ — /х(х; О) ах, ... Йха=-О.
г д (1О) 188 Таким образом, минимальная достижимая дисперсия (6) несмещенной оценки параметра 6 больше, чем граница (7) Фреше— Рао — Крамера. При больших и расхождение между (6) и (7) пренебрежимо мало. Для параметрической функции у(6)=0 ', совпадающей со и средним значением отдельного наблюдения, оценка х= у х„'а— несмещенная и является функцией полной достаточной статистики ~~ хь Ее дисперсия равна 1/(л8)', и, с учетом <р'(8)' = с-ю = — 0', получаем для нижней границы (5) значение Соотношение (13) выполнено, если — гх(х; О) =0 при хеиЮО 7ы д да (14) Для повторной независимой выборки равенство (9) приобретает впд (« ~х,(х«' В) «(х«)" =- 1 а требование (13) сводится к следующему: ~ —.
~х, (т«; В) «(х« = О. (15) Еще одно требование, необходимое для доказательства неравеиства (4),— это возможность перевести операцию дпффереицпроваиия под знак интеграла в следующем выражеиии: «~'(8) = — ! ... «5(х)1х(х; 8)«(х« ... «зх„= д0,1 .1 =~ ... ~5(х) — (х(х; В)«(х ... «(х„. д (16) С учетом условия (14) соотношение (16) можно переписать в виде (ср. (11)) р'(8) =М. (З(Х) и(Х; 8)). (17) Теорем а 1. Допустим, что плотность выборки 1х (х, О) дифференцируема по Оеи9, тт — интервал прямой, операция дифференцирования по 8 перестановочна с интегрированием по х в интегралах (10), (16) и выполнено условие (14). Если Б — несме- 189 Сравним леву«о часть (10) с выражением ~ ...
~( — гх(х; 8)фс(х; О)) ~х(х; О)«(х,... ««хп= =~ ... ~Ц(х; 8)У,(х; О)дх,...~.:„=а„и(Х; О). (11) Различие между иитеграламн (10) и (11) заключается в том, что иитегрироваиие в (11) фактически производится лишь по иосителю меры Р«.' Ха — — -(х: т'х (х; О) > 0). (12) Очевидио, если верно соотношение (1О), то (8) выполнено тогда и только тогда, когда ... ~ — ~х (х; О) «(х« ... «(х„ =О.
г д (13) щенная оценка параметрической функции <р(9) и существуют дисперсии о,5(х), О,и(х; 9) =/х (О), то илеет место неравенство (4); в равенство оно обращается тогда и только тогда, когда 5(х) является линейной функцией вклада выборки: 5(х) =ц(0)+а(0) и(х; 9) (18) на подмножестве Рг-вероятности единица. Доказительство. Из условия теоремы вытекают соотношения (8) н (17). Используя (8), перепишем (17) в виде р'(е) =м(5(х) р(е)) и(х; 0), По неравенству Коши — Шварца — Буняковского р'(е) ~1),5(х) 1),и(х; 0), причем равенство имеет место лишь при выполнении условия (18), что и требовалось доказать.
° 3 а м е ч а н и е 1. Для дискретной модели сохраняются все предшествующие рассуждения с заменой плотностей на распределения вероятностей и интегралов на суммы. За меч а н ие 2. Если Т(Х)=(Т1(Х),...,Т,(Х)) — статистика и /т(1; 0) удовлетворяет условиям теоремы 1, то для иесмещенных оценок — функций Т(Х) — справедливо неравенство (8). Следствие. Если неравенство (4) обращается в равенство при всех 0~6, то из (18) находим — 1и/х(х; 0)=а(0)-'5(х) — ср(0)а(0) ', дв (19) (20) /х (х, 8) =--6 (х) ехр (А (0) 5 (х) + В (О) ), и при атом в'(е)/А'(е) =- р(е).
(21) Наоборот, если Ух(х; О) имеет вид (20), то верно (19), а следовательно, (18), т. е. неравенство Фреше †Рао †Кра (4) обращается в равенство. Таким образом, обращение неравенства (4) в равенство имеет место только в случае экспоиенциальной модели (20) и только для оценок, имеющих вид а5(х) +(1 (а, р— любые постоянные), или, другими словами, для параметрических функций вида ~р(0) =ТВ'(0)/А'(0)+б ,(у, 6 — любые постоянные). 2. Векторный параметр. Теор ем а 2. Допустим, что ялотность выборки /х(х; 9), 9 (Оь...,еь)е=6 (9 — область в Йь) дифференцируема но каж- 190 дому 0» «=1; ..., й, векторная статистики 3(х) =(5«(к),...,5,(х)) несмещенно оценивает вектор функцию «р(9) = (цч(6), °, «р. (6) ) и имеют место соотношения — ~ )х(х; 9)«(х = ( — ~х (х; 0) дх, — 1 Я (х) «х (х; 6) с(х =- ~ з (х) — )х (х; 6) «(х, д д дв, . =" 3 ао, 1=-1,...,к, «1х=с)х«...«(х„, а интегралы понимаются как и-мерные.
Предположим также, что д«х (х; 01'до« =: О, «' = 1, ..., й нри х: «'х (х; 9) = О. Если существует матрица ковариаций Ъ«х (9) =-МО(8(Х) — ц'(9))'(9(Х) — «р(9)), и штрих обозначает операцию транснонирования, Равенство в (22) имеет место тогда и только тогда, когда 8(х) =«р(9)+0(х; 9)А(6) (23) на подмножестве Р«геероятносош единица; А (6) — йзс т-матрица полного ранга, зависящая лишь от 9. Доказательство. Аналогично тому, как это сделано в случае скалярного параметра, легко показать, что Мв()(Х; 9)=О, ()(х; 9)=Огай)п~х(х; 0), — «р«(6)=МОо«(Х) — 1пГх(Х; 6), д а дв« так что )х(6)=-П «х,в« --Мви (Х; О)()(Х; 9), ) Мв (9 (Х) МОО (Х)) 1) (Х' 9).
(24) Найдем ковариациоииую матрицу вектора 1У(Х; 6) =9(Х) — МОО(Х) — ()(Х; 6) 1-„'(6) А (9). Си. сноску иь с. 182. 191 и информационная матрица Фишера «х(9) положительно определена, то '> П„ю(6» А(9)Г'(9) А (9), (22) где Проведя элементарные преобразовання, получаем с учетом (24) Йчв= Мв (8 — Мв8 — И-Ч~')'(8 — М0$ — И-'Л'1 = = Н, + Ы-'Н,)- б — И-'Мви ~Ь вЂ” М,Д вЂ” Мв (8 — М08)'И вЂ” 'Ь' = йз — М-'Х', что н дает утверждение (22) теоремы 2. Равенство в (22) возможно, лишь когда Рте=10), т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
