Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 33
Текст из файла (страница 33)
А так как Мв'(/1 — «(О)) (!в — «(0)) =й(0) 6=6, й(е)=!. ь 190 Далее статистика, имеющая конечный момент второго (а следовательно, и первого) порядка, называется гильбер- товой. Ю Теорема 1. Пусть '4= ф,...,4„) — выборка из распределе- ния Г(х, О); 0ея6. Для того чтобы гильбертова статистика 1(4) была Н.О.М.Д. для т(8), необходимо и достаточно,. чтобы для всякой гильбертовой статистики Ч=з(4), такой, что Мвт)=О, Ме(($)ч=О.
(8) - Доказательство. Пусть 1(4) — гильбертова несме- щенная оценка дли т(8). Если-гильбертова статистика Ч= =зЯ) такова, что МВЧ=О, то 1(9+ЛЧ таиже несмещенная гильбертова оценка т(8) для всех Л. При этом р„= Мв(1(8) — (8)+ ЛЧ)в =М (1д) — (О)) + + 2ЛМв (1 Д) — т (8)) Ч + Л'МвЧ*, и,.дифференцируя по Л, найдем (Мв (г (в) т (0) Ч)в т(п арь = Мв(1(В) — 'т(0))в= х мвч' при мара-т(Е)) ч мвч' Пусть 1(4) —.Н.О.М.Д. для т(8). Тогда для всякой гильбертовой статистики Ч=з Я), ММЧ=О: Мв(1($) — т(8))в< пю)пМв(1($) — т(8) + ЛЧ)' = ( . ()), (мв(гФ-т(0)ч)* меча 'Отсюда 'следует (8): О = Мв (1(В) — т(0) ) т) = М',1(4) Ч.
Наоборот, если условие (8) выполнено для всякой гнльбертовой статистики Ч=з(4), МеЧ=О, то Мв(1($)+ ЛЧ вЂ” т(0))'~)пппМв(1($)+ ЛЧ=т(0))в = ь = Мв(1(ь) — т (О))*. Следовательно„1(4) — Н.О.М.Д. для т(8), так как в виде 1(4)+ЛЧ можно представить любую гильбертову несмещенную оценку т(8). ~ 3 а м е ч а н и е. Множество гильбертовых случайных величин, т. е. случайных величин с конечнымн моментами второго порядка, образует линейное пространство. Действитель- 199 но, если М~'< оо, М11'< оо, то и М (а~+Ьт~) з = азМ(з+ +2аЬМ~т~+Ь'Мцз<а'Мь'+2 ~ аЬ | (М~~МюЯ Чз+ЬзМцз < оо. Это линейное пространство 'превращается в гильбертово пространство, если в нем задать скалярное произведение (ть ь) =Мч~, а элементами считать классы равйых с вероятностью единица случайных величин. Норма случайной величины ц определяется как (т), ц)'Р и отождествляется с нормой класса случайных величин, совпадающих с г) с вероятностью единица.
~ Возвращаясь к доказанной теореме, обозначим через 'Не гильбертово пространство гильбертовых статистик ь=1(4), Мв~з<оо. Подмножество Но,, статистик из Н„для которых М~п=0, является линейным подпространством Н.. Рассмотрим гиперплоскость.Н'~+1($), где 1(4)~Н, и Мь|(4) =т(6), т. е. множество всех статистик вида 1($)+ц, т) епН'е. Н.О.М.Д. для т(0) есть элемент 1(5)+На с минимальной нормой, т. е. ортогональная проекция (о($) нуля на 1($)+ +Ною определяемая условием: ((о($), т1).=0 для любой статистики т1еяНо,.
Таков геометрический смысл теоремы 1. 2о. Эффективные оценки При некоторых предположениях о функции распределения г'(х, 0) может быть получена удобная априорная оценка для качества оценивания, известная как неравенство Рао †Краме. Пусть $= (фь...,4„) †случайн выборка объема п из распределения с плотностью вероятности 1(х, 6), хИь Ояйс:Ям Поскольку $ь 1=1,...,п, независимы в совокупности, плотность совместного распределения выборки $ь -, $„имеет вид ~(хуО) =~(хь 0) ..:.1(х„, 0). В статистических задачах (.(х, 8) рассматривается как функция двух аргументов хаят„, Оенй и называется функцией правдоподобия. Если выборку Ь, (= 1...п, образуют дискретные случайные величины, то функция правдоподобия определяется как произведение вероятностей Е(х,.О) =Р(хь 0) ...Р(х„',8), х=(х,г...,х„).
Теорема 2 (Рао — Крамер). Пусть В=йь 1) статистика г(я), $= (4ь ...Яо), является несмещенной оценкой т(О): :М,Г(4)'=т(0), Оеиб; 2) функции й(х, 0) и т(О) днфференцируемы по Ояй; 3) множество тех хаим„, для,которых т-(х, О) )О, не зависит от Оенй н — '1 ((х)У (х, 0)г(х = 11(х) дв(х, В) 200 Тогда [т' (ОЦ» 9 д 1п (. (0, 8) () дО ) причем знак равенства имеет место, тогда н только тогда, когда = а(0)(1(й) — т,(8)) (10) с вероятностью единица для некоторой функции а(8), ЫВ. Доказательство. Дифференцируя равенства $1,(х, 0)Их = 1, ~1(х)Е(х, О)дх =т(8) по О, найдем д) ((" 8) Т(„8) О дО г(х) д1пъ( ' 8) г,(х, 8)Д =т'(8), Оеар .
-д9 Отсюда следует, „что т'(0) = ~ (1(х) — т(8)) ~»' А (х, 8) Их (! 1) н неравенство (9) получается из (11) как неравенство Коши — Буняковского [т'(0)]'<~(1(х) — т(8))'Ь(х, 0)Ы»Г [ ( ' ) ) Е(х, О)с[х. (12) дО Равенство в (12), а следовательно, и в (9), имеет место лишь тогда, когда для некоторого множителя пропорциональности а(О) )~ Е. (х, 8) ' =. ф~Ь--(х, 8) а(0) (1(х) — т(0)). д9 Это условие эквивалентно (10), верному с вероятностью единица, поскольку множество тех $, для которых Е(4, 8) = =О, имеет вероятность, равную нулю.,й„ Определение.
Несмещенная оценка ((О), М~(($) =т(0) называется аффективной, если [т'(8)Р . / д)пЬЯ, О) )» ' В условиях теоремы 2 для того, чтобы оценка 1(4) была эффективной, необходимо.и достаточно, чтобы она удовлетво- 201 Г '4 ффек- л равна ряла условию (10). Так как согласно (10) М ( а!лЬ!с,в) ) а*(0)Ю '(~), то для эффективной оценки . 1)эг(э) = ~ — ~. (13) а (О) Эффективная оценка является, очевидно, Н. О. 'М. д., но обратное неверно. Заметим, что согласно (10) эффективная оценка может су!цествовать лишь -для вполне определенной функции т(О), Если такая оценка существует для т(0), то она-не существует ни для какой другой функции, отличной от ат(0)+Ь, где а и Ь вЂ” некоторые числа.
Рассмотрим примеры эффективных - оценок. Пусть й= = Д!, ..., ~„) — выборка нз распределения Ь/(О, а') с извест- ной дисперсией о'. В таком случае функция правдоподобия имеет вид л . /(,О)=( — „,,' )л р( — ', Я(! 0) ). (14) ! ! Следовательно, л л ~а~Й*. й Я!л !,,[1 у=! ! ! л ! ч-л Поэтому согласно (10) статистика 1(я) = — )'$! является л ! ! эффективной оценкой своего математического ожидания О.
Ее дисперсия в согласии с (13) равна ол/и. Если 4=($!,".,4л) — выборка из /!/(1!, О') с известным математическим ожиданием 1!, то функция правдоподобия будет иметь вид !л /. (х, О) = (=) ехр ~ — — Я (х! — )!)'.),, . 1=! н л л — = — — + — ~~ (хл — 1!)л = — !( — Т (х! — В)л — Ол~ . !=! )=! ! мч Поэтому статистика г ($) = — ~ (э! — )!)л является э л /=1 тинной .оценкой дисперсии О~. Ее дисперсия [т'!(О) /а (О) [ = 204/и. Теорема 2 остается верной, если плотность /(х, 6) заменить на вероятность, интегрирование — на суммирование. рассмотрим пример эффективного оценивания параметра дискретного распределения.
Пусть $= (5!, ...,4 ) — выборка из распределения- Пуассона с' неизвестным параметром 6. В таком случае логарифм функции правдоподобия будет. ,' иметь вид 1п/.(х, 8)=!п П вЂ” е-е = ~~( — О+х!1пΠ— 1п(х!1)), 81 х!! 3 ! 1=! с . л ~-Е(-" )=т(-.' Е*-') 1 ! 1 ! Поэтому л 1(В) = — „~~ ~%1 ! ! эффективная оценка 0 с дисперсией О/п. Рассмотрим так называемое экспоненциальное семейство распределений, для которого определяется семейство плотностей (или вероятностей) следующим образом: Цх', 0) =ехр(а(0) Ь(х)+с(О)+с((х)), хеН!, Оя/1!.
Соответственно функцию правдоподобия запишем как с с /. (х, 0) = ехр (а (8) ДГ Ь (х!) + пс (О) + ~, 'с((х!)», 1 ! ! где х= (х!...„х ), Если а(6) .и с(0) — дифференцируемые фу ц 8'Й~ьто — = а'(0)п [ —. ~~ Ь(х!)+— д1пх, ( 1 ач с'(О) ! да !!'и ат4 'а'(0) ~ 1 1 л Если для Х(х,' 6), т(О) = — с'(6)/а'(О) и 1(а) = — 9Ь(й() .й 1 ! 1 Г1 выполнены условия теоремы 2, то — ~„Ь($!) — Эффективл 1 ! ная оценка т(8) = — с'(6)/а'(8) с дисперсией, равной (т'(О)/(па'(0))~. Экспоненциальному семейству принадлежат многие важные для практики распределения.
Примеры некоторых из них рассмотрейы выше. 203 3'. Достаточные статистики Изучая точечные оценки, следует обратить внимание на тот факт, что при их построении чаще всего не используется полная информация, содержащаяся в выборке. Так, для оценивання математического ожидания по выборке из нормального распределения достаточно знать лишь значение суммы $1+... +4„, а не каждой случайной величины йь /= =1,...,п, в отдыьности.
Если р известно, и по выборке $ь ...Я„из у(р, яе) надлежит оценить дисперсию о', то для л этого достаточно знать лишь ~ ($г — )е)е и т. ц. / 1 Оказывается, что во многих случаях для оценивания параметра 0 распределения т(х, 6) по выборке $ь...,4„можно указать статистику Т(3) = (Т,Ц)-,., Т„®), й<л, (1$) в известном смысле содержащую всю информацию о параметре О. Определение.
Статистика Т($) (15) называется достаточной для семейства плотностей (вероятностей) Е(х, О), 0ви6, хеЮ„, если условное распределение случайного вектора 5 = (е1..- Ь,) при условии Т(е) =1 не зависит от О. На практике йользоваться этим определением для проверки факта достаточности не очень удобно. Более удобно следующее необходимое и достаточное условие достаточности статистики Т(е). Теорема 3 (о факторизации). Т($) — достаточная статистика тогда и только тогда, когда функция правдоподобия может быть представлена в виде Ь(х, 6) =й(Т(х), 0)й(х), хеИ„, 8ви9. (16) Доказательство.
Ограничимся случаем дискретного распределения. Пусть рв(х,1) =Р($-х, Т($) =1~0) Э, если Т(х)Фт, совместное распределение $ и Т($). Тогда распределение Т($) -определится равенством Рв(1) = Р'(Т(ет) =1!0)-= ~~~~ре(х, 1) = ~' Т.(х, О) к :тм-е и соответственно для условного распределения РЦ=х~Т($) = =, 1, 6) = р, (х ~ 1) найдем Ре(х)1) =Ре(х, Юрв(1) = =Е(х,0)~ Я Т.(х,0) =й(х)/ ~ й(х). мтм~ .:т4=т Следовательно,. статистика Т($) — достаточная, поскольку Р,(х~1) от 8 не зависит.
Наоборот, пусть р~(х)1)=РЦ= =х~Т($)=т, 0)=1(х, 1) не зависит от О. Тогда ра(х, 1)= =ре(хор,(1) н для Г=Т(х):р,(х, г) =1.(х, 8)=7(х, Т(х))Х Х ра (Т(х) ), что совпадает с выражением (16), если Р,(Т(х)) =д(Т(х), О). В качестве иллюстрации заметим, что в случае нормального распределения У(О, о') функция правдоподобия выборки $ь „$ имеет внд (14), или, иначе, Цх, О) =а(т(х), 0)Цх), где ю д(Т(х)), О) = ейр 1 — кчч х, — — Оз~ (Ф й4 2о' с=и Ь(х) = (=) ехр ~ — — Я х'~. Т-"1 л Следоватеаьно, Т(х) = Я ху — достаточная статнстнка. / ! На самом деле всякая эффективная оценка прн условии (!0) является достаточной статистикой, так как 1п Т (х, 8) = ) а (0) (1(х) — т(0)) с(0+ 1(х) н для 1. (х, О) выполнено условие факторизации (16), где й(Т(х) 'О) = ехрЦа(0)(Т(х) — т(0))ИО и Й (х) ехр 1(х) .
Более того, оказывается, что если Н.О.М.Д. существует, то ее можно найти как функцию достаточной статистики. Этот факт является следствием следующей теоремы. Теорема 4. Пусть Т(х) — достаточная статистика для семейства Ь(х, 8), Венб. Если 1Я) — гильбертова несмещенная оценка т(0), то 1(Т($)) также гильбертова несмещенная ~ оценка т(0), причем Ма(1(Р— (0))к> Ма(1(т(Р— (О));) (1Т) здесь 7 (з) М~ (1 Я) ~ Т($) = з) — условное математическое ожидание 1($) прн условии Т(4) =з.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
