Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 23
Текст из файла (страница 23)
ОЦЕНИВАНИЕ НЕСЛУЧАЙНЫХ ПАРАМЕТРОВ откуда видно, что Х вЂ” смещенная оценка ковариационной матрицы 2'.. Это смещение можно устранить с помощью следующей модифицированной оценки ковариационной матрицы: 2=„',~(х, м)(х,.— м)'. Л 1 Выражения (5.12) и (5.15) определяют выборочную ковариационную матрицу. Однако в дальнейшем, если не оговореноособо, нами будет 'использоваться несмещенная оценка (5.15). При большом У обе оценки практически равны между собой.
Когда случайные векторы Х имеют нормальное распределение, плотность вероятностн выборочного вектора средних значений М также является нормальной. Даже если случайные векторы Х имеют распределение, отличное от нормального, то плотность вероятности вектора М в силу центральной предельной теоремы стремится с увеличением Л( к плотности нормального распределения. Дисперсию оценки М можно вычислить по формуле независимо от распределения случайных векторов Х. Плотность вероятности оценки ковариационной матрицы 2 является очень сложной.
Когда случайные векторы Х имеют нормальное распределение, то плотность вероятности оценки Х выражается распределением Уишарта *): 1 (Я 1)в [ ~ [()~ — л — 2)/2 ехр ~ (Я 1) 1т ~ — 1~ ) РР)— 3(М вЂ” 1)л/2~Р(л — 1)/4 [ ~ [(М вЂ” 1)/2 П Р (У $ — 1 В большинстве приложений рассматривается некоторая мера от дисперсии оценки, а не точное выражение плотности вероятности. В качестве такой меры можно использовать дисперсию отдельной компоненты оценки Х Уаг (в„) =- (1/Ж) 1'аг ((х, — т,) (х, — т,)). (5.18) Равенство '(5 18) является приближенным вследствие того, что в левой части использована оценка и),, а в правой — истинное значение т„при У )) 1 обе части (5.18) практически равны. ~) Различные свойства распРеделения Уишарта рассмотрены в книге [Андерсон, 1963]. 136 Гл.
5. ОцениВлник плРлмктРОВ 1З7 (5.25) или [ "(;") ( в (г> — е) вг = (. (5.26) ) ","„")(о(г> — е)вг= У Поэтому ([ (5.27) ЛХ (Х) = (1/г"т') ~~ Х;,, (5.22) 5.1.3. Оценка максимального правдоподобия. Более общим методом точечного оценивания является выбор при наблюдаемой величине Е такой оценки О, которая максимизирует условную плотность вероятности р(Е/О) или 1п р (Е/О). Иначе говоря, выбирается значение параметра О, при котором Е является наиболее правдоподобным результатом.
Ясно, что эта оценка есть функция вектора Е. Логарифмическая функция рассматривается для удобства вычислений и, будучи монотонной, не изменяет точки максимума. Эту оценку называют оценкой максимального правдоподобия. Она представляет собой решение следующих эквивалентных уравнений: др (г /(Э) д 1п р (г /(Э) ~ дй е е(к) ' д(Э ) е е(к) Эти уравнения называют уравнениями правдоподобия. Пример 5.1.
Найдем оценку максимального правдоподобия для вектора математического ожидания, основанную на наблюдениях гт' объектов, которые имеют нормальное распределение. Уравнение (5.19) примет вид д1п р(Х, ..., Х /ЛХ) ~д д1п р (Х,/ЛХ) дЛХ ~ей дЛХ ~ — — — (Х, — ЛХ) Х (Х вЂ” ЛХ) — — 1п] Х [ — — п 1п (2л) д Г 1 т — 1 1 1 ~~й дЛХ < 2 ) 2 2 е — 1 = Х ' ~ (Х; — ЛХ) . (5.20) =г ' ~(Х,— М) =о.
(5.21) м=м(к) м=м(х) Решением (5.21) является выражение которое представляет собой вектор выборочного 'среднего. Теперь найдем нижнюю границу дисперсии любой несмещенной оценки и покажем, что если достигается нижняя граница, то она будет оценкой максимального правдоподобия. Для простоты приводится доказательство для случая одного параметра., % 5л, ОцкниВлник нкслучлиных плРлыктРОВ Теорема. Пусть 0(Х)' — любая несмещенная оценка параметра О. Тогда нижняя граница дисперсии оценки определяется выражением чае (е(г)) )(е[[ ~ ] )) = ( — е[ р( ~ )]) ).
(5.23) Предполагается, что др(Е/О)/дО и д2р(Х/0)/д02 существует и абсолютно интегрируемы. Любая несмещенная оценка, при которой в (5.23) имеет место равенство, является аффективной оценкой. Д о к а з а т е л ь с т в о. Поскольку О (Х) — несмещенная оценка, то в(е(г> — е) =) р(г(е)(в(г> — в) вг=о. (вг4) Дифференцируя выражение '(5.24)' по параметру О, получим ) [рр(г'е)(е (г> — е) — р(г(е)] вг= о, Преобразуя (5.26) ппрпменяя неравенство Шварца, будем иметь == [ "" ' ""' р (г(е)( е (г) — е) вг = = [ ["";,"'е) (р (г(е))"] ((р (г(ои" (е (г) — е) > вг; Второй сомножитель в последней строке выразкения '(5.27)' является дисперсией оценки. Совместное рассмотрение выражений (5.27) и (5.26) дает первое неравенство в (5.23). «) Это неравенство называют границей Крамера — Рао.
1зо гл. 5. ОцениВлние плРлметРОВ 1зз (5.28) о,= а,(х„..., х.), (5.35) л=1,2, ...,№ (5.31) (5.38) Вторая граница (5.23) может быть получена вычислением второй производной от Дважды дифференцируя выражение (5.28)' по параметру О, получим сИ = ~ р(Е/О) сИ = 0 (5.29) ое .) м 9' У р (Е/О) сИ+ Р р (Е/О) дЕ = О. (5.30) Таким образом, первое и второе слагаемые выражения (5.30)' имеют одинаковые значения, но разные знаки, что доказывает равенство первой и второй границы (5.23). Рассмотрим условие, при котором выполняется равенство в последней строке (5.27). Это равенство выполняется тогда и только тогда, когда о 1п р(г/в) (0 ® 0) /(0) где /(О) не зависит от вектора Е. Поскольку условие (5.31) должно выполняться для всех значений О, то в формулу (5,31) можно подставить без нарушения равенства оценку максимального правдоподобия 0 ~(Е) вместо О.
Из (5.19) следует, что д1п р(Е/О)/д0 = 0 для 0 = 0 ~(Е). Это приводит к равенству О = '" р' '% = (л(я) — 0)~(О) !р д,„, (а.32) Для того чтобы правая часть уравнения (5.32) была равна пулю, оценка 0 (Е) для всех Е должна быть равна 0(Л) = 0.,(Л). (5.33) Возможность того, чтобы /(О ~) = О, исключается, так как мы хотим, чтобы решение зависело от данных Я, а /(О) от Е не зависит. Следовательно, если существует эффективная оценка (т. е. Выполняется условие (5.31)), то она будет оценкой максимального правдоподобия. П р и м е р 5.2.
Как было рассмотрено в примере 5.1, для нормального распределения вектор выборочного среднего является оценкой максимального правдоподобия. Уравнение (5.20) пока- $ 5.1. ОцениВлние неслучлйных плРлметРОВ зывает, что условие (5.31) выполняется для этого примера. Так как вектор выборочного среднего является несмещенной оцен- кой, то для нормального распределения он будет эффективной оценкой вектора математического ожидания. 5.1.4. Достаточная оценка. Определение достаточной оценки дано формулой (5.6).
Однако довольно сложно проверить, что оценка 0)(Х) удовлетворяет условило (5.6), Поэтому введем более удобный критерий проверки достаточности. Теорема (теорема факторизации). Оценка 01(Х) является достаточной тогда и только тогда, когда можно найти две неотриуательные функции /с и д, такие, что р (~/8) = /с ( О (Е) /О ) я (~), (5.34) где д(Я) не зависит от ппрпметра 8. Д о к а з а т е л ь с т В о. Сделаем преобразование Тогда обратное преобразование Х;=Ит,(8н ..., 8 ), л=1, 2, ..., № (536) Если условие (5.34) выполняется, то совместная плотность вероятности оценок 8н ..., 8я определяется выралкепцем р(8~, ..., о.;/о) = р(х,, ..., х,/8)/Р1 = = к(О /8)д[И',(О, ..., О ), ..., И (8), ..., 8 )1/~./~ = = /с(0/8)Ь(0), ..., 8„)/~У3, '(5.37)' где ~./~ — якобиан преобразования (5.35), не зависящий от параметра О.
Маргинальную плотность вероятности р(0)/8) можно вычислить по формуле р ~0/о) =- ~ ... ~ р (6~,..., Ор~/о) нбг~ .. но~ = У 9' = я; (6,(о) 5 ... ) (ц ~ р а <о„..., 6,) ю,... ао. = = /с (8)/8) т(8)), где т(8)) не зависит от параметра О. Таким образом, условную плотность вероятности оценок 02, ..., Ор~ при фиксированной гл. 5. Оценивлние плРлметРОВ где (5.43) (5.44) — (1' (м — м)'х-' (м м)] = Йехр (= Йехр (5.42) Г~ оценке Й! можно определить в виде р (02,... ~ 0)()/81, 0) Р ((~ 1/(~) ~ Ж (~)()) /(О„..., 0„).
(5.39) (61) ) У) Уравнение (5.39) совпадает с (5.6), тем самым доказывая, что 6 является достаточной оценкой параметра О. Обратно, если ®! является достаточной оценкой параметра О, то умножая обе части (5.39) на функци1о й (01/О), получим выражение (5.34). Это завершает доказательство теоремы. П р и м е р 5.3. Пусть снова, как и в примерах 5.1, 5.2, исследуется вектор выборочного среднего в случае нормалы|ого распределения. Тогда р (~/М) = р (Х„..., Х /Л~) = = П (2п) "~~( х( '*ехр ) — —, (х; — м('х ' (х. м)] 1 — — — 1 (5.40) С другой стороны, известно что плотность вероятности вектора выборочного среднего имеет нормальное распределение вектором математического ожидания М и ковариационной л1атрицей Х/У.
Поэтому р(М(Х„..., Х)())/ЛХ) = (2л) "~~]Х/У] ' х х -, (- —,(м — м) (х(х)-'(м — м)]. (5.4() Проверим, будет ли отношение р(х/М)/р(М/М) зависеть от М. Имеем = Йехр — — х (х,. — Ях)'х '(х, — м) р (М/М) — ', ~~р ((х, — м) р (м — м)) х 1=1 ~ х-' ((х, — м) р (м — м)) ~р 1,р (м - м) х- (м м)] — —,' ~~р (х, — м)'х ' (х, — м)) 1=1 ~ 5.2, ОЦЕНИВЛНИЕ ( ЛУЧЛИНЫХ ПЛРЛМЕТРО — п1)() — 1)/2 ! с ~ — 1)() — 1)/2 лт — Р(/2 М = (1//у) Х Х~ Таким образом, отношение '(5.42)' не зависит от М, и поэтому для нормального распределения вектор выборочного среднего является достаточной оценкой параметра М. ~ 5.2.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
