Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 24
Текст из файла (страница 24)
Оценивание случайных параметров Когда оцениваемые параметры представляют собой случайные величины, делается попытка минимизировать математическое ожидание функции ошибки между случайными параметрами и их оценками. 5.2.1. Байесовская оценка. Пусть 6 и 0(Х) — соответственно оцениваемый случайный параметр и его оценка, основанная на набл1одениях Х = ~Х1Х2... Хм~'. Тогда можно ввести функцию штрафа так, чтобы математическое ожидание штрафа или риск оценки выражался следу)ощим образом: г = Е (с (,О, Й (Х))] = ~ ~ с (О, 0 (Х)) р (Х, 8) БИО, (5.45) У У где с( ) — функция штрафа, зависящая от случайного параметра О и его оценки 0 (Х) .
Выражение г называ1от байесовским риском, а оценку, л1инимизирующую риск г,— байесовской оценкой. Хотя байесовская оценка является весьма общей и обладает свойством оптимальности в смысле минимума функции штрафа, получить эту оценку в явном виде, как правило, нелегко. Поэтому такие оценки получены для некоторых функций штрафа. ' 5.2.2. Оценка, максимизирующая апостериорную вероятность. Предположим, что функция штрафа с (Й, О (Х) ) имеет следующий вид: (О в области ЛЯ, где ~]й — 0(Х)~~~бр! ( 46 ~1 в противном случае, где параметр 1) и область ЛУ выбраны достаточно малыми так, чтобы условную плотность р(0/Е) можно было считатьпостоянной в данной области.
Пусть Л'р' — объем области ЛУ. Тогда 143 142 ГЛ. 5. ОЦЕНИВАНИЕ ПАРАМЕТРОВ Поэтому М(Х„..., Х„) = ,'(5.45) примет вид г= )р(2)[ ) с(О, О(2))р(Э)2)80~ — [ р(г) [ 1 — [ р(0(г)801 ] р (2) [1 — р (О (2)(2) лр] дг (5. 47) ег =- Е [[] ~ — О (У) )~'1 = = ~ р(г) [ /( Π— О (2) (с р (0~2) 80 (5.56) Если д1п р(7/6) д]п р [121) дО д6 (5. 51) (5.57) д1п р(М/Х,,..., Х ) .дМ Заметим, что подынтегральное выражение (5.47) является неотрицательным. Поэтому риск г можно минимизировать, если оценку 9 (2) выбрать равной значению параметра 9, которое максимизирует апостериорную плотность вероятности р (О/2) . Другими словами, эта оценка есть решение уравнения др (6/7) д 1п р (6/7) 1 = О, или ' ~ = О.
(5.48) е =. е(г) ' д(~ ~ е=е(~) Такую оценку называют оценкой, максимизирующей апостери орную вероятность. Как было показано в предыдущих главах, удобнее иметь дело с априорной плотностью вероятности, а не с апостериорной плот ностью. Поэтому с помощью теоремы Байеса можно (5.48) пред ставить в виде 1п р(()/2) = 1п р (2/О) + 1п р(У) — 1п р(2), (5 4у) д1п р(8,'7) [ д1п р(Я(6)] д]п р(6) сд (с с,,>= сд '( с,с, -)- сд / = О.
(5.50) или, иными словами, плотность вероятности р(0) является более «плоской» функцией, чем р(2/О), то можно пренебречь вторым членом в выражении (5.50), и оценка, максимизпрующая апостериорную вероятность, становится оценкой максимального правдоподобия (5.19) . П р и м е р 5.4. Для нормального распределения -вычислим оценку, максимизирующую апостериорную вероятность вектора математического ожидания. Пусть р(М) — нормальное распределение с вектором математического ожидания МО и ковариационной матрицей ХО.
Тогда выражение (5.50) примет вид (Х~ — Лс)1 — гс (М вЂ” дрс). (5.52) 1=1 .2 5 5.2. ОЦЕНИВАНИЕ СЛУЧАЙНЫХ ПАРАМЕТРОВ =11+ (1/У) ХХо ') ' (1/У),'~, Х; + (1/У) ХХ() 'Л(Х« ° (5.53) 1=-1 Априорное значение МО при малом числе наблюдений У оказывает влияние на апостериорную оценку М. Но по мере увеличения 1)(', влияние математического ожидания МО на оценку М уменьшается, и оценка ЛХ(Х(, ..., Х„) стремится к вектору выборочного среднего. Математическое ожидание оценки М(Х(, ..., Х. ) равно Е(М) = МО, так как Е (ЛХ(Х„..., Хн)1= — ~1+ (1/У) ХХ,, '~ ' (1/У) ~~."( Е(Х,.)+ (1/У) ХХО ЛХо 1=-1 = (1 + (1/У) ХХО ') ' (~ + (1//~) ~~О ') Л~о ™о (5 54) 5.2.3. Оценка, минимизирующая среднеквадратичную ошибку. В качестве функции штрафа можно использовать норму разности между случайным параметром ('р и его оценкой 0(Х), т.
е. с(я (")(~р) ) = ~~9 — ("„)(~р) ~~2 '(5.55) Тогда байесовский риск г (5.45) превращается в среднеквадра- тичную ошибку оценки Й (У): Поскольку подынтегральное выражение (5.56) неотрицательное, то среднеквадратичную ошибку В2 можно минимизировать путем минимизации условного риска при фиксированном векторе наб- людений У: с(О(г) = [((Π— 0(г)('Р(0(2) 80. При фиксированном Я оценка 9 (г') является неслучайным вектором 0 (2) = С.
Поэтому минимизация условного риска (5.57) по вектору С сводится к решению уравнения (д(дС) [ ($ Π— С (' р (0(2) 80 = — 2 ) (Π— С) р (О(2) еЮ = 0„(5 58) У У 141 гл. 5. ОцепиВАнпе ИАРлметРОВ ф в З ОЦЕНИВАНИЕ СЛУЧЛИНЫХ ПЛРАМЕтРОВ откуда получаем ~=- [ ор(0(~) в~= р:((в(~). (5. 59) .'7 Поскольку выражение (5.59) справедливо для всех 2, то оценка, минимизирующая среднеквадратичную ошибку, О(Х) = Е(О/Х). (5.60) Выра1кепне (5,59) хорошо известно как функция регрессии. Таким образом, оценка, минимизирующая среднеквадратичную ошибку, представляет собой вектор математического ожидания апостериорпой плотности вероятности.
Подставляя оценку (5.60) В формулу (5.56), можно получить значение среднеквадратич- ной ошибки данной оценки. При фиксированном Х условнып риск (5.57) равен 1гХ,, где Х~ — коварпационная матрица случайного вектора О. Так как Х~ является функцией вектора наблюдений Х, то среднеквадра- тичная ошибка ' = ~~ [ х, д р (г) вр =- сг в(х, (х)) = Е в (о1, (р)), (вв(> У 1=1 Доказательство представляет собой моднфикаци1о доказательства теоремы Крамера — Рао и поэтому здесь опускается. Для выполнения равенства (5.62) необходимо, чтобы — / (О (~) — О) (5.64) где Й не зависит от Я и О. где О; — компоненты вектора О. По поводу нихтпей границы среднеквадратичной опшбкп существует теорема, подобная теореъ(е Крамера — Рао о границе среднеквадратичной ошибки в случае детерминированных параметров.
Теорема. Пусть 0(Х) — оценка случайного парал(етра О. Тогда нижняя граница среднеквадратичной ошибки между О(Х) и О определяется выражением е((в (2) — в) ) )[е[( р( ' () () = ( — е( ",~ ' ~)) (5.62) где др(2, О)/дО и д'р(Х, О)/дО' являются абсолютно интегрируемыми по вектору наблюдений г и паралветру О. Кроме того, должно быть выполнено следующее условие: (в р(в) ( (в д — в) р (г(в) п = в. (в.рз) е- .'7 Рассмотрим частный случай, когда оценка является линейной функцией от Х;. В этом случае оценка, минимизирующая среднеквадратичную ошибку, выписывается в явном виде.
Пусть М Й = ~ А1Х~ — — АХ, (5.65) где А; — т ,'~ п-матрица, А — т К п11)-матрица. Тогда среднеквадратичная ошибка примет вид .ь = ЕЦΠ— АХР). (5.66) Для того чтобы найти минимум е' по А, реп(11м уравнение д-'/дА = — 2 Е ( (Π— А Х) Х') = О. (5.67) В результате получим А=Е (ОХ')Е (ХХ') '=Бе Я (5.68) где Бек — взаимная корреляционная матрица между случайными векторами "8 и Х, а Яи — автокорреляционная матрица вектора наблюдений Х. Эту оценку йазывают линейной' оценкой.
Подставляя оценку (5.63) в'формулу (5.66), получим среднеквадратичную ошибку этои оценки е = 1г Е [(Π— Ко~Я~ ~Х) (0 — Во~Я~ ~Х) [ = $г [Е (00') — Е (ОХ') Я~ ЯВ7] = = $Г [Во — Бех~х ~ох1 = ~г [~о — Бк ~ох~ог1, (5 69) где Я~ = Я~, в силу симметрии автокорреляцпонпой матрицы. с(0) = с( — 0) (5.70) с (аО( + (1 — а) 02) ( ас (0()' + (1 — а) с (02) при 0 ( а < 1. (5.71) Кроме того, предположим, что апостериорная плотность вероят- 5.2.4. Выпуклые и симметричные функции штрафа.
Вырах;ение (5.60) показывает, что оценка, минимизирующая среднеквадратичную ошибку, является вектором математического ожидания апостериорной плотности вероятности. Этот же факт может быть установлен для широкого класса функций п1трафа, когда апостернорная плотность вероятностн являЕтся симметричной функцией. Предположим, что функция штрафа является симметричной и выпуклой, т. е.
ГЛ. 5. ОЦЕНИВАНИИ ПАРАМЕТРОВ $5.3. интюРВАльною ОцнниВА11ию 147 ности является симметричной функцией относительно условного математического ожидания, т. е. р(О'/~) = р( — О'/~), (5.72) где й' = й — Е (8/Я). (5.73) Тонда условный риск, который требуется минимизировать (см. (5.57) ), определяется выражением г (0(21 = ( с (о — О', р (о(х~ ио = .'7 = [г (о' — о, е(о(х() р(о (д (о =- .'7 ~ с ( — О' -1- 0 — е (о (7(( р (О'(у( НО' = .'7 — ~ с ( — о' -р Π— е (о,'я(( р ( — О'(я( ао' =. .'7 ~ с (8' + 0 — Е (й/У)) р (О'/Х) а(0'. .'7 (5.74) С учетом предположения (5.71) о выпуклости функции штрафа имеем Это равенство выполняется, если 6 = Е(Й/У). (5.76) Поэтому вырахсение (5.76) является оценкой, которая минимизирует байесовский риск для выпуклых и симметричных функций штрафа.
Эта оценка представляет собой вектор математического ожидания апостериорной плотности вероятности параметра Й. 5 5.3. Интервальное Оценивание В предыдущих параграфах рассматривалась задача оценивания, т. е. определение хороших оценок набора параметров по имеющейся выборке. Вычислялись дисперсии этих оценок, однако специально не обсуждалась их статистическая достоверность. В этом параграфе будет рассмотрен вопрос определения вероят- г (6/2) =- — Е [(с (й' — О + Е (О/У)) + с (й' + Π— Е (О/7)))/У) ) ) Š— О' — —, О+ — Е(й/Е) + —,О'+ —,0 — —, Е(й/Я) /У = =- Е [с (й')/У). (5.75) ности того, что оцениваемые величины находятся внутри выбранной области. Эту задачу называют интервальным оцениванием. 5.3.1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
