Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 47
Текст из файла (страница 47)
Гранпца Чернова и расстояние Бхатачария. Как уже говорилось в гл. 3, вероятность ошибки ограничена границей Чернова. Вспоминая (3.100), имеем е(Р(со,)' ' Р(со.,)' ехр [ — [л(г)) = = Р(о) )1 ' Р(о).,)' ~ р (Х!со )1 ' р (Х/со )' АХ. (9.52) , г Р Это неравенство выполняется для всех я, лежащих между 0 и 1. Однако, как мы впделп из (3.101), оптимальное значение 8, ГЛ. 9. СЛУЧАИ МНОГИХ РАСПРЕДЕЛЕНИИ 277 276 ~ 9,З.
ГРАницА чеРновА и РАсстояние ВхАтАчАРия которое дает наименьшую границу, удовлетворяет уравнению — 011(з) /Из = 1и (Р (()) ]) /Р(1о2) ), (9.53)] где 11 (г) — — 1п ~ р (Х/о1 )1 ' р (Х/о )' ИХ. (9.54) Таким образом, выражение (9.52) или 11(г) из (9.54) могут служить критериями разделимости классов.
Как правило, вычисление р(з) представляет собой трудную задачу. Но в том случае, когда обе плотности вероятности нормальны, как ато имеет место в (3.104), 11(з) принимает вид 1 1~(8).= — г (~ — г) (ЛХ1 — ЛХ,)' ((1 — 8) гт+ гХ9)-' (ЛХ, — ЛХ,) + ]( )т)+ ~2! (9 55 ]1 — ь' ]~ ]ъ Из-за трудности нахождения оптимального значения г, а также из-за малой чувствительности г вблизи оптимума выберем г = 0,5. При атом значении г (9.52) по-прежнему дает верхнюю границу вероятности ошибки е, хотя это и не наименьшая граница. Тогда е((Р(о,) Р(о,,)]1~гехр = (Р(о ) Р (юи)]1/2 ] (Р (Х/о ) Р (Х/е1 )]1/з ~Х.
(9.56) где р( — ) = — ]и ] [р (Х(и,] р(Х(и )'иЫХ. / 1 [ (9.57) Ю Величину 11~ — ! называют расстоянием Бхатачария и исполь- [,2 ! зуют в качестве критерия разделимости классов. В частности, для нормальных распределений расстояние Бхатачария имеет вид 1 —, — —, (Л~, — Л~,), (Л~, + Л~,) + 2(1+ + 2 1п 1/з 1/~. (9.58) ] 7'т ! ! ~2 ! Через расстояние Бхатачария можно выразить также и нижнюю границу вероятности ошибки, что можно показать следую- .'щим образом [Кайлат, 1967~.
Вероятность ошибки можно представить как 2е = 1 — ] ] Р (е11) р (Х/91,) — Р (е1,) р (Х/е19) ] дХ. (9.59) Р ! ] ]'(и,) р (Х(и,) — р ( .,1) р (Х]и,] ] ] Х] ( !]]р(и) (т]и )]~и — [Р(и ) р(Х(и )]~~к]'ИХ х ! [] р (и ) р (Х(о~)] 'и -]- [ Р (и ) р (Х(и)] ~к~ ]~ с]т 2[Р(о,) Р(о )]1~2 ехр — 11 —, х Х 1 + 2 1Р (о,) Р (о ) ] 1/з ехр = 1 — 4 Р (со,) Р (о,) ехр — 2!1 ~ —, / 1 (9.60) Комбинируя (9.59) и (9.60), получаем для нижней границы вероятности ошибки е выражение е) — — 2 1 — 4Р (е1,) Р (е1,) ехр — 2р = — — — ],1 — 4е2)'/~, (9.61) где е„— верхняя граница вероятности ошибки е из '(9.56).
Когда е„мало, нижнюю границу е] вероятности ошибки е можно приближенно представить в виде е,— 2 2 (1 — 2е,',) = е„. (9.62) рис. 9.1 дает иллюстрацию для одномерного случая. Суммирование площадей А, Р и С дает Р(о]), а суммирование площадей В, Р и С дает Р(е12). другой стороны, интег- РМ37я4~~) Р(иг)РР!а9 рал (9.59) равен сумме ) площадей А и В.
Поэто- [ ' А му 1 — (А + В) должно С г7 . ' равняться 2(С+ Р), а последнее равно 2е. Рис. 9.1. Вычисление вероятности ошиб- Интеграл (9.59) язве- ки е. стен как вприа11ионное расстояние Колмогорова. Используя неравенство Шварца, можно показать, что расстояние Колмогорова ограничено величиной 279, 278 (9.65) ЫУ = ~У~ЫХ, (9. 67) (9.77) Р 2 Р 2 ГЧ 9 СЛУЧАЙ 1П10ГИХ Р 1СПРБДГ ЗЫ41111 а,в„п инимает значения,3, О,'1, 0,05, нижняя Нижнюю Границу вероятност Опп1б- ки е для д апных из примера 3.4. Так как на 0 0023. Точное значение вероятност ра ца (961) ра а О( о й ки е = 0,019 ближе (в смысле отношения чем к нижней.
р бкп граница Чернова и Будучи границ 1 ами ве„оятпостп ошн кп, б а ают всеми желаемыми тача ия, кроме того, о лада Л. расстояние Бхата р с вой ствамн критериев в 1азделимости, п перечисленными в относительно ство пнвариантности от 1. Свойство п тоб а же пи й. Согласно (2.75), имно однозначных ото ражеп1 вза имн тоб ажении при взаимно однозна~1ном отоора у (9.63) /о1 ) " р(У/1о,) и соответствующие плотности вероятностей р о; и р ЫХ и 11У связаны соотпошениямп области Ы и с и мп 9.64) р ( У/о,) = р (Х/о1,) / ~ У ~, ( ГДЕ ~,1 ~ — ЯКО И ~У~ — б ан этого отображения.
С д . Сле овательпо, Х 6) /1 ',Х/Оо)' ЫХ. (9.66) Р(У/,)~- Р(У/ 2) ~У= ~Р( /о,) Р Р ( ) инварпаптно относительно лю юбого взаимно Таким образом, 11 г инва однозначного отображения. ь по отношению ю к независимым 2. Аддитивность по Е случайные величины х1,..., х ... х„-взаимно при изнака м.
"сли все сл ' независимы, то п + р(~!~~,)'- ргр~~,) ~х = П ~ р ( х. 'о 1 ' р (х,.~о12) ах . Я е ставить в виде суммы функции от отПоэтому р (8) можно предста и дельных переменных 11(8) = — „~ и ~1 р = — „, 1 ~~ р(х /1о1)1 — ' р(х,/о2)р Ых;. ( .
) 1=1 а. Выражение р(г) удовлетво— 9.6). Это можно показать следующим оические своиства. ь обряет' условиям (9 3) — (9.6) . то можно СТОЯНИЕ БХАТАЧАРИ 9 9.3. ГРАНИ! 1А чвРнОВА и РАс 1 ,~ )' 'Р (Х/о1,)'ИХ ~) а» р (8) = — 1п Р ( 1п ((1 — г) р (Х/1о ) + гр (Х/1о2)) И~— (9.69) = — 1п((1 — г)+ 8) = О .69 можно видоизменить: 1-' Х/о2)') 0 Неравенство (9 6 ) 1(8 Х) = (1 — 8) р(Х/1о! гр (О « ° 1). Это следует из то ого что Х =О, /(О, Х) = О и /(1, Х) = р(х/о1,1 ' 1 р(х/1о21 <- О (9 71) ') = Р(Х/и,) ',Х/ ') 1,(Х/„) д~' б) Если р (Х/о1 ) = р~Х/1о2), Р ~Х Р(8) = — 1~(Х/ )' 'р(Х/ ) (9.72) ( р [Х/и,) НХ = — 1и 1 = О.
Р и (Х/о12) поменять местами, в) Если р(Х/о1) и р 1о2 и ми (9. 73) Р,'(8) = — и Р '(8) = — 1п ~ Р(Х/ао) Р(Х/1о ) 11Х ьное значение го удоиз 9.. д1 .54 О пако оптимальное з отлично от К (8) ( ее авнению ,о,, 9.74 влетворяюп1ее ур — Ы11 (8 ) /Ыг = 1п 1о2 ( значением го (9.53) и (9.54) уравнением связано с оптимальным значением го . и (9. 75) 8 = 1 80.
о Р льных го и 8ОимЕЕМ Поэтому для оптимальн (9.76) р'(') =р(.). = 0 5 выражение (9.73)' равно Для расстояния Бха р тача ия при г = (9.54), т. е. 280 Х р(Хи+1(Х 0)2) ИХи+1) ЫХ)~ ГЛ. 9. СЛУЧАЙ МНОГИХ РАСПРЕДЕЛЕНИИ г) Добавляя новую переменную х„+1, имеем +хи р' (г) = — 1а) 1 р(Х, хх,!и1) 'р (Х, х~~!и~)' ЫХНх~~ = ,У— +хо = — )п [р(Х(и1)' 'р(Х(и)' 1 р(х„+,/Х,и)' 'х У, — ОО х — 1а [ р (Х)и,)' 'р (Х)и,)'Рх Х ((1 — г) Р (хи+1/Х, е11) + гр (хи+1/Х, о,)) Охи Ь1 ИХ = = — )х ~ р (Х)и1)' 'р (Х!и.,)1 ((! — х) + х) ЫХ = р (х).
(9,18) Неравенство в (9.78) совпадает с неравенством в (9.69). Таким образом, добавление новой переменной всегда увеличивает 11(г). 9.3.2. Выбор признаков для нормальных распределений. Выбор признаков с использованием границы Чернова или расстояния Бхатачария обычно представляет собой трудную задачу, так как требует интегрирования произведения плотностей вероятности. Можно выбрать признаки, исходя из других физических соображений, и затем вычислить значения критериев.
11о так как при атом требуется выполнить численное многомерное интегрирование, то эти критерии пе могут конкурировать с критерием вероятности ошибки, который имеет более очевидный физический смысл. Поэтому применение этих критериев ограничивается задачами с хорошо определенными плотностями вероятности, для которых критерии допускают явное математическое выражение. Хотя ати выражения получены для нескольких видов плотностей вероятности [Кайлат, 1967], мы рассмотрим только случай нормальных распределений: Для нормальных распределений выбор признаков означает нахождение матрицы преобразования А размерности т Х и, максимизирующей, при данном т, выражение 11„,(г) = — —, г(1 г) [А(ЛХ, Л(,)]' [(1 — г) АХ1А'+ гА,,А ~ х 9 9,9 1'РлниЦА НИЦА ЧЕРНОВА Н РАССТОЯНИЕ БХАТАЧАРИЯ 281 ЛХ вЂ” М Х) и Х2 (9.55) заменены соответственно на (, АЕ А' АХ2А'. Максимизация (9.79) — значи- задача чем в случае дискриминантного а ана- А по- а.
О пако можно найти оптимальное преобразование с помощью численных методов поиска. к . Так как и (г) инвариантно относительно взаимно оди означных отображений поиск опти А м жно начать взяв в качестве кова- .(11 мального преобразования мо к ;х- Х! Х2 Д аГО а.'Ь ЫЕ МатРИЦЫ 1 И Л. риационных матриц 1 т. Е. ~~ х= ~~х2 = ьогда оое ковари ц ариационные матрицы одинаковы, т.е. л чае ,„ г Ф = Х, задача становитс ,(9.79) принимает вид (Я) = —,г(1 — г) [А(М,— ЛХ2)]'(АХА') '[А(М, — М,)] = = — „г (1 — г) $г [(АХА') ' ) А (М, — М,) (М, — М,)'А')]. (9.80) 9.13 Выражение ), .
1 и (9.80) меет тот же вид, что и выражение ( . ) для критерия (1 при Я1 — (ЛХ) — ЛХ2) (ЛХ) — ЛХ2) ' и Я2 = Х. (9.81) Поэтому матрица опт имального преобразовапия А должна состо- ять из собственных векторов матрицы ~2 ~1. Далее, так как ранг Я нице только одно собственное значение матрицы ~) равен единиц, не равно нулю. Таким образом, Лд = 1' (Я2 Я1) = (М1 — ЛХ2) Х (М1 — М2), (9.82) Л2=~2=... =Лтв=0, (9.83) а иервыи со ственн б нный вектор определяется выражением Ф1 — — Х-1(ЛХ1 ЛХ2) /[ (ЛХ1 — М2) 'Х ' (ЛХ1 ЛХ2) ) "2, (9.84) Ф нормирован относительно Х, так что Ф'ХФ = 1. где вектор ) но Таким ооразом один , о пн признак несет всю информац1по р д о аз ели- мости классов и явля т е ся поэтому достаточной статистикои, в то в емя как другие признаки излишни.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
