Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 13
Текст из файла (страница 13)
1) Для одновременной диагонализации ковариационных матриц классов»вг и»в2 применить линейное преобразование. 2) Для классов»в! и»в2 по формулам (3.55) и (3.61) вычислить характеристические функции решающего правила Й(х(). 3) Вычислить вероятности ошибки по формулам (3.48), (3.49) и (3.52). (Эта процедура заключается в одномерном численном интегрировании для получения вероятностей ошибки ка ждого класса. ) 73 Если Х1=Х и Г2=Х, то матрица Л близка к единичной матрице 1, а параметры а)( и а2(, 1 = 1, 2, ..., и, близки к О. В этом случае характеристические функции примут вид »х »$ "-) ( 2! 1!) 2 / Х (гг2! гг11) П »е -)("2! "1!) + 2 /" Х Ы ! — 111!)' гр1(»в) = ехр гр2 (»в) = ехр (3 65) (3.66) О! = о22 = ]]П, — В,!12 = (ЛХ, ЛХ,)т Х-1(ЛХ ЛХ ) (3.69) Правые части каждого из приведенных соотношений являются функциями расстояния, измеренного в исходной системе координат.
Эти выражения совпадают с формулами (3.32) — (3.34) . Если ковариационные матрицы Х1-и Х2 достаточно различа1отся между собой, то все же можно получить грубую аппроксимацию вероятности ошибки, предполагая, что решающее правило Ь(Х) имеет нормальное распределение. Так какхарактеристические функции известны, то можно вычислить математическое ожидание и дисперсию этого распределения: Е (»г, (Х)/»(11) = —, Сг ]1 — Г2 ~Х1) — — (ЛХ вЂ” М )р 2;. ' (ЛХ ЛХ ) + 2 (! 1! ! 2!)е Е (б (Х)/о!2) = — С !." х2 — 1! + — (М, — Л12)'Х! ' (М, М,) + + —,,'1 (]Х,!/]Х,!), (3.71) Ъ'аг(1г(Х)/»В1) = — Сг ](1 —, '~1)2! + + ( 1 2) 2 1 2 (Л11 ЛХ2)» Ча г (Уг (Х)/со,) = —, С ! (Х и ' Х, — 1) ]+ (3.72) + (Л11 ЛХ2) 2', 2'22 ~ '(ЛХ, — М,).
(3.73) Величины гр1(»в) и гр2(»в) представляют собой характеристические функции нормальных распределений, математические ожидания и дисперсии которых соответственно равны Ч1 =- — —.]! Р, — 1) ]!' = — —. (ЛХ, — Л2,)' Х-' (Л12 — ЛХ,), (3.67) ,),-+,~ !!В2 — В,!!'=+ .1 (ЛХ2 — ЛХ,) Х- (Л1, — ЛХ,), (3.68) lа 74 гл. з. шоьввкл гипот)))з (3.75) (3.76) (3.77) и ~ 7 1)1 [121 [[11 1,40 1,64 0,12 0,84 12,06 3,10 0,22 0,84 1,77 1,08 8,41 3,86 0,35 0,26 2,73 0,01 ) г[е,+е~), м Е1,% Еь [[, Точное вычисление Аппроксимация нормальным распределением 2,2 1,9 10,0 10,2 Эти же величины можно выразить через собственные значения 1).; и (1т2[ — 1т!!): и е[Й[х))и1) = — ~ [[1 — 1))~) — [4, — и,,)'))., -)- )и [))).,)), 1=1 (3.74) П Е [й [Х))и,) = — ~ [[)., — 1) + [И.„— <1„)' + [и [1)).,)], ! — 1 и Мат [Й [Х))и1) = — ~ [[1 — 1)).,)'+ [И,„— Иц)')).',), 1 — 1 и Мат [А [Х))и,) = — ~ [[)., — 1)'+ ), [Нд — И,~)').
! — 1 Подставляя эти выражения в формулы (3.35) и (3.36), можно грубо оценить вероятности ошибки. Поэтому моменты более вь1- Таблица 32 Стандартные данные 1=1, 2 после одновременной диагоиализации ковариниионных матриц сокого порядка та[;же моткно определить по характеристическон функции. Теоретически возмонгио улучи!ить аппроксимацн!о с помощью полиномиальпых рядов 1рмита, коэффициенты которых являют- Таблица 33 Сравнеш[е вероятностей ошибки 1!1)укуиага, 1;райл, 1 [) 6)) ! ся функциями моментов случайных величин [Фишер, 1923; Папулис, 19651. Однако эксперименты показывагот, что если пе все собственные значения 1).! близки и 1, то сходимость этих рядов ~ з,з.
внвхнин п линцы внгоятности ошивки очень медленная, и для того, чтобы ее ускорить, требуется большое количество моментов высокого порядка. П р и м е р 3.3. Рассмотрим стандартные данные ~ = 1, 2, параметры которых послепреобразования приведены в табл. 3.2. Как видно из этой таблицы, собственные значепия л! распределены в достаточно большом диапазоне (от 12,06 до 0,12). Р~~/"Ы 0 -103 -00 -50 — 40 -Ь7 0 Л7 40 00 00 ."00 3 рис.
3.6. Плотность вероятности решал)щего правила й(Х1 (Фукунага, Краил 1[ЭЬ111. В предположении, что априорные вероятности Р(го)) = Р(ю~) = = 0,5, плотности вероятности ре1пающего правила Ь(Х) для классов го) и се2 вычисляются по формуле (3.47) и показаны на рис. 3.6. Как видно нз этого рисунка, кривые отклоняются от кривой плотности нормального распределевт1я. В табл. 3.3 показано различие между точно вычисленными значениями вероятностей ошибки по формулам (3.48), (3.49) н (3.52) и приближенными расчетами с использованием аппроксимации решающего правнла нормальным распределением с параметрамн, определенными по формулам (3.74) — (3.77).
~ 3.3. Верхние границы вероятности ошибки Из всего сказанного выше следует, что вычисление вероятности ошибки в общем случае представляет собой трудную задачу. Даже если наблюдаемые векторы имеют нормальное распределение, для нахождения этой вероятности пспользуготся числепные методы. Однако по ряду причин наиболыпий интерес представляет выражение для вероятности ошибки в замкнутой форме.
76 ГЛ. 3. ПРОВЕРКА ГИПОТПгз ~ З,з. ВеРхние гРАницы ВБРОнтнОБти ОшиБки Располагая таким выражением, можно пе только существенно уменьшить объем вычислений, но, что еще более важно, вскрыть механизм, порождающий эти ошибки. 11одобпая информация понадобится позднее, когда будет рассмотрена задача выбора информативных признаков.
В том случае, если нельзя получить выражение вероятности ошибки в замкнутой форме, можно применить другие методы: искать приближенное выражение для вероятности ошибки, либо определить ее верхнюю границу. В этом параграфе будут рассмотрены некоторые выражения для верхней границы вероятности ошибки. 3.3.1.
Граница Чернова. Рассмотрим для класса оз[ характеристическую функцию н)[(оз) регпающего правила Ь(Х) +оо Ог [и) ) ехр [[и)г) р [зг)иг) <1)г. (3. 78) Можно получить производящую функцию решающего правила Ь(Х), заменяя /оз в формуле (3.78) на действительное число г~ +оо О, [з) = ) ехр [зя) р [зг)и,) г[[г. (3.79) Логарифмируя производящую функцию и взяв логарифм со знаком минус, получим +оо р [з) = — )и Ог [з) = — [е [[ ехр [зр) р [е)ге,) г[)г, [2 зр) Введем новую случайную величину д, имеющую плотность вероятности р,(д = Ь/оз[) = 1ехр (хЬ)/<р[(з)) р(Ь/Ь/о1[) = = ехр ~хЬ+ и (х) ] р (Ь/о1[). (3 81) Из выражения (3.79) видно, что выражение (3.81) представляет собой плотность вероятности, так как + о +оо Ря[Х = Хгиг) г[)г=- [1)Ог[я)[ ) ЕХР [З)г) Р [Згггз) г[е = 1 [2 Яг) Случайная величина ~ имеет следующие математическое ожидапие и дисперсию: 4 Е [[[гиг) ) )гря [Х = )ггиг) г[зг = — г[р [з)гг[з, [2 х2) пе = — д'~~ (х)/~~~~' (3.84) Далее выразим вероятность ошибки е[, определяемую выражением (3.48), через плотность вероятности р,(д = Ь/оз[): +оо +оо е, = ') р [зг)и,) г[)г = ) ехр [ — р [з) — з)г[ря [я = е)ег,) г[)г = = ехр [ — р[зц ) ехр [ — зе) р [р=- я[и ) г[р.
(3.8') Поэтому е,(ех[г [ — Р[я) — зз[ ~ Ря [д= Миг)г[х. (3.87) Но так как интеграл в формуле (3.87) меныпе 1, то е [ -.= ехр 1 — р (х) — И~. (3.88) Неравенство (3.88) дает для любых х > О верхнюю границу вероятности ошибки е[. Оптимальную границу можно вычислить путем минимизации по х выражения — р(х) — з~.
Другими словами, оптимальное значение з должно удовлетворять уравнени[Π— др(х)/сЬ = ~. (3.89) Верхшою границу, определяемую уравнением (3.88), при оптимальном значенип х называют границей Чернова 1Чернов, 1962~. Уравнения (3.83) и (3.89) показывают, что значение з выбрано так, чтобы сделать математическое ожидание случайной величины и равным величине порога. Аналогичные соображения применимы и для получения верхней границы вероятности ошибки е2. Выразим характеристические функции <р[(х) и <р2(х) через условные плотности вероят- ности «р, (х) = ехр — з1п ~~ Р (Х/О'1) ~1Х = ~~' ] р [Х)гег) г[Х = Г р [Х)и,)' 'р [Х)и,)'г[Х„ <р2 (х) = ехр — 81п — — ~--- - ~ р (Х/га2) аХ = з 7 2 р (Х/ю ) 'р (Х/озз) 'дХ, У (3.9О) (3.91) Теперь можно получить верхнюю границу вероятности ошибки В[.
Для 8 ~ О имеем ехр( — зЬ) ( ехр( — ь|) при Ь > ~. (3.86) 78 ГЛ. 3. ПРОРЕРКЛ ГППОТЕЗ 79 [ = Р (о11) 8Р (1о2) 8 ехр [ — р (з) ]. (3.100) Ф (8) /еео [п Р(® [) /~ (о32) (3.101) — д)й(а)/дг =. /. (3.97) 1 ,, ехр И (1 —,) (/2[ — / )' 2 8-~- (1 — 5) Л + ((1 8)+ 8/Л ) 1/2 Х (2п) 1/2 Х (/Л[)(42[ — /1[) 2 (1 — 8) + 8/Л 8 (1 — 8) (('21 ('11) 2 8+(1 — 8) Л, Сравнивая выражения (3.90) и (3.91), можно заметить, что подыптегральпые выражения связаны следу1ощим соотношением: р (Х/и,) р (Х/11ь) + — Р(Х/ай) р (Л/о~,) /'(л'/"1) . (3.92) 032 Л Выражая (3.92) через плотности вероятности р(Ь/со[) и р(Ь/о12), получим р (Ь/1о 2) = е'р (Ь//о [) . (3.93): Из выражеция (3.49) следует, что вероятность ошибки равна е,= [ р(й(иг)8й= [ е р(й~и,)35= еГР ( — Р(е) + (1 — е)й)Ре (е= й[и,) 35.
(3.94) Для з ( 1 имеем ехр[(1 — з)Ь] ( ехр[(1 — з)1] при Ь ( /. (3.95), Таким образом, верхняя граница вероятности ошибки равна с2(ехр [ — [й(з)+ (1 — з) Р( ~ р~ (д'=- Ь/о)1) сй(( ( ехр [ — р (з) + (1 — з) 1] при е ( 1. (3 96) Из (3.96) следует, что оптимальное значение з мо'кпо получить из уравнения Таким образом, одно и то же значение з дает мпнимальцу[О верхнюю границу для обеих вероятностей оп(ибки е[ и е2.
Если интересоваться общей вероятность1о ошибки, а не вероятностью ошибки отдельного класса, можно получить лучшую верхнюю границу с помощь/о порогового значения 8 = 1п(Р(о1[)/ Р(1о2)1 (см. (3.50) ). Для этого перепишем выражения (3.87) и (3.96) следующим образом: е,((Р(и)(Р(и))'ееР[ — Р(еИ ) Ре (а = й/и ) <П, (3 93) е, ((Р(ие)[Р(ие)) ееР ( — Р ( )Р) ) Р, (Р = й[ие) е[й (3 99) Я З.З. ВЕРХНИЕ ГРЛНИЦЫ ВЕРОЯТНОСТИ ОШИБКИ и най)11ем общую вероятность ошибки йв = Р(И[) е[ + Р((112) е2 - Р(111[) е (1112) ВХР[ )й(5) ] Х( -[- оо ! Ре (р =-- й[ие) е)й -'е- [ ре (р й,'е~е) 35~ — оо Оптимальное значение а можно определить путем минимиза-ции по г последней строки выражения (3.100).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
