Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 17
Текст из файла (страница 17)
в) Вычертите оперативную характеристику для вектора при Л =,', 0~1~1. Д ... Для задачи 3.8 вычислите вероятности правильных решений и ве роятности ошибки при каждом наблюдении. Глава 4 ЛИНЕЙНЫЕ КЛАССИФИКАТОРЫ Как было показано в предыдущей главе, байесовский критерий отношения правдоподобия является оптимальным в том смысле, что он минимизирует риск или вероятность ошибки. Однако для получения отношения правдоподобия необходимо располагать для каждого класса условными плотностями вероятности. Б большинстве приложений оценка этих плотностей осуществляется по конечному числу выборочных векторов наблюдений.
Процедуры оцениванпя плотностей вероятности известны, но они являются очень сложными, либо требуют для получения точных результатов большого числа векторов наблюдений. Однако даже прп наличии плотностей вероятности метод, основанный на критерии отношения правдоподобия на практике 7 может оказаться трудно реализуемым, так как он может потребовать для классификации больших объемов памяти и машинного времени. В связи с этим часто мы вынуждены рассматривать более простые методы разработки классификаторов. В частности, можно задать математический впд классификатора с точностью до параметров, подлежащих определению. Напоолее простым и общим видом является линейный или кусочно-линейный классификатор, изучению которого посвящена эта глава.
Вначале рассматривается частный случай байесовского линейного классификатора. Далее будут приведены другие методы разработки «хороших» линейных классификаторов. Читателю, однако, следует помнить, что байесовский классификатор во всех случаях является наилучшим. Никакой линейный классификатор не превосходят по качеству работы классификатор, полученный по критерию отношения правдоподобия. 3 4.1. Байесовский линейный классификатор Для двух нормально распределенных случайных величин айесовское решающее правило можно представить в виде квадратичной функции относительно вектора наблюдений Х оледу- 4 К. Фунуната ГЛ. 4. ЛИНЕЙНЫЕ КЛАССИФИКАТОРЫ тощим образом: 2 (Х М1) ~1 (™ 1) 2 ( ™2) ~2 (Х М2) + + —,1п ' )~1п ' — эХ(== . (41~ 2 ) Х2~ Р(о) ) (О2 Если обе ковариациопные матрицы одинаковы, т.
е. Х) — — 2',2 = 2,, то выражение (4.1) приобретает вид линейной функции относительно Х: (М, — М,)'Х-'Х + — ' (М',Х-'М, — М,',Х-'М.,) ~ «1п (Р ((о1)/Р ((о2)) — э Х с= . (4.2~ (О2 Сначала рассмотрим частный случай, при котором Х = 1, а затем покажем, что выраженив (4.2) представляет собой модпфикацию этого случая. 4.1 1. Наблюдения — белый шум. Если ковариационная матрица равна единичной, то можно считать, что вектор Х представляет собой наблюдение, искаженное белым шумол(.
Компоненты вектора Х при этом некоррелированы и имеют единичную дисперсию, а байесовское решающее правило принимает вид (М, — М,)'Х+ ~ (М;М вЂ” М;М ) ~~ (О11 )~ 1п (Р ((о1) ~Р ((о2) ) 2 4.1. ВАЙЕСОВСКИЙ ЛИНЕЙНЫЙ КЛАССИФИКАТОР векторов Х и М) и векторов Х и М2 с выбранным порогом. Следовательно, его можно назвать корреляционным классификатором. Структурная схема такого классификатора приведена на рис. 4. 1.
На5люденая юру ~=7 Л7УЕ Рис. 4 1. Блок-схема коррелнционного классификатора. т = — ) (т( (Π— тз (()) Ы вЂ” 1п (Р(а1)/Р (а~)1. О 4 1.3. Согласующийся фильтр. Коэффициент корреляции мен(- ду векторами М, и Х может также рассматриваться как выход 4.1.2. Корреляционный классификатор. Произведение М',Х называют коаффиииентом корреляции между векторами М; и Х Если вектор Х состоит из выборочных значений, полученных дискретизацией по времени замерами непрерывного случайного процесса, то можно записать коэффициент корреляции следующим образом: М';Х = „'~,' т( (1,) х (1,).
(4. 4) В случае непрерывного времени коэффициент корреляции выражается через интеграл, т. е. т в ~ т,.о)хо)- ~т,о) хо)а. (4.5) 3=1 О Легко видеть; что для принятия решения рассматриваемый классификатор сравнивает разность коэффициентов корреляции Рис. 4.2. Функции т;(1) и д,(() линейного фильтра. Предположим, что мы формируем ф У;(~) такие, что И,(Т вЂ” ~) = т,р). Функции д (~) и т (1) поьазаны на рис 4~ Ясно что (4.6) (4.7) т т Ъ т; (1) х (1) Й1 = ~ д( (Т вЂ” 1) х (1) Й1. О О Таким образом, на выходе линейного фильтра с импульсной переходной функцией ~~(1) получаем коэффициент корреляции. ~оо 1О1 шум в белый: А~~Ат — У (4.10) На1люйиия щы ~=7 + У я®кот 7-»- х1»,1сйф Р; = Е (У/о1;) = АМ,, 1= 1, 2, (4.11) (4.12) ГЛ.
4. ЛИНЕЙНЫЕ КЛАССИФИКАТОРЫ Такой фильтр называют согласующимся фильтром. Классифика- тор, который основан на согласующемся фильтре и реализует ту же самую функцию, что и корреляционный классификатор, по- казан на рис. 4.3. Рис. 4.3. Блок-схема согласующегосн фильтра, 4.1.4. Классификатор, основанный на вычислении расстояния. Умножив выражение (4.3) на 2, а затем прибавив и вычтя Х'Х из левой части (4.3), получим решающее правило (Х~Х вЂ” 2ЛХ1~Х -~- М1Ъ| ) — (Х'Х вЂ” 2ЛХгХ + М»М,) )) (От 5 2 1п (Р (о11)/Р (о12)) — ~- Х е== ~ » (4 8) Ив или ~Х М р ~)Х вЂ” М )~2 (21п(Р(о1 )/Р(о1«)) — э- Х е== ~ . (4.)) Полученному решающему правилу можно дать следующую геометрическую интерпретацию: сравниваются расстояния между вектором Х и векторами М1 и М2 с порогом.
Если априорные вероятности одинаковы, Р(о1~) = Р(о12) = 0,5, то решающая граница перпендикулярна к отрезку прямой, соединяющей векторы М1 и М2, и проходит через его середину, как показано на рис. 4.4. 4.1.5. Наблюдения — не белый шум. В общем случае, когда ковариационная матрица не равна единичной, т. е.
Х =,4 1, наолюдаемый шум является коррелпрованным, и его часто пазываюг «окрашенным». В этом случае байесовский классификатор так легко не интерпретируется. Однако по-прежнему целесообразно в качестве решающего правила рассматривать корреляционный классификатор или классификатор, основанный на вычпсленпн расстояния. Для этого введем декоррелирующее преобразование 1' = АХ, которое переводит коррелированный («окрашенный») » «,1, БАЙЕСОВСКИЙ ЛПНЕЙНЫЙ КЛАССИФИКАТОР Заметим, что пока коварпацпонная матрица Х является поло- жительно определенной, матрица А существует и невырождена. Таким образом, декоррелирующее преобразование обратимо, и наблюдения вектора х' можно классифицировать такж; эффективно, как и наблюдения вектора Х.
Вектор математического ожидания х для класса а~ равен Ф а ковариационная матрица х' для обоих классов равна еди- р 44 Рис. 4.4. Классификатор, основанный ничной матРиЦе ~. ' леДователь- на вычислении евклидова расстояно, все рассуждения предыду- нин. щего раздела данного параграфа применимы и для вектора :«, еслпзаменитьвектор М; (пли пг;(г)) на0, (илиа;(1)). В случае непрерывного времени декоррелирующее преобразование имеет интегральный вид х' = АХ вЂ” э- у ( ~) == ~ а ( Е, т) х (т) сУГ.
Ядро а (1, т) можно рассматривать как импульсную переходную функцию декоррелирующего фильтра. Возможная структурная схема байесовского классификатора показана на рис. 4.5. Из схемы видно, что это корреляционный классификатор (см. рис. 4.1), модифицированный за счет добавления декоррелпрующего фильтра. Пример 4.1. На рис. 4.6 изображен двумерный пример, для которого декоррелирующее преобразование является эффективным.
Хотя два распределения на рис. 4.6, а хорошо разделимы байесовским классификатором решающее правило, основанное на вычислении расстояний, или простой корреляционный классификатор дают плохие результаты. На рис. 4.6, а изображены вытянутые распределения, соответствующие случаю сильной коррелированности величин х1 и х~ между собой. В частности, если х1, .х~ — выборочные значения, полученные дискретизацией по вре- $02 Ялассификаппр л~уа»и7аюыиааг»гаа Щажу СО 1 Ь (Х) = »" Х + г ~ Π— »- Х е== ~г (4.13) ГЛ. 4. ЛИНЕЙНЫЕ КЛЛССИФИ1'ЛТОРЫ мени непрерывных колебательных сигналов, то соседние значения х, как правило, сильно коррелированы и подчиняются распределениям подобного вида. Декоррелирующее преобразование Рис.
4.5. Корреляционный класс1гфикатор для «окрашенного» шума. Рис. 4.6. Действие декоррелиру1ощего преобразования. преобразует эти два распределения в симметричные распределе- ния (см. рис. 4.6, б). В результате такого преобразования байе- совский классификатор совпадает с классификатором, основан- ным на вычислении расстояний. 5 4.2. Линейная разделяющая функция, минимизирующая вероятноеть ошибки решения Линейные классификаторы представляют собой простейшие классификаторы, поскольку пх реализация непосредственно связана со многими известными методами классификации, такими как 4,2.
минимпзАцпя ВеРонтности ошивки корреляционные методы или методы, основанные на вычислении евклидовых расстояний. Однако линейные классификаторы оптимальны в байесовском смысле только для нормальных распределений с равными ковариационными матрицами. Для некоторых приложений, таких как выделение полезного сигнала в системах связи, равенство коварпаций является приемлемым предположением, так как при изменении сигнала свойства шума существенно не изменяются. Однако во многих других приложениях распознавания образов предположение о равенстве ковариаций не является оправданным. Было предпринято много попыток разработать наулучшие лилейные классификаторы для нормальных распределений с неравными ковариационными матрицами и для распределений, отличных от нормального. Конечно, этп классификаторы не являются оптимальными, однако во многих случаях их простота служит достаточной компенсацией ухудшения качества классификации.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
