Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 54
Текст из файла (страница 54)
Эффективность преобразования определялась путем применения преобразования С(Х) (10.62) ко всем оставшимся объектам. Эти преобразованные ооъекты классифициравались классификатором, основанным на вычислении расстояний (см. гл. 4), и в качестве меры разделимости использовался процент полученных прп этом ошибок.
Результаты при разных значениях р и г приведены в табл. 10.4. На рис. 10.12 показаны преобразованные объекты при р = 1,0 и г — 3. Может показаться, что чем меньше р и чем больше г, тем лучше результат. Однако в этом случае мы получаем сильное искажение, поскольку функция расстояния приобретает резко колебательный характер (как видно из рис. 10.8). Предпоч- В В 1 В З! '1 1 ВВ ЗВ з В .
В В В ЗЗ З ВЗ З В 320 Гл. 10. не~лине~иное пРе~ОБРАЗОВАние пРОстРАнстВА Рис. 10.10. Пересечения радикальных осей. а) Пересекающиеся окружности; б) непересекающиеся окружности. 1 1 ! 1 1 ! ! В 1 ! 1 ! ! А ! 1 1 1 ! ! 1 1 1 ! 1 1 1 1 1 Рис. 10.11. Данные к примеру 10.4 (Кунтц, 1972а!. 1 1 1 1 1 ВВ ! ВЛУ 1 В 1 Вз 1 1 1 1 А А А ~ААА АА А !А А 1А ААА А А А ААА А АЯА А А А А А АА А ААА А А А А А А А АА А АА ААААА А ААА А А А ААА А А АА Я ВВ ! МУ 1 1 ! '1 1 ! 1 1 1 325 0 10,0. ДВУМЕРНЫЕ ОТОБРАХ1ЕНИЯ -1п р~Х/в,,1 РФг) Ъл— Р(ау (10.72) »о ».Э И2 ~(Х) .= И1 (Х) $ап О + с (10.74) 324 Гл. 10.
нел11ненное пРеОБРАЗОВАние пРОстРАнствА отношение правдоподобия несет полную информацию о разделимости классов в байесовском смысле. Следовательно, две плотности вероятности или монотонные функции от них (обычно в качестве таковых используют Отрицательные логарифмы) являются подходящей парой переменных. Отображение с использованигрыы~а ем этих переменных показано на рис. 10.14. У.~ В этом пространстве байесовская граница представляет собой прямую, проходящую под углом 45', независимо от вида распределений. Таким образом, отобра1кение на рис. 10.14 ие приводит к потере информации пеооход~мой для классификации.
Единственная сложность здесь— Р это сло",кность вычисления функции — 1п р(Х/01;) . Если плотности вероРне. 10.14. двумерное отоора- Ятностей заДаютсЯ набоРом паРа- жение данных. метров, решение этой задачи связа- но с оцениванием параметров. Например, если известно, что плотности вероятностей нормальны, функция — 1п р(Х/011) примет впд — 1п р (Х/се;) — —,(Х вЂ” ЛХ;), (Х вЂ” ЛХ ) + —. 1и ~(2ч) ~ Х; ~) где М; и Х1 — оценки математического ожидания и ковариационной матрицы. В непараметрическом случае можно воспользоваться методами, описанными в гл. 6 (например, методом Парзена).
Таким образом, неточность отображения проистекает из ошибок оценивания плотностей вероятности. Намного более простыми признаками, пригодными для индикации, являются евклидовы расстояния до двух фиксированных точек М1 и М2. Один из способов выбора М1 и М2 (не имеющий теоретического обоснования) состоит в том, что в качестве этих точек берутся математические ожидания класса 1 и класса 2, т.
е. И, (Х) = (Х вЂ” ЛХ,)'(Х вЂ” ЛХ;),, 1 = 1; 2. (10.73) Прямая, разделяющая классы на И-отображении, задается выра- жением и1 Ю М о М о Ф о» »» й Ф Я И1 Ф Я Ф »и» Ф И1 ~ 1в 3 двумеРные ОтОБРА)ш пия Звт (10. 75) а) 1д гд грлщл дляратредгпекиц Гюгтел~7/ю/х ЕУЬКжЕЕ; Рис. $ОЛ7. Совместная нормировки. 326 ГЛ. !О. НЕЛИНЕННОЕ ПРЕОБРАЗОВАНИЕ ПРОСтРАНСтВА (Х вЂ” Мв)' (Х вЂ” ЛХ,) — чаи О (Х вЂ” Л11) ' (Х вЂ” ЛХ,) — с = (1 — 1ап 0) Х'Х вЂ” 2 (ЛХ, — 1ап 0Л11)'Х -~ + (ММ2 — ЛХ1ЛХ1 — с) = О, 9 где 0 — угол между этой прямой и осью И» а с — точка пересечения ее с осью се~2. Уравнение (10.75) показывает, что прямая на И-отображении соответствует сфере в пространстве Х (см..
рис. 10.15, а, б). Прямая под углом 45' соответствует гинерплоскости, перпендикулярной к вектору М2 — ЛХБ Хотя прямые на двумерном отображении соответствуют весьма ограниченному набору гиперповерхностей в пространстве Х„ комбинация этих прямых, т. е. кусочно-линейная граница на двумерном отображении, может порождать, сложную поверхность и пространстве Х. Пример показан на рис. 10.16.
Это замечанив Рис. $0.16. Кусочно-линейная граница на двумерном отображении. важно потому, что оно обращает внимание на возможность для' человека-оператора построить с помощью индикатора относительно сложную разделяющую поверхность. Таким образом, овклидовы расстояния до двух точек можно использовать в качестве простых признаков для двумерной индикации.
Однако, так как эти расстояния не имеют однозначной связи с плотностями .вероятностей, они не могут дать точной 61нформации о разделимости классов. Получаемое приближение при некоторых конкретных распределениях оказывается неудовлетворительным. Поэтому для улучшения качества аппроксимации приходится использовать процедуры нормировки. 1. Совместная нормировка.
Когда два распределения расположены так, как это показано на рис. 10.17, а, с1-отображе1ние дает плохие результаты. В этом случае как Х~, так и Хз етобража1отся на с1-индикаторе в одну и ту н1е точку У, и поэтому отображенные распределения сильно перекрываются, хотя ,они хорошо разделимы в пространстве Х. Эту трудность можно преодолеть с помощью совместной нормировки в соответствии с (4.53). Как говорилось в гл.
4, если два распределения являются нормальными и имеют равные ковариацнонные матрицы, Вектор разности средних значений 02 — 01 перпендикулярен к байесовской разделяющей гиперплоскости, как показано на рис. 10.17, б. Это свойство сохраняется и в том случае, когда распределения име1от разные коварнационные матрицы, по одинаковые усредненные ковариационные матрицы, как показано на рис. 10.17, в. Следовательно, совместная нормировка устраняет упомянутую выше трудность. На рис.
10.18 показано с1-отображение двух классов объектов, обозначенных крестиками и двойными кружками на рис. 10.13. 2. Нормировка одного кл а с с а. Другоц важный способ нормировки, который мы будем называть нормировкой одного 329 Г ! ! ! !. ! ! Я ! ! А А А А ААААА АА ААА А А АА АА . АА АА ААА А А ААА а1 Рис. 10.19. Нормировка одного класса. 328 Гл. 10.
нелинейное пнеОБРАЗОВАние ИРОстРАнствА ! 1 з ! Р !р' р О З и ~ Р !р ! А )Я А( А АЗ,' А Рис. 10.18. Двумерное отображение данных из примера 10.4 [Фукувага, 1971б3. ЗАДАНИЕ НА СОСТАВЛЕНИЕ ПРОГРАММ класси, заключается в том, что ковариациопная матрица одного класса приводится к единичной матрице 1.."-)та нормировка особенно эффективна в задачах со мпогимп классами, когда мы хотим отделить один класс от всех остальных, как показано на рис.
10.19, а и б; с1-отображение для рис. 10.19, б показано на рис. 10.19, в, где объекты из класса 1 должны быть расположены в области И~ (сакэ. ЗАДАНИЕ НА СОСТАВЛЕШ1Е ПРОГРАММ Составьте следующие программы: 10.1 Программа — генератор случайного процесса (10.2) с равномерно распределенными параметрами а, ш и о. Исследуйте размерности локальпых областей и определите истинну1о размерность процесса. 10.2. То же, что в 10.1, но с наложением аддитивного белого шума. Исследуйте влияние шума на результат определения истинной размерности. 10.3.
Программа для определения истинной размерности данных, полученных в 10.1, с помощью итеративной процедуры. 10.4. Исследуйте влияние аддитивного белого шума на результаты рабо"ты программы 10.3. 10.5. Программа определения коэффициентов полиномиальной функции расстояния в соответствии с (10.57).
Исходные данные: р, г и 11' расклассифицированных и-мерных объектов ()Ч ( 50, и ( 5) . 10.6. Обобщите программу задания 10.5, так чтобы с ее помощью можмо было найти коэффициенты обощенной функции расстояния т 7а (х) =,~~ а,.1р. (х), 1=1 тде <р,(х), 1р2(х), ..., <р,(х) — заданные функции, а аь а2, ..., а„— коэффици:енты.
подлежащие определению. 10.7. Изобразите в двумерном пространстве объекты, получающиеся отображением «сохранение расстояния». Исходные данные: десять объектов в каждом классе, генерированные в соответствии со стандартными данными 1 = 1, 2, 3, 4 (используйте только первые четыре переменных). 10.8. Изобразите в двумерном пространстве объекты, получа1ощнеся ме-тодом «расстояний до двух точек». . Исходные данные: 50 объектов в каждом классе, генерируемые в соответствии со стандартными данными 1 = 1, 2. $11Л. АЛГОРИТМ АВТОМАТИЧЕСКОИ КЛАССИФИКАЦИИ ь Глава 11 АВТОМАТИЧЕСКАЯ КЛАССИФИКАЦИЯ В п вные раздельг редыдущих главах были представлены основные з теории распознавания образов. Подробно рассматривались процедуры построения классификаторов, оценивание параметров и плотности вероятности. При этом постоянно О предполагал ос ь существование обучающего множества уже классифицированных объектов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
