Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 27
Текст из файла (страница 27)
Однако это неравенство можно проверить многими экспериментальными способами. Из выражения (3.7) видно, что равенство (5.139) выполняется тогда, когда оценка проверяемой плотности вероятности, основанная на У наблюдениях, является несмещенной и классификатор заранее фиксирован. Следует отметить, что нижняя граница менее важна, чем верхняя. Обе границы вероятности ошибки е (О, 0) можно интерпретировать следующим образом: 1. е(8„, О~): одни и те же У объектов используются и для синтеза байесовского классификатора, и для последующей классификации. Этот случай назовем С-методом.
Из (5.140) следует, что С-метод дает, вообще говоря, заниженную оценку вероятности ошибки. 2. е(0~, 0): для синтеза байесовского классификатора используется Л объектов, а классифицируются объекты из истинных распределений. Эту процедуру называют Й1-иетодом. Г-метод такхсе дает смещенную опенку вероятности ошибки ео. Это смещение таково, что его математическое ожидание является верхней гран;щей вероятности ошибки. Объекты из истинного распределения могут быть заменены объектами, которые не были использованы для синтеза классификатора и независимы от объектов, по которым классификатор был синтезирован.
Когда число классифицируемых объектов увеличивается, их распределение стремится к истинному распределению. Для реализации Г-метода имеется много возможностей. Здесь мы рассмотрим две типовые процедуры. 1. Метод разбиения выборки. Вначале имеющиеся объекты разбивают на две группы и используют одиу из них для синтеза классификатора, а другу1о — для проверки его качества. Этот метод называют методом разбиении выборки. Основной вопрос, характерный для этого метода, заключается в том, как разделить объекты. Для ответа па этот вопрос изучим в следующем разделе влияние числа «обучающих» и числа «экзаменационных» объектов на дисперсию оценки ошибки классификации.
2. Метод исклочения одного объекта. Во втором методе попытаемся использовать имеющиеся объекты более эффективно, чем в методе разбиения выборки. Для оценки Е (е(й~, О)) необходимо, вообще говоря, извлечь много выборок объектов и синтезировать большое число классификаторов, проверить качество каждого классификатора с помощью неиспользованных объектов и определить среднее значение показателя качества. Подобная процедура может быть выполнена путем использования только имеюп~ихся У объектов следующим образом 161 4 ОЦЕНИВАНИ~ ВЕРОЯТНО( ~И ОШИВ ГЛ. 5.
ОЦЕНИВАНИЕ ПАРАМЕТРОВ 160 ру,, '5) . Исключая один объект, синтезируется класГЛачепб ч 196 сификатор по имеющимся У вЂ” 1 объектам и кла ф классифицируется неиспользованный объект. Затем эту процедуру по У ру повторяют раз и подсчитывают число неправильно классифицированных объектов. ту процедуру называют методом искл)очения одного объекта *). Этот метод позволяет эффективно использовать имеющиеся объекты и оценивать Е(е(6 ), О)).
Один из недостатков этого метода заключается в том, что приходится синтезировать М классификаторов. Однако такая задача легко разрешима для случая нормальных распределений с помощью процедуры, которая будет рассмотрена в одном из следующих разделов. 5.4.3. Метод разбиения выборки. Для того чтобы разбить имеющиеся объекты на обучающую и экзаменационную выбо ки **) зу им, как это разбиение влияет на дисперсию оценки вероятности ошибки.
Вначале предположим, что имеется бесконечное число объектов для синтеза классификатора и У обьектов для прове кп его качества. П и б р ескопечном числе объектов синтезпруемый класд я проверки его сификатор является классификатором для истинных распре е ени й, и его вклад в дисперсию равен нулю. Для фиксированного классификатора организуем селективпую выборку. В этом случае распределение опенки вероятности ошибки подчиняется бпномиальному закону с дисперсией 2 Ъ'аг (е ) = ~ Р ((о,) е; (1 — е;)!:)г, (5.141) 1=( где е; — истинная вероятность ошибки ~-го класса (см. вы ажение (5.131) ).
— (см. выраже- С другой стороны, если имеется У объектов для синтеза классифпкатора и бесконечное число экзаменационных объектов, то оценка вероятности ошибки выражается следующим образом: в = Р (и1) ( р (Х!и~) ЗХ -)- Р (и.,) ( р (Х!и,) ЗХ, (5.142) г, г, где Г( — область классу. В этом но граница этих из У объектов. пространства признаков, соответствующая ),'-му случае подынтегральные выражения постоянны, областей изменяется в зависимости от выборки *) в ) отечественнои литературе такой метод называют «скол Т «С1ЮЛЬЗЯЩИМ экзаменом» или «скользящим распознаванием».
(Прим. ред.) »») Под обучающей выбор»ой будем понимать выборку объектов, используемых для синтеза классификатора. Под экзаменационной выборкой — выборку объектов, по которой оценивается качество классификатора. (Прим. ред.) е = Р ((о,) —, ехр ( — $2/2) ($ + (2л) 1' () — )) )1'а + Р(о)2), ехр ( — Р/2) (1$ (2л) 1' (1),— 1)/а, (5 143) 2 где ))1 и (т1 определяются условными математическими ожиданиями: т), = Е ((М, — Я2)'Х 'Х вЂ” —, (М;Х 'М(— — М2Х М2)/Х е=: (о,1 М1, М2, а1= Чаг((М, — 5Ь)'Х 'Х вЂ” —,(5!,Х ~Ъ1,— 2 (, (5.144) — МгХ $1~)/Х ~ и„М~, Я„2),г (5.145) й = 1п(Р((о,)/Р((о,)). (5.146) Это преобразование основано на том, что для нормальных распределений с равными ковариационными матрицами байесовский классификатор — линейный, а распределение отношения правдоподобия также является нормальным распределением.
Подобные выражения встречались в формулах (3.35) — (3.38). Заметим, что даже если две истинные ковариационные матрицы равны, то оценки их различны. Однако для упрощения предположим, что обе эти оценки равны и имеют вид ))(1 „~(д +д~, 2)1 ~(Х',' — М,)(Х, М,) + + 2 (Х'" — Ъ1,)(Х';" — 51 )'(„ 1'=1 (5.147) (1) где У( — число объектов Л; класса 1, используемых для синтеза классификатора.
Математическое ожидание оценки в было определено ы работе [Окомото, 1963~. Так как выражение для этого математического ожидания достаточно громоздкое, то здесь приводится наипро 6 К. Фу)гунага Дисперсию оценки е для плотности вероятности генеральной совокупности вычислить сложно. Однако в случае нормальных распределений объектов в классах с равными ковариационными матрицами интегралы в (5142) можно преобразовать к одномерным интегралам ГЛ. 5. ОЦЕНИВАНИЕ ПАРАМЕТРОВ $62 Е! Е2 ЕО ° гтеор = [ео (1 ео) /Х~ (5.156) Е (Ле) = (Ь+ 1)/с, Уаг(Ле) = (Ь+ 1)/с2. ,( (5.152) (5.153). тв в в 4 г лг' (О (хФ $), р(х) = О(х — $) = ~ (оо (х = $).
(Прим. рад.), стейший случай, когда Р(о!) = Р(о2) и Х! —— Л'2: Е (Ле) =Е(е) — ео — — (/У, (5.148) 7 2 (и — 1)/Ы+ 8 тиХ (2л) ~ ехр 2 (д/2), (5.149) где И вЂ” расстояние мехгду двумя векторами математических ожи- даний, определяемое по формуле (/)~1 /)~2) ~ (/)~! /)~2) (5.150) Величина ео является минимальной вероятностью ошибки байесовского классификатора. Так как ео — минимальное значение оценки е, то распределение для Ле является причинным*). Поэтому можно определить оценку дисперсии величины Ле, основанную на ее математическом ожидании.
Предположим, что плотность вероятности Ле является плотностью вероятности гамма- распределения, которое включает в себя широкий класс причинных распределений. Тогда р(Ье) = [с'+!/Г(Ь+ 1) ) (Ле)'ехр( — сне) прп Ле ) 0 (Ь~О и с)0). (5.151) Математическое ожидание и дисперсия плотности (5.151) равны: Исключая с, получим верхнюю границу дисперсии Ле, т, е. Уаг(Ле) [1/(Ь+ 1)1 Е2(Ле) ( Е(Ле) при Ь ) О. (5.154) Таким образом, степень влияния числа обучающих объектов на оценку вероятности ошибки ео в случае нормальных распределений с равными ковариационными матрицами и равными априорными вероятностями равна г,„,.
= Е (Ле) + (Уаг(Ле) ) '" < 2(/У: (5.155) Величину г,„„из (5.155) следует сравнить с величиной г„„„которая характеризует влияние числа объектов в экзаменационной выборке на оценку вероятности ошибки. Значение г„„получается «) Причинным распределением называется распределение 1/ Величины Ы/2 и (2л) ехр ф/2) из выражения (5,149) и ео пз выражения (5.156) связаны однозначно. Поэтому можно установить зависимость между величиной 2( в (5.155) с величиной [ео(1 — ео) ) "2 в (5 156). Эта зависимость показана на рис.
5.3. Из рис. 5.3 видно, что 2((п) в значительной степени зависит От размерности и и степени разделимости классов, измеряемой э Рис. 5.3. 2т(п) и [ее(1 — ее)] !~2 в зависимости от величины Ы. Расстоянием Ы. Для любых фиксированных значений и, И и числа объектов в обучающей и экзаменационной выборках можно оценить Величины генеп и гтеор с помощью формул (5.155) (5.156) $5.4.
Оцен11ылние ВеРОнтности ОшиБки 165 гл. 5. ОценпВлнпе плРлметРОВ рис. 5.3. Поскольку с ростом У величина г..., уменьшается не быстрее чем 1/тт', а г„., уменьшается не быстрее чем 1/1.)т', то для многих случаев большее число объектов должно быть использовано для экзамена, а не для проектирования классификатора. П р и м е р 5.7.
Для распространения вышеприведенного результата на случай нормальных распределений с неравными ковариационными матрицами были проведены эксперименты для стандартных данных 1= 1, 2. Размер обучающей выборки для каждого класса выбирался равным 12, 50, 100, 200 и 400 объектам (~1= Х2 "т' = У1+ У2).
ЧЕтЫрЕСта ОбЪЕКтОВ КаждОГО КЛаССа, КО- торые генерировались независимо от объектов обучающей выборки, использовались для проверки качества классификатора. Для каждой выборки эксперимент повторялся 40 раз. По данным 40 экспериментов вычислялись выборочное среднее и среднеквадратичное отклонения оценки вероятности ошибки. Результаты приведены в табл. 5.1. Заметим, что эти результаты не противоречат Таблица 5Л Выборочный эксперимент для вычисления смещения и среднеквадратичного отклонения, обусловленных построением классификатора *) Число объектов каждого класса Ж,=Жс а/ ' акоп' 'акоп' Число объектов каждого класса Ж,=Ха в, % теор' а,% теор' (Уаг(сне)) с а Е( е) (Уаг(ье)) (а Е(ле) 0,50 0,36 0,16 0 0,67 0,48 200 400 5,4 0,50 0,57 12 50 100 10,7 0,78 0,35 2,75 1,35 0,95 *) и= 8; е,= 1 баса ° еа — 2 2а~о', а = (0,5(Е,(1 — Еа)+Еа(1 — Еа)) !ЖР! .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
