Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 31
Текст из файла (страница 31)
(6 22) Ж-ело 1 — оо(х(+оо Выражение К (Ь»»») представляет собои характеристическую функцию й(з). Д о к а з а т е л ь с т в о. Построим характеристическую функцию выборки, фигурирующей в (6.6): +ос Ж сРл (и) = [ ехР (!их) ЫРл (х) (1))У) ~, ехР (!их,.). (6.28) 1=1 ° ч Тогда характеристическая функция оценки р)р(х) может быть получена как произведение характеристических функций»р (»»») $82 ГЛ. 6. ОЦЕНИВАНИЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ и К(йа). Поэтому, применяя обратное преобразование, получим= )а) р, (х) = (1/Х) ~ (1/й) й [(х — х)/й] 1=1 +00 (6. 29~ (2л) ' ~ ехр ( — уах) гр,„(а) К (Ьо») йо. Следовательно, Е~ вар [ рг,(х) — Е(рх)[]( [ — ори, ХЩ..ОО +00 неравенсгв(р ~(20) ' ) [К(аи) [Е]]ври(и) ] — Е(врх(и)) ])г[и ( — 00 ~ (20) ) ] К (аи) ][агаг(вр~(и))]'Угг[~ — 00 'гвв квк х. (20) ) ] К (аи) ] [(1УК) агаг ( вхр (уих.]в]'гггуи ~(20) ) ] К (аи) [((1УК) Е(вхр (уих;) вхр ( — агах.))]'Уг,уи = +00 +00 =(20) У' [К (аи) ] (1УК)'Угг[и = [20) — 'а — вгР— вгг (6.30) Последнее выражение стремится к нулю при условии (6.25).
Уравнение (6.30) означает, что Е'~ ~ внр [р)ау(х) — Е(р)ау(х))! — р-0 при Х вЂ” р- оо. (6.31) ~ — оо(х(+оо Пш'[ впр [ Е(р)ау(х)) — р (х) [ = О. )ау-а оо ~ — оо(х(+оо Комбинируя (6.31) и (6.32), получаем Пгп Е ~~~ впр [ р[]((х) — р (х) [ »а[-ВОО ~ — ООх Хщ.+ОО (6.32): (6.33) что эквивалентно (6.27). Тем самым доказательство завершено. С другой стороны, учитывая равномерную непрерывность р(х), можно видоизменить (6.17) таким образом, чтобы вместо (6.16) получить $6Л.
ОЦЕНКА ПАРЗЕНА Теперь монхно показать, что при тех же условиях оценка моды, или максимума плотности вероятности является состоятельной. Максимум плотности вероятности ищут в тех случаях, когда хотят получить оценку максимального правдоподобия ,(аностериорную оценку).
В случае равномерно непрерывной плотности вероятности р(х) можно получить оценку рру(х) и найти ее максимум. Пусть максимум рк (х) достигается в точке х = хо, в то время как максимум истинной плотности вероятности р(х) находится в точке х = хо. Тогда ], („) р[в,)[ — ~вггрр (х) — вирр(х))(вар/Рх(х) — р[х)$' Х Х х (6.34) Комбинируя (6.33) и (6.34), получим 11ш Рг([ х, — х, 1( е) = 1. (6.35) Таким образом, (6.25) гарантирует как равномерную сходимость р, (х) к р(х), так и состоятельность оценки моды хо. „(Х) = (1/Х) Х (1/й") й [(Х вЂ” Х,)/й]— )ау В=1 ] ([уа") а [(к — в]уа] кр (е). (6.36) В общем случае рк(Х) можно представить в виде []У Т1 — ! р (Х) = (1/Х) ~ П'Ь» Й [(х1 х(1)/йаг, ° ° ° 1 (хуа ху)1)/Ьуа]' (6.37) Оценка (6.36) получается из (6.37), если без существенного ограничения общности положить й] = Ь2 =...
=Ь„. Условиям (6.8) — (6.13) соответствуют следующие условия, накладываемыо 6.1.4. Обобщение на случай многомерной плотности вероятности. Предыдущие рассуждения легко обобщаются на многомерный случай. Подробное рассмотрение этого случая можно найти В [Какулос, 19661. Различие заключается только в том, что вместо числа й используется й".
Оценка рру(Х) определяется следующим образом: 185 е б,1. ОЦЕНКЛ ПЛРзЕНЛ (6.38) (6.39) (6.40) (6,41) 184 ГЛ. 6. ОЦЕНПВЛНИЕ ПЛОТНОСТИ ВЕРОЯТЕ10СТП па /с(У/Ь) и /г: ~/;(~7Ь) т/Ь" = ~й®ДЛ=1 .У .У 1 ~ ~ (У~а) ~ а ~'~й" = 1~ е ~г~ ~ аг < .У .У вар ] /с (У//г) ~ = вн р 1/с (з) ~ < оо, те я ?ЕЯ 11т 1(У/й) /с (У//г) ! = 11п1 ~ Л/с (Я) ~ = (1, У/6-~ао г-э ОО мум смещения или дисперсии для конечного числа У, могут быть основой для нахождения оптимальной ковариационной матрицы 2'. Однако эта задача оказывается очень сложной, и в настоящее время неизвестно, как выбрать г' для данного множества объектов. Интуитивный ответ па этот вопрос состоит в том, чтобы в качестве Х использовать выборочную ковариационную матрицу данных объектов.
При таком выборе Х ковариационная матрица оценки Парзена Х„оказывается пропорциональной выборочной ковариациопной матрице 11т й" (Х) = 0 (условие асимптотической несмещенности), (6.42) р1-+оо 111П Хй" (Х) =. оо (УСЛОВИЕ СОСтОятЕЛЬПОСтИ), (6.43) 2п 1пп Хй (Х) = оо (условие равномерной сходимостп). (6.44) р1-~ ао (1/й") /с ((Х вЂ” Х1)/й] = == (211) / й "]11 /2ехр — —,й 2(Х вЂ” Х,.) Х (Х вЂ” Х;) . (6.45) Так как Х, заданы, то параметрами, которые необходимо определить для этого ядра, являются ковариационная матрица ~ п Ь(Ж).
Параметр й(Ж) может быть произвольной функцией Ж, но для упрощения выкладок мы выберем й(Ж) следующим образом: Ь(Ж) = Ж "'". (6.46) Для того чтобы выполнялись условия (6.42), (6.43) и (6.44), /; должно удовлетворять следующим ограничениям: 1 ) /с ~ Π— условие состоятельности, 1/2 ) /с ) 0 — условие равномерной сходимости. (6.47) (6.48). Выбор ковариационной матрицы Х не влияет на асимптотические свойства оценки, но он важен, так как от этого выбора зависит качество аппроксимации, получаемой при предъявлении.
конечного числа объектов. Некоторые критерии, такие как мини- Если эти условия выполняются, оценка р~(Х) является асимптотически несмещенной н состоятельной оценкой плотности ве ° роятности р(Х) в точках непрерывности р(х). Хотя ка)кдому одномерному ядру из табл. 6.1 мо)кно поста вить в соответствие многомерное ядро, мы ограничимся здесь рассмотрением ядра, имеющего вид нормального распределения.
Это ядро определяется следующим образом: ;)Р, = (1/Х) Х (Х,Х'; + Ь' Х) = (1+ Ь') Х. (6.49) Поэтому можно утверждать, что статистические свойства оценки подобны свойствам выборочного распределения вплоть до второго момента, даже когда й пе очень мало (т. е. при относительно небольших Ж). Возможна и другая процедура выбора г., при которой вначале производится декорреляцпя данных, а затем в качестве р берется единичная матрица. Математически обе процедуры эквивалентны, но когда оцепиваемые плотности вероятности используются для некоторых других целей, например, для построения классификатора и т.
д., второй метод может значительно сократить объем вычислений. На рис. 6.2 пока- ~ ~ I г), Д; г + зан пример для двумерного г',/7 ~+/1 ~,,г ~ + случая. В качестве примера рас- ,' г~ + / х смотрим применение метода ) ~ ° г.) Парзена для оценки вероят- 1 ~+ ности ошибки в непараметрическом случае. Как было б~ показано в гл.
5, верхнюю и нижнюю границы вероят- Рис. 6.2. Выбор ядра. ности ошибки можно полу- а) Исходное распределение; б) после декорчить соответственно с по- релнпии. мощью метода исключения одного объекта и С-метода. Байесовский критерий для объекта Х„при пали„и~ о)~ Ж1 объектов и в классе со Ж2 объектов можно записать следующим образом: р (Х),/о),) ~) ', р, (Х),/о),) — э- Х), е= ~ ' . (6.50) Ь'1+ Фх Л/ю '1о)х $6.2. МЕТОД» Г>Л1ИЬАИШИХ СОСЕДЕЙ 186 Всронтность ошибьи Метод исключения одного объекта, и С-метод и 11 а 1/ 1/ '7 2,9 2,6 2.5 0,1 0,2 0,4 *) [Фу куна га, 1 971 Ь1. (6.51) Метод исключения одного объекта С-метод Среднеквадратичное отклонение, % Среднеквадратичное отклонение, Среднее, и Среднее, % (Л'1 — 1) (2у6) " ]Х,Г" Х 2,9 2,35 0,7 0,7 0.5 0,2 0,2 0,2 0,1 0,45 0,65 100 200 400 х[ *) (Фукунага, 1971Ь1.
(6 521 ГЛ. 6. ОЦЕНИВА'ШЕ ПЛОТНОСТИ ВЕРОЯТНОСТИ Проверку по критерию производят для каждого из У(+ У2 обьектов, и число неправильно классифицированных объектов принимают в качестве оценки вероятности ошибки. Для оценивании плотности вероятности р, . (Хх/(о1), 1 = 1, 2, воспользуемс)т оценкой Парзена. В С-методе используют все Ж( и У2 объектов для оценивания соответственно р)у, (Х,/а() и рн2 (Х„/(о2). При использовании нормальных ядер (6.45) с ковариационными матрицами Х( и Х2 соответственно для классов (о1 и (о2 байесовский критерий (6.50) принимает вид )у> ~ л'>>(2>>) — » )х ) — ~» 2' ,„[ >>>»> (х х(г)) т.— ~(х х(г))1 1=1 Х( Ц (2) где Х; и Х( — соответственно объекты из классов (о( и (н2 В методе исключения одного объекта для проверки гипотезы Хаб= (о) используют У1 — 1 объектов (исключая Х„), по которым оценивают р)ч, (Х/(о)).
Поэтому левая часть байесовского критерия (6.51) заменяется выражением Когда объект Х„б= (о2, правая часть байесовского критерия (6.51). должна быть аналогично изменена. Вычисление вероятности ошибки для непараметрическоге случая является трудоемким делом в основном потому, что нужно вычислить все пары расстояний (Х» — Х(; ~) Х; (Х» — Х( ~). Прим е р 6.1. Приведенный выше метод применялся дла объектов, которые генерировались в соответствии со стандартными данными 1= 1, 2.
Вначале для того, чтобы оценить влияние величины параметра Й на оценку вероятности ошибки, был проведен эксперимент со 100 объектами в каждом классе, при й '/з, '/б и '/7 (эти значения й удовлетворяют условию (6.48) ). Результаты приведены в табл. 6.2. Хотя некоторый разбро(- по качеству классификации имеется, он не столь велик, чтобы х)ассматривать выбор й как дело особой важности. Поэтому и дальнейших экспериментах было принято Й = 1/а. В качество исходного материала было генерировано по двадцать множеств Объектов для каждого размера выборки (Ж1= У2 = 100, 200 и Таблица 62 Влияние параметра 1г (Юг=Ха=100) *) Таблица 63 Р>7 ганне количества обьектов )т', и )у'а (»='/ ) а) 400). Полученные вероятности ошибок приведены в табл. 6 Я. Заметим, что истинная вероятность ошибки, как следует из "табл.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
