Дуда Р., Харт П. - Распознование образов и анализ сцен (1033979), страница 14
Текст из файла (страница 14)
Проделаем это, суммируя совместные вероятности Р(Х, з,'9) для всех значений з: Р(Х$В)=ХР(Х, з$В)= =ЯР(Х$з, 0)Р(з$9). Но, поскольку з=<р(Я'), возможно лишь одно значение для з, так что Р (Х$8)= Р(Я'$з, 9) Р (з$9). Кроме того, так как, согласно предположению, Р (Х $з, 9) не зависит от О, первый множитель зависит только от Я'. Отождествляя Р (з$9) с я(з, 9), можно Ьидеть, что вероятность Р (Х(9) представима в виде произведения, что и требовалось доказать. б) Для того чтобы показать, что из существования представления Р (Х$9) в виде произведения й (з, 9) Ь (Х) следует достаточность статистики з для О, надо показать, что такое представление означает независимость условной вероятности Р(Я'$з, 9) от О.
Так как з= =ф(Х), то установление величины з сводит возможные множества выборок к некоторому множеству Я'. Формально зто означает, что Х=(Х$<р(Х)=з). Если Я' пусто, то никакие заданные значения выборок не могут привести к требуемой величине з, и Р(з(0)=0, Исключив такие случаи, т. е. рассматривая только те значения з, которые могут быть получены, придем к выражению Р(Х$ 9) ="Х '(". = Р(;(В) Знаменатель выражения можно вычислить, просуммировав значения числителя для всех значений Я". Так как числитель будет равен нулю в случае Х$Х, то можно ограничиться суммированием только для Я' Е Я'.
Таким образом, Р(Х$з, 9)= '(Х ')') Р(Х, е(В) ХЕХ Но в соответствии с соображениями, которыми мы руководствовались ранее, Р(Х, з$0)=Р(х(0),так как з=~р(Х). Кроме того, следует иметь в виду, что, согласно принятой гипотезе, Р(Х(8)= =я(з, 9) Ь(Х). Таким образом, приходим к выражению Р(Х$ 9) У(, в)ь(Х) ь(Х) Х а(ь в)з(х) Х' ь(Х) ХЕХ ХЕХ 3.6. Достпточнма статистики тз которое не зависит от О. Отсюда, согласно определению, з достаточна для О. Как будет показано, существуют простые способы построения достаточных статистик. Например, можно определить а как вектор, компоненты которого представлены и выборками х„..., х„, так что йг(з, 0)=р(Я(9) и Ь(Я)=1.
Можно даже построить скалярную достаточную статистику, пользуясь приемом вписания цифр вдесятичных разложениях компонент для п выборок. Достаточные статистики такого сорта существенного интереса не представляют, так как не приводят к более простым результатам. Возможность представления функции р(Я"19) в виде произведения д(з, 8) Ь(Я") интересна только в случае, когда функция д и достаточная статистика з просты ').
Следует также заметить, что выражение р(Я"10) в виде произведения 9(з, 9) ь(Я), очевидно, не единственно. если г(з) есть любая функция от з, то д'(з, 9)=~(а) у(з, 9) и Ь' (Я)=Ь(Я)/Г(а) есть эквивалентные множители. Такого рода неопределенность можно исключить, введя понятие ядра плотностям й(а, В) (38) ~а(а, Е)кв которое инвариантно для этого вида оценок.
Каково же значение достаточных статистик и ядер плотности при оценке параметров? Общий ответ состоит в том, чтофункции плотности, содержащие достаточные статистики и простые ядра плотности, используются при практическом оценивании параметров для классификации образов. В случае оценки по максимуму правдоподобия, когда отыскивается величина О, которая максимизирует р(Я19)=а(а, 8) Ь(Я), можно вполне удовлетвориться величиной д(з, 9).
В Йом случае нормирование посредством (38) не дает больших преимуществ, если гг(з, 0) не проще, чем д(з, 9). Удобство применения ядра плотности выявляется в байесовском случае. Если подставить в (34) р(Я"16)=у(з, 0) Ь(Я'), то получим а(а, Е)р(Е) (39) ~ й(а, е) р (в) йв Если наше апостериорное знание о 8 очень неопределенно, то р(0) близка к постоянной, мало меняясь с изменением О. Если р(0) близка к равномерной, то р(0(Я') примерно равна ядру плотности.
Грубо говоря, ядро плотности представляет апостериорное ') В математической статистике есть соответствующее нашим требованиям понятие минимальной достаточной статнстнкн. Однако н мнннмальнвя достаточная статистика не представляет вначнтельного интереса, если не упрощает вычнсленнй. 74 Гл. 3. Опенка ларалмпгрое и обучение с учижьгел распределение параметрического вектора в случае, когда априорное распределение равномерно '). Даже когда априорное распределение сильно отличается от равномерного, ядро плотности обычно дает асимптотическое распределение вектора параметров. В частности, когда р(х!8) не дифференцнруема и число выборок велико, п(а, 8) обычно имеет острый пнк при некотором значении 0=8.
Если априорная плотность р(8) непрерывна при 8=-8 и р(0) не равна нулю, то функция р(О(Я') приближается к ядру плотности д(з, О). 3.7. ДОСТАТОЧНЫЕ СТАТИСТИКИ И СЕМЕЙСТВО ЭКСПОНЕНЦИАЛЬНЫХ ФУНКЦИЙ Рассмотрим применение теоремы факторизации для получения достаточных статистик на примере хорошо знакомого случая нормального распределения при р(х!0)-АГ(0, В). Имеем р(.Е (8) =аП~ 1 Г 1 е=! (2п)~М (2(мь ехр !à — — (х,— 8)' Х-г (хь — 8)1 = ехр) — ~' (ОгХ Ч) — 20гХ гха+хагХ-гх )~ = 1 Г 1 (2п)лЕГз)Е)нГе ~ 22м ь=г = ехр' ,— — 8'Х-'О+ О'Х-'~~ х„Х ! х „ем „( ехР— 2 ~~Г х)Х хь (2п)" ! Е ! В этом разложении первый множитель выделяет зависимость р(Е !0) от О, а согласно теореме факторизации, видно, что статистика ~~~ ~хадостаточна для О.
Конечно, любая взаимно однозначная ь г функция этой статистики также достаточна для О, в частности и выборочное среднее ! гп„= — ч~г х„ также достаточно для О. Исходя из этой статистики, можно написать л(пт„, 8) =ехр ~ — — (О'Х Ч) — 20'2 'гп„)1. г) Если пространство параметров конечно, мы в самом деле можем считать распределение р(В) равномерным. Хотя в случае непрерывного пространства параметров равномерное распределение невозможно, такое приближение часто н здесь оказывается удовлетворительным. 8.7. Достаточные плати«тики и зкспаненциальные функции 75 и л р»е/ч»-„р [ !«!.!.»»ч! т,,»*») )Г »*,»=еь, ч!»»е», (41) где можно принять я= — ~ч»' с(х,), (42) ь=! д (в, 9) = ехр (л (а (9) + Ь (8)' вЦ и и и (Я") = П сс (ха).
(44) Выражения функций распределения, достаточных статистик н ненормированных ядер для некоторых обычно встречающихся членов экспоненциального семейства приведены в табл. 3.1. Вывод нз этих выражений оценок по максимуму правдоподобия н байесовских апостернорных распределений иполне обычная вещь. Выражения, за исключением двух, приведены для случая одной переменной, хотя и могут быть использованы для случаев с многими переменными, если можно допустить статистическую независимость '), ') Если быть более точным, то необходимо предположить, что р(к1ыр Ву)= = П р(хс|ыр О! ).
Когда в литературе встречается утверждение, что «признаки с=! предполагакися стати«тип«ски независимыми», то почти всегда под зтнм подразумевжтся, что оаи независямы внутри класса. (43) Воспользовавшись формулой (38) илн непосредственнойподстановкой, можно получить ядро плотности д(пт„,О)= ! „, ехр [ — -(9 — пг„)'(-„Х) (Π— пт„)~.
(з)ем ~х ~ л Из этого выражения сразу же выясняется, что пг„н есть оценка по максимуму правдоподобия для О. Байесовскую апостернорную плотность можно получить нз д(пч„, 9), выполняя интегрирование согласно (39), Если априорная плотность близка к равномерной, то р(8 Х)= й»(пз„, 9). акой же общий подход возможен н прн определении достаточных статистик для других функций плотности. В частности, он применим к любому нз членов экспоненциального семейства, группы функций распределения н плотностей, имеющих простые достаточные статистики. В число членов экспоненциального семейства входят нормальное, экспоненцнальное, релеевское, пуассоновское н многие другие известные распределения. Все онн могут быть записаны в виде р(х~О)=се(х)ехр [а(8)+Ь(9)'с(хЯ. (40) Таким образом, получаем « о ! « Ъ .Я Я!! «Я !! ~к , о о о ч оо к 3й' Ю Л Ю" о л со л |Е> о л Ю о м Ф й о о м Л1З о ! м Ю ! ! «! О.
« « О« о ! м — ° Ф сч !) ч Ю ч с« и 8 м 3 а ! к кок о.к кСм! х й ~к «к к««о м ко к У и!3 ок о« с« о« Ж о «" ! « о 1 1 о ! « ! со и сс х о Ю ! о « Ф ь Х И Ф Г 1 и м Я .Я )к 1 н о ф й о ! о! о! о Л ч й О Ф о ! ч о Ъ Ф« Ф \ ! » Ф % 1о 1 Ф » Ф С4 + Ф + Ф Ф »~.~~и о» Ф Ф „ЯВ .И О л Ф Ф ч Ф ч О ~l Ф О О Л Ф О » ч $ о + а. х Г + О СЧ + О М » Ф Е ц 'с ~! Ф(И Ф м Ф Ф ~с о, х о Й х Я х л х й о х х 1й х х о н о Р, Г 1 нА О А И И л х » о Ф х » о Ф и х В + Ф Ф Ф О О Ф ~с ч о ~.'~~И, ~.~ ~! $ 3 ! л л Ф Ф о > м ч о О ОХХ н и" Ь ! » Ф Ф и ~1 Ф Ф ~/ О ИП Е !! сч 'т .
Яи О ~! и Ъ)-<" Ф х С» Ге. 3. Оцеиии иарамиирсс и сйучеиие с рчиииеем 8.8. ПРОБЛЕМЫ РАЗМЕРНпСТИ 3.8ли НЕОЖИДАННАЯ ТРУДНОСТЬ В применении к случаям многих классов нередко приходится сталкиваться с задачами, содержащими до ста признаков, особенно если эти признаки бинарные. Исследователь обычно полагает, что каждый признак может быть полезен хотя бы для одного разделения. Он может и сомневался, что каждый из признаков обеспечивает независимую информацию, но заведомо излишние признаки им не привлекались. Для случая статистически независимых признаков имеются результаты некоторых теоретических исследований, которые подсказывают нам, как поступить наилучшим образом.
Рассмотрим, например, многомерный нормальный случай для двух классов, когда р(хедиве)-Л((рь Х), (= 1, 2. Когда априорные вероятности равны, то нетрудно показать, что байесовский уровень ошибки определяется выражением Р (е) = ~ ехр ~ — — и'1 е(и, Уз,) е«2 (45) где гв есть квадратичное махалонобисово расстояние = ()вв (вв) ~ ()вв (вв). (46) Таким образом, вероятность ошибки убывает с ростом г, стремясь к нулю при стремлении г к бесконечности.
В случае независимых переменных В =Йад (о'„..., оев) и (47) Было бы приятно отметить в заключение, что полученные результаты составляют набор средств, достаточный для решения большинства задач из области классификации образов. К сожалению, все обстоит иначе. В применении ко многим случаям указанныечлены экспоненциального семейства с их плавным изменением и однообразием формы не представляют хорошего приближения реально встречающихся плотностей.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
