Дуда Р., Харт П. - Распознование образов и анализ сцен, страница 5

В этом случае действие и, соответствует принятию решения, что истинное состояние природы есть а„а действие сс, — что истинное состояние есть а,. Для простоты записи пусть Х;,=Х(а;!а)) — потери вследствие принятия решения а, при истинном состоянии природы а;. Тогда в соответствии с уравнением (5) условный риск запишется в виде Р(а, ! х) =-)з1Р (а, / х)+ ) „Р(а,(х), Р (сс, / х) = ).„Р (а, / х) + Х„Р (а, ! х). Существует ряд способов записи решающего правила с минимальным риском, каждый со своими небольшими преимуществами.

Основное же правило заключается в выборе а„если )г (а,(х)(й (се,(х). На языке апостериорных вероятностей это правило состоит в выборе а„если (Մ— Х„)Р (а,(х)) () „— Х„)Р (а,(х). Обычно потери в случае ошибки больше, чем при правильном принятии решения, так что оба коэффициента Մ— Х„и Մ— Х„ положительны. Таким образом, наше решение главным образом определяется более правдоподобным состоянием природы, хотя и требуется масштабирование апостериорных вероятностей соответствующими разностями потерь.

Пользуясь правилом Байеса, можно заменить апостериорные вероятности априорными и условными плотностями, в результате чего получим эквивалентное правило: принять решение а„ если (Մ— Х„)р (х)а,)Р (а,)) (Մ— Х„)Р (х)а,)Р (а,). Из вполне логичного предположения, что Х„)Хп, непосредственно вытекает другое правило: принять решение а„если Р ("( а~) ла ) м Р(ал) ) р (х ( ал) Хм — Хн Р (а,) Такая запись решающего правила подчеркивает зависимость плотностей распределений от х.

Величина Р(х(ай), рассматриваемая как функция от ай, называется праадоподобиелл а; при данном х, а р(х~)а,))р(х(а,) — отношением правдоподобия. Таким образом, байесовское решающее правило можно сформулировать как рекомендацию выбирать решение а, в случае, если отношение правдоподобия превышает пороговое значение, не зависящее от наблюдаемого х. 2ла Классификация с минимальным уровнем ошибки 27 2.4. КЛАССИФИКАЦИЯ С МИНИМАЛЬНЫМ УРОВНЕМ ОШИБКИ Обычно в задачах классификации каждое состояние природы связывается с одним из е различных классов, а действие а; интерпретируется как принятие решения, что истинное состояние природы есть в, ').

Если выбрано действие ао а истинное состояние природы есть вн то решение верно в случае, если 1=/, и ошибочно при 1~7', Если ошибки нежелательны, то естественно было бы обратиться к поиску такого решающего правила, при котором достигается наименьшая средняя вероятность ошибки, или наименьший уровень ошибок.

В качестве функции потерь для такого случая особый интерес представляет так называемая симметричная, или нуль-единичная, функция потерь 1, 1 = 1, ..., с. Эта функция связывает отсутствие потерь с правильным решением и приписывает единичные потери любым ошибкам. Все ошибки, таким образом, имеют одинаковую цену.

Риск, соответствующий такой функции потерь, и есть в точности средняя вероятность ошибки, так как условный риск выражается формулой )с(а;/х) = е,' Л(а;!в,)Р(в !х) = 7=! = ~~.'з Р(в ~х) =1 — Р(го;~х), 7~г (В) принять решение в,, если Р(в;)х) ) Р(в,.! х) для всех )ФК з) В данном случае а=в=с есть число классов. Иногда бывает полезно определить действие а,+, как отказ от принятия решения; этот случай рассматривается в задачах б и 7. а Р (в,~х) есть условная вероятность того, что действие а; верно. Вайесовское решающее правило, минимизирующее риск, рекомендует применять то действие, при котором условный риск минимален. Таким образом, чтобы получить наименьшую среднюю вероятность ошибки, мы должны выбрать такое 1, для которого апостериорная вероятность Р(в;!х) максимальна.

Иными словами, для минимизации уровня ошибок следует руководствоваться таким правилом: Гл. 2. Байесавсши» оторви решений 2.а. клАссификАтОРы, РАзделяющие Функции И ПОВЕРХНОСТИ РЕШЕНИЙ 2.бй. СЛУЧАЙ МНОГИХ КЛАССОВ Допустимы различные способы описания классификаторов. Один из способов, дающий нечто вроде канонической формы классификатора, состоит в представлении его посредством системы РазделЯюЩих фУнкЦий де (х), (=1, ..., с. ГовоРЯт, что классификатоР ее 1т1 Уст ойстбо решение срознснин Вентер ариона ной Рис. 2.3. Схема классификатора образов. ставит в соответствие вектор признаков х классу оть если справедливо неравенство йее(х) ) д (х) для всех 1 ~ 1. (9) Классификатор, таким образом, рассматривается как устройство, вычисляющее с разделяющих функций и выбирающее решение, соответствующее наибольшей из них.

Такое представление классификатора изображено в виде блок-схемы на рис. 2.3. Это естественный и простой способ представления байесовского классификатора. В общем случае положим йц(х)= — Р(а,~х), так как наибольшая из разделяющих функций будет тогда соответствовать наименьшему условному риску. В случае классификации с минимальным уровнем ошибки задачу можно еще упростить, принимая йе,(х)=Р(от;|х), так что наибольшая по величине разделяющая функция будет соответствовать наибольшей апостериорной вероятности.

Ясно, что выбор разделяющих функций не единствен. Всегда можно, не влияя на решение, умножить разделяющие функции на положительную константу или прибавить к ним какую-либо константу. Более того, если заменить каждую из д;(х) на ~(9(х)), 2.6. Классификатора, роэдвлвши(ив функции и поверхности 29 Граооаи оуласаса рсшоаой а Рис.

2ск Примеры областей решений и нх границ. хотя некоторые и могут оказаться намного проще других зрения понятности или удобства вычислений: д;(х) = Р (со,) х), р(х) ш,) Р(ш;) р (х ) шс) Р (шу) ) =! д;(х) =р(к~сот) Р(от;), д, (х) = 1од р (х ( ш,) +! од Р (ш(). с точки (10) (11) (12) (13) где ( — монотонно возрастающая функция, то результирующая классификация не изменится. Это обстоятельство может привести к существенным аналитическим и расчетным упрощениям.

В частности, при классификации с минимальным уровнем ошибки любой из следующих вариантов приводит к одинаковым результатам, р(х! шс) Р(иД Гя. 2. Байесоосатя яеория решений зо и,бяи СЛУЧАЙ ДВУХ КЛАССОВ Хотя два класса — это лишь частный случай многих классов, обычно его исследуют отдельно, Вместо использования двух разделяющих функций д, и дз и сопоставления значений х и состояния ио ке йсямяо лооолаяой Поросогмй Решение вяомоят Ркс.

2.5. Схема классификатора образов для двух классов. оз, при д,)дз чаще принято определять одну разделяющую функцию: д(х) =д, (х) — йз (х) (15) и применять следующее правило: принять решение от„если д(х))0; в противном случае — принять решение соз. Классификатор для Решающие правила остаются эквивалентными независимо от разнообразия этих форм записи разделяющих функций.

Действие любого нз решающих правил состоит в том, чтобы разбить пространство признаков на с облаелтей решений Яо ..., Ж,. Если оказывается, что д,(х))йт(х) для всех /Ф1, то считаем, что х находится в области М, и, согласно решающему правилу, со значением х следует сопоставить состояние озо Области разделяются границами областей ресиеиий — такими поверхностями в пространстве признаков, вдоль которых совпадают наибольшие (для каждой точки х.— Ред.) из разделяющих функций (рис.

2.4). Для соприкасающихся областей Ж; и Иу уравнение разделяющей их границы имеет вид д, (х) =ду (х). (14) Хотя данное уравнение в зависимости от выбранного вида разделяющих функций может принимать различную форму, границы областей решений остаются, конечно, одними и теми же. Для точек, лежащих на границе, задача классификации определяется не единственным образом. В случае байесовского классификатора для каждого из решений получаем одно и то же значение условного риска, так что не важно, как будет разрешена эта неопределенность.

Вообще говоря, данная проблема разрешения неопределенности при непрерывных функциях плотности условного распределения является чисто теоретической задачей. 2.б. Вероятности ошибок и иняегрояы ошибок двух классов может, таким образом, рассматриваться как устройство, вычисляющее единственную разделяющую функцию к(х) и классифицирующее х в соответствии с алгебраическим знаком результата (рнс. 2.5).

Из всевозможных видов записи разделяющей функции, дающей минимальный уровень ошибки, особенно удобны два: я (х) = — Р (а, ! х) — Р (а, ~ х), я(х) =1оя~ ( 1 ')+!од р (х / ае) Р (ае) (16) (17) 2.б. ВЕРОЯТНОСТИ ОШИБОК И ИНТЕГРАЛЫ ОШИБОК Представляя классификатор как устройство для разбиения пространства признаков на области решений, можно глубже разобраться в работе байесовского классификатора. Рассмотрим сначала ги, р( 1М ( > Рис. 2.б. Составляющие вероятности ошибки. случай двух классов и предположим, что классификатор разделяет пространство на две области Я, и Я,. Возможны два типа ошибок классификации: когда наблюдаемое значение х попадает в область Я„в то время как истинное состояние природы есть со„либо когда х попадает в Я„ а истинное состояние природы — а,.