Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 11
Текст из файла (страница 11)
Иногда удобнее интегрировать плотность вероятности отношения правдоподобия р(1/оэ;), которая является одномерной. Интегралы, которые вычисляготся в этом случае, имо)от вид Нижний предел интегрирования в (3.8) раьеп нулю, поскольку отношение правдоподобия всегда положительно. П р и м е р 3.1. Если р(Х/о!), г = 1, 2, — нормальная случайная величина с вектором математического Ожидания ЛХ< и ковариационной матрицей Х;, то решающее правило (3.5) приобретает вид Ь(Х) = — 1п/(Х) = ! (Х вЂ” ЛХ )т Х, '(Х вЂ” М )— — —, (Х вЂ” М2) Х,.—, (Х - и ) +, ) и $ т ! 1 1~!~ 2 г '.. г Уравнение (3.10) показывает, что роша)ощая граница является квадратичной формой относительно вектора Х.
В случае Равных ковариационных матриц Х! — — г'2 — — Х граница стапо- ГЛ. 3. ПРОНКРКЛ 1'ИПОТКЗ вится линейной функцией относительно вектора Х: Ь (Х) (М2 М1) Х Х + (М(х М1 М2ис 1М2) )( ~~)п —,' -)- Х ~ 1 . (3.11) р'! !) О)2 Н 1а рис. 3 1 показаны двумерные примеры для случая, когда ~си~) г ~с2 И Х1 = ~с2. Рис. 3.1. Реша1ощие границы для нормальных распределений. а) в,~х,; б) в,=в,. с!! — штраф за решение Х е- =о)1, если в действительности Х~ о)1, с)2 — штраф за решепие Х ~ (о2, если в действительности Х ЕБ О)1, с2! — штраф за решение Х ~ о)1, если в действительности Х ~ о)2, с22 — штраф за решение Х е= о)2, если в действительности Х~ (о2. (3.12) 3,1.2.
Байесовское решающее правило, минимизирующее функцию риска. Решающее правило (3.1) было нолучепо из условия, что предъявляемый объект отпосится к классу, характеризуемому наибольшей апостериорной вероятностью. Однако можно сформулировать решающее правило, исходя из несколько иных соображений. Предположим, что, принимая решение, мы дол)кпы платить штраф. Величина штрафа зависит от того, и какому истинному классу припадлежит классифицируемый объект. Можно ввести четыре типа штрафов: 3.1.
ПРОВЕРКЛ ПРОСТЫХ ГИПОТЕЗ о ошибо ц1ое решение штрафуется больп1е, чем правильное т е С)2 ) С11 И С21 ) С22. '(3 13) à — бласти тех значений вектора Х, для которых и Х е ю2 соо'гве'гстве1п10 М о выбрать области Г, и Г2 так, чтобы минимизировать математи- ческое олсидание штрафа, или риск г: г = ) сссР (и(Х) р (Х) с)Х -)- ) сссР(сг(Х) р (Х) с)Х-'; г, г, -(- () сссР(и(Х) р (Х) с(Х-(- () сс Р (сс!Х) р (Х) ДХ г, г, ~ (с„Р (с),) Р (Х(и1) -)- с„Р (и(,,) Р (Хамит.,) ) с(Х (- г, + ~ (с12Р ((о1) р (Х('о)1) + с22Р (о)2) р (Хгт),) 1 ((Х.
(3.14) 1, Так как области Г1 и Г2 не пересека!отся и в совокупности покрывают пространство, то ~ р (Х,'ю;) ИХ = 1 — ~ р (Х(о);) ((Х. (3.15) г, г, Используя выражение (3.15), математическое ожидание (3.14) можно представить в виде г = с„р(ис) -(- с„р(ти.,) -(- ~ ( — (с„— с„) Р(и,) р (Хси,) ( г, + (с,1 — с„) Р (~~2) р (Хl~оа)) ИХ. (3.16) Теперь задача закл!очается в том, чтобы выбрать область Г) из условия минимума риска г.
Предположим, что для данного Х подынтегральное выражение в формуле (3.16) отрнцательпо. Тогда можно уменыннгь рнсн г пугем отнесения Х к области Г). Если же подынтегральное выражение положительно, то можно уменьшить г путем отнесения Х к области Г2. Таким образом, решающее правило, л!инильизирующее риск, закл1очается в том, что к области Г! относятся те и только те объекты Х, для кото- рых подынтегральное выра)кение в (3.16) является отрицатель- ным. Это решающее правило можно представить следующим неравенством: (г, (с„— с.„) Р ((оа) р (Х, соа)- (с„— с„) Р((о1) р (Х((о1) при Х ~ (3.17) Х2 ГЛ, 2. ПРОВЕРКА ГИПОТЕЗ ~ 3 1 ПРОВЕРК А ПРОСТЫХ ГИПОТЕЗ (3. 22) ПЛИ Р (Л '1о1);- >Г, ' ~~р при Хе=! Р (Х/!о~) ~г, е.г =- ]~ Р (Х гю2) ггХ = ео г, (3.24) (3.21) г, — ] — 1 О] — [+1 О] (3.26) Р ( lго1) ~ (ох! — 1'22) Р(1о.) 'Г р(Хгь,) ((е„— о„) р(го ) при Х' ~Г ' (3'18 Где (с2! — С22) и (С12 — с!!) — положительные величины, чго следует из неравенства (3.13).
Это решагощее правило называют байесовским критерием, минилгизирующилг риск. Сравнивая выражение (3.18) с (3.4), можно заметить, что байесовский критерий, минимизирующий риск, является критерием отношения правдоподобия, но с другим порогом по сравнению с критерием (3.4). Кроме того, назначение штрафа за решение эквивалентно измепениго априорных вероятностей Р(го1). Для частного случая, когда штрафы (3.12) связаны со- отношением С!2 С!! = С2! — С22, (3.19)' выражения (3.18) и (3.4) совпадают.
Это так называемый случай симметричной ф~~нкутг штрафп, прн которой штрафом является вероятность ошибки, и критерий (3.4) минимизирует вероятность ошибки. Другие фуш;цни штрафа пспользуготся тогда, когда неправильное решение для одного класса является более критичным, чем неправильное решение для другого класса. 3.1.3. Критерий Неймана — Пирсона. Критерий Неймана— Пирсона следует из третьей формулировки задачи проверки гипотез. Вспомним, что в задаче проверки гипотез для двух-классов можно совершить два типа ошпбок.
Как и ранее, обозначим вероятность ошибки каждого тяпа через в! и е2 соответственн . венно. 1 ешающее правиого Нейглгпна — Пирсона представляет собой решающее правило, минимизирующее вероятность ошибгц е ! при условии, что вероятность ошибки е2 равна некоторой величине Э например, ео. Для определения этого решающего правила необходимо найти минимум выражения г = е ! + ).л (ег — ео), (3.20)' где )г — множитель Лаграггжа. Подставляя значения вероятностей ошибки е! и е2 из (3.7) в (3.20), получим г = 1 р1Х1о,1ХХ 1- о !) р1Х~о,)ХХ вЂ” г > г, = (1 — )гео) + „~ (]гр (Х!аког) — Р (Х!ю!)) С1Х.
Используя те же рассуждения, что и при выводе реша!ощего правила (3.17) нз соотношения (3.16), приходим и заключению, что риск г могкно минимизировать путем выбора областей Г! и Гп следующим образом: (Г, ]Лр (Л !0)г) =--.Р (Л /(о1) ПрИ Х е-= Сравнивая решающие правила (3.23) и (3.18), можно заключить, что критерий Неймана — Пирсона не предлагает нового решающего правила, а основан на критерии отношения правдоподобия, как байесовский критерий.
Однако предыдущее рассмотрение показало, что критерий отношения правдоподобия является критерием, минимизирующим вероятность ошибки решения для одного класса. При этом вероятность ошибки для друГого класса остается неизменной. При данной вероятности ошибки ео порог )г есть решение уравнения Если использовать плотпость вероятности отноп|ения правдоподобия, то уравнение для вычисления порога )г имеет вид +оо е2 — ~ Р (1~гог) г11 ео. (3.25) Так как плотность вероятности р(г/го2) ~ О, то вероятность ошибки е2, определяемая выран ением (3.25), является монотонной функцией относительно )г. Иначе говоря, когда порог )г увеличивается, вероятность огппбки е2 уменьшается.
Поэтому после вычисления значений е2 для нескольких значенг|й порога )г можно найти такое р, которому соответствует значение е2, равное ео. Однако получить точное решение уравнения (3.25) нелегко. П р и м е р 3.2. Рассмотрим двумерное нормальное распределение при М! = [ — 1 01', М2 — — [+1 01', Х! — — Х2 — — 1 и Р(в!) = Р(в2) = 0,5. Из выражепий (3.11) и (3.23) следует, что решающие границы можно выразить следующим образом: х, Ь(Х) =Ц+1 О] — ] — 1 О]) + х ГЛ.
3, ПРОВЕРКИ ГИПОТЕЗ $ ЗЛ. ПРОВЕРКА ПРОСТЫХ ГИПОТЕЗ 1 Р(й,) 1,'2 1/4 0,04 0,09 0,16 0,25 0,38 г, — (с„ — с„) ~ р (Х(и,)с(Х = О (3.28) г, (3.27) (3.29) С11 = С22 = О И С(2 ~ С2( 3 К, Фукунага На рис. 3.2 изображены решающие границы для различных значений порога р. Эти границы представля(от собой линии, параллельные оси х2. Соответствующие Вероятности ошибки е приведены в табл, 3.1. Например, если мы хотим сохранить е2 хр равным 0,0!), то, как видно пз этой таблицы, и должно быть равно 2, и решающая граница пройдет через точку х( — — — О 34.
3.1.4. Мипимаксный критерий. Как уже отмечалось, байесовский критерий, мини мнзпруютцийй риск, основан на вычислении отиоше,и-4' 1 1ф~~1 1 ния правдоподобия и сравнении его величины с порогоРис. 3.2. Границы Неймана — Пирсона. вым значением, которое яв- ляется функцией априорны(с вероятностей Р(а(), 1= 1, 2. Поэтому, если априорные вероятности Р(а() не изменя(отся, то реша(ощее правило всегда обеспечивает минимальный риск.
Однако, если априорные вероятности Р(а() изменились, то зафиксированная величина пороги уже не обеспечивает достижимого минимума риска. Минимаксный критерий используют для нахождения такой величины по- Таблица 3.1 Соотноп(ение )(:ежду р и е. рога, при которои минпмизируется максимум возможного риска, даже если априорные вероятности Р(ю,) изменяются. Сначала выразим риск г, определенный выражением (3.14)', через Р(в(), 1 = 1, 2. Так как Р(о))) + Р(о)2) = 1, то Р(а2) однозначно определяется через Р(а().
Используем выражение ,(3.15), получим с = с,о -)- (сос си) ~ Р (ХСсо.,~ НХ -(- Р (со,) ~(с„— с„) -)- г, -)- (с„— сс,) ~ р (Х(и,) НХ вЂ” (си — с„) 1 р(ХСооо) с)Х] г. г, Уравнение (3.27) показывает, что если области Г1 и Г2 определены, то риск г является линейной функцией относительно вероятности Р (в1) . На рис. 3.3, а кривая линия изображает байесовский риск в зависимости от априорной вероятности Р(в(), при условии, что области Г( и Г2 выбраны для каждого значения й Р*('а~т) а) Ю Рис. 3.3.
Байесовс((ий риск в зависимости от анриорной вероятности Р((з(). вероятности Р(в(). Если области Г( и Г2 зафиксированы, то в этом случае решение будет оптимальным только для одного значения вероятности Р(в(), которое на том же рисунке обозначено через Р*(а(). Для этого случая на рис. 3.3, а изображена зависимость риска г от вероятности Р(в() в виде прямой линии. Эта линия касается кривой байесовского риска в точке Р~(в(), Если же выбрать области Г, и Г2 так, чтобы в формуле (3.27)) коэффициент при Р(а() был равен нулю, то прямая линия будет касаться кривой байесовского риска в точке, где риск максимален.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
