Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 14
Текст из файла (страница 14)
Другими словами, оцтимальш)е значение з удовлетворяет уравнению ,тсоторое совпадает с (3.89) и (3.97). 3.3.2. Выражения для верхних границ в случае нормальных распределений. В случае нормальных распределений можно получить явное математическое Выражение для [1(з).
В соответ,ствии с выра1кепиями (3.90) и (2.90) производящая функции 1р[(з) может быть записана в системе координат с некоррелиро- епацПЫМИ КОМПОПЕцтаМИ СЛЕду1ОщИМ ОбраЗОМ: 1 р,()=~ У 1 Х ехр — —. ((1 — з) (У вЂ” 01)'(У вЂ” 01)'+ з (У вЂ” 02)'Л '(У— — ()1)))е[)'= П [ „',,„Х х ехр — —,, ((1 — а) (д, — дц)' + (з//[.1) (у[ — (/91)') Цу[ ((1 — 8) + 8/Л[) х ехр . (1/1 — д и) П Л(1 — ')/2 ехр ( ;~-~ ( +(1 — 8)л) / ГЛ. 3.
ПРОВЕРКЛ ГИПОТЕЗ 80 (3.108) (3. 109) (3.110) Лппронсимация нор- маиьным распреде- лением, % Истинное аначение, % еяр1 — п1'/,)], % еяр1 — п(аоН, % 10,0 10,2 10,1 1.6 2,2 1,9 9,5 9,5 4,8 9,1 9,1 4,6 ет *~ П1 /) = 233; а,= О Ьз; и<я) = 233. 1 ~(Х, + Х,)/2~ + 2'"~Х,~/, ~Х,~/, ~ (3,107) /г ~ Л ~<1 — )/г 1/,Х 1а1+11 Б) Л) /2 Х ЕХр ', ' (02 — 01)'(31 + (1 — 3) /Ц ' (я.)2 — й,) . (3.102) В исходной системе координат ~'/2 ~ Х ~11 —.)/2 ) аХя+ (1 — а) Х Х ехр ' (ЛХ2 — Мд) (зХд -)- (1 3) ХД (М Мд) (3.103) Из выражения (3.80) следует, что р (~) — (~2. ЛХ1) [~11+ (1 — 3) Х,Д (ЛХ, — ЛХ,) + (3.104) ~Х ~' ~Х ~1-' или в системе координат с некоррелированными компонентами и Г я (1 — я) (с/г — с/ ~)' р(з) = —, У ~ ~~ . ' +)п(з+ (1 — 3) ЛД вЂ” (1 — 3)!пл (3.105) К сожалению, нелегко получить оптимальное значение путем решения уравнения (3.101).
Как видно из формулы (3.106), производная др (3) /дз является очень сложной функцией относительно 3: и сЬ 2 ~ ~/ь+(1 — г)А 12( " " '-~-11 — а)/1 (3.106) Если не стремиться отыскать оптимальное значение 3, то можно получить менее сложнее выра)кение для верхних границ вероятностей ошибки е), ег и е, так как для любых 3 выполня1отся ограничения (3.88), (3.96) и (3.100).
Одно из возможных значений 3 равно 1/г. Тогда выражение р('/г) для нормального распределения примет вид р — = — „(М вЂ” М1) ' ' (ЛХ вЂ” ЛХ,) + $3.3. ВЕРХНИЕ ГРЛНИЦЫ ВЕРОЯтНОСтИ ОШИБКИ а из выражений '(3.88), (3.96) и (3.100) следует, что вероятности ошибки е), ег и е ограничены следу1ощими величинами: ( (1 Р (е)г) /Р (е)1) ] ехр р у е, ((Р (е)1)/Р ( )1 ехр — р— е ( (Р (е)1) Р (е),)]' ехр — р— Выражение для р('/г) называют расстоянием Бхатачария и используют в качестве эффективного критерия разделимости двух распределений [Бхатачария, 1943]. Если ковариационные матрицы одинаковы, т.
е. Х) —— Хг =х,. то выражение (3.104) принимает вид р(з) = [з(1 — 3)/2] (ЛХг — М1)'Х '(Мг — М1). (3.111) Следовательно, оптимальное значение 3 можно получить из ре- шения уравнения — др(з)/дз = — [(1 — 23)/2] (ЛХг — М1)'Х 1(М2 — ЛХ)) = = 1п (Р(е)1)/'Р(е)г)). (3.112) В случае, если априорные вероятности равны, т. е. Р(е))) = = Р(е)г) = 0,5, то др(з)/дз = 0 и оптимальное значение г равно 0,5. П р и м е р 3.4. Используем данные, приведенные в табл. 3.2. Так как априорные вероятности равны, т. е.
Р(е)1) = Р(е)г) = = 0,5, то значение порога ~ = О. В табл. 3.4 дается сравнение Таблица 3.4 Вероятности ошибки и их верхние границы *) верхних границ вероятпостей ошибки я), ег и е при р('/2)' и р(зе) (зе — оптимальное значение 3) с точными значениями вероятностей ошибки, а также с их значениями, полученными, к2 ГЛ.
3. ПРОВЕРКА ГИПОТЕЗ (3.116) (3. 117). ю У,г 04 у3 уу РР у Я гр=ЮЯ или (3.122), аппроксимацией решатощего правила нормальным распределени,ем, Данный пример показывает, что верхние границы Вероятности ошибки лучше, чем их оцеп'и, полученные при аппроксимации решающего правила нормальным распределением.
Исполь- Рис. 3.('. 1раиица вероитссости ошибки 1т(я). :зовапие величины р ('/3) обосно)капо тем, что верхние границы нечувствительны к значению 3. 1(ривая р(з) в зависимости от г приведена на рис. 3.7. ~ 3.4. Другие критерии проверки гипотез В этом параграфе будут рассмотрены два других сложных критерия проверки гипотез: критерий проверки многих гипотез и критерий проверки сложных гипотез. 3.4.1. Еритерий проверки многих гипотез. Можно обобщить задачу проверки двух гипотез па случай, когда известно, что объекты принадлежат одному из М классов.
Если решение непосредственно основано па вероятностях, то решающее правило будет иметь внд Р(о;/Х) ) Р(о;/Х) для всех /Ф 1 (Х~ о;), (3.113) или, учитывая теорему Байеса, .Р(о;)р(Х/о;) ) Р(о;)р(Х/о)) для всех /Ф1 (Х~ о(). (3.114) ф 3,(с ДРУГИЕ 1тРИТЕРИИ ПРОВЕРКИ ГИПОТГЗ При обобщении функции штрафа (3.12) па случай многих гипотез имеем си — — штраф га решение Х~- =о;, если Х~-=о, (Х~= о( и Х~= Г,) (3.115) а математическое ожидание штрафа (риск) будет равно М Л1 с = ~ ~~ ~ с;,р (сс; (Х) р (Х) ат = .)=-1 '=1 г .) 4~ =,~'.~, ~ р с;;Р (о;) р(Х/о;) ИХт ;=1; — 1 Г) где области Г, удовлетворя)от следующему условию: м ~ р рх(,»,) (т =1 — ~; ~ р(х(,),(х. г !=( г. Используя это условие, риск г можно переписать следутощим образом: Л1 М Л1 с = ~ с;;Р(и;)-)- .Сс ~ ~ (с;; — с;;) Р(и() рСХ(и,.)~с(Х.
(3.118) .) — 1 ) — )гВеличину риска г можно минимизировать, если выбрать области Г, из условия м Л1 ,~", (с,; — с;;) Р (о;) р (Х/о;) < ~~ (с;„— с;;) Р (о;) р (Х/о;) (3.119) ~=-) для всех Й ~= / (Х ~ Г,). Неравенство (3.119) моткет быть переписано в виде и Л1 ,~', с;,Р (о;) р (Х/о;) < ~~ с;дР (со;) р (Х/о,) (3.120). г — 1 для всех /с Ф / (Х ~ Г,) . Если с;; = 0 и с,, = 1, р Ф/, то неравенство (3.120) примет впд м Х Р(о)р( ~ ( )р( ) < 1=1 Л1 < ) Р (о() р (Х/о,) — Р (о„) р (Х/о„), (3.121) Р(о;) р (Х/о;) ) Р(о„) р(Х/о„) для всех ЙФ/ (Х~Г,).
Неравенство (3.122) совпадает с (3.114). ГЛ. 3. ПРОВЕРКА ГИПОТЕЗ а 3.5. ПОСЛЕДОВАТЕЛЬНАЯ ПРОВЕРКА ГИПОТЕЗ 3.4.2. Критерий проверки сложных гипотез. Иногда условная плотность вероятности р (Х/со() не задана непосредственно, но известны р (Х/О() и р (О(/со(), где р (Х/О;) — условная плотность вероятности вектора Х при фиксированном значении некоторых ,параметров или вектора параметров Оь а р(О,/со() — условная плотность вероятности вектора О, прп фиксированном классе о1(. В этом случае можно вычислить р(Х/со() следующим образом: Р (Х)Ю,) = ~ Р (Х)0;) Р (0,)О;) Н01, (3.123) Р где областью интегрирования У является вся область изменения О(.
После того как условные плотности вероятности р(Х/ю;) полу- чены, можно составить критерий отношения правдоподобия, как описано в предыдущих параграфах: ( р (Х/О,) р (О,/а,) 401 Р Р (Х.'о)1) р (Х!1о. ) (3.124) (, (Х/О,), (О,,).гО, Р Это выражение представляет собой критерий проверки сложных гипотез.
Пример 3.5. Пусть известно, что два распределения случайной величины Х явля1отся нормальными с постоянными ковариационными матрицами Х) и Х~ при данных векторах математического ожидания М( и Л72, а случайные величины Ы( и Ы~ также нормально распределены с векторами математического Ожидания М(о и М2о и коварпацпоннымп матрицами К( и К2*). Тогда в соответствии с выражением (3.123) будем иметь Р(Х)и,)= )(РП) '(Х;) 'Р(Х;) '~'ЕГР( — —,(Х вЂ” Р7,)'Х, '(Х вЂ” ))Р,.)— Р— (ЛХ Л7 ) К, (Л7 Л7 ) йМ. (3.
125) Х ехр — — (Х вЂ” М~~)'(Х, + К;) (Х вЂ” ЛХ~~) . (3.126) 'р) Здесь М) и М2 играют роль Оо т. е. математические ожидания .классов рассматриваются как случайные нараметрь1. (Прим. ред.) Произведя одновременную дпагопализаци1о ковариационпых матриц Х( и К„условные плотности вероятности р(Х/со() можно вычислить тем 1ке способом, которы1! Использовался в (3.102). Окончательно имеем р (Х/со,) — (2л) "/3 (Х, + К, Г1/2 Х Е(Х/со,) = ~ Хр(Х/о1,) йХ = ) ~ Хр(Х/Л71) р(Л7,/о1,) йХйМ, = 1 хр (х)м,) ~)х1 р(М,/о1,) йМ, =- ~ М, р (Л7;/ю,) йМ; = М,в, Р Е ((Х вЂ” Мгв) (Х вЂ” ЛХгв) /со,.
( = (3.127) р (ЛХ(/о1() йМ( —— ( [Х, + (М,. — Л71,) (Л7; — Л7гв)'] р (Л7;/се,) йЛ7; = Х, + К1. У (3.128) Полученный результат совпадает с выражением (3.126). 5 3.5. Последовательная проверка гипотез В ранее рассмотренных задачах вся информация об объекте, подлежащем классификации, предъявляется одновременно. Для принятия решения, например с помощью байесовского правила, используется единственный вектор наблюдений, и никаких последующих набл1одений при этом не проводится. Поэтому отсутствует возмо1кность достаточно надежно проконтролировать ошиб.ку, если нельзя изменить процесс наблюдения.
Однако во многих практических задачах наблюдения поступают последовательно, и в нашем распоряжении оказывается все больше и больше информации. Рассмотрим, например, задачу определения по вибрации состояния машины, которая может находиться как в исправном, так и в неисправном состояниях. В этом случае последовательность наблюдаемых сигналов также должна будет характеризовать исправность или неисправность состояния машины. Другой известный пример — радиолокациопная задача обнаружения цели: последовательность поступивших в течение некоторого времени импульсов принадлежит одному из двух классов, соответствующих существовани1о и отсутствию цели) Если условные плотности р (Х/М,) и р (Х/со() являются плотностями нормального распределения, то р(Х/(о() также будет следовать нормальному распределению.
В силу этого можно непосредственно вычислить вектор условного математического ожидания и коварпационную матрицу случайного вектора Х при фиксированном классе со,: гл. 3. пРОВеРПА Гипотез $ 3,5. ПОСЛЕДОВАТЕЛЬНАЯ ПРОВЕРКА Г1ЩОТЦЗ 3.5.1. Последовательный критерий Вальда. Последовательный крлтернй проверки гипотез Вальда можно реализовать следующим образом. Пусть Х1, Х2, ... — последовательно наблюдаемые, независимые и одинаково распределенные случайные векторы, Для каждого Х, можно вычислить отношение правдоподобия х; = — 1п (3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
