Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 12
Текст из файла (страница 12)
Эта ситуация изображена на рис. 3.3, б. Такой выбор областей Г1 и Г2 гарантирует нам, что даже при фиксированной величине порога независимо от изменения вероятности Р(а()' максимальный байесовский риск будет минимальным. Таким образом, согласно минимаксному критерию, решающая граница должна удовлетворять условию (с„— с.,) + (с„— с„) ~ р (Х(и,) НХ— В случае функций штрафа частного вида ГЛ. 3. ПРОВКРКЛ ГИПОТКЗ (3.30) УР~ы) Р а) и дисперсшо Ь (Х) (Х))о),.) -)- (.1.31) (3.32) (3.33) выражение (3.28) примет вид ) р (Х)и ) ЙХ =- ( Р (Х)(е 1) ИХ Ге г, Другими словами, в данном случае решающая граница выбирается так, чтобы обеспечить равенство вероятностей ошибки первого и второго типа. Рис.
3.4. Априорная вероятность Р((о,) = О или Р(о))) = 1 для мннимаксно- го критерия. Если решающей границы, удовлетворяющей уравнению (3.28), не существует, максимальный риск соответствует вероятности Р(о),) = О или Р(о),) 1. Поэтому прп этих вероятностях мо)кно определить байесовские границы и выбрать из нпх туе при которой имеет место больший риск. Это обеспечивает минимизацию максимального байесовского риска. Примеры, илл)острирующие этот случай приведены на рис.
3.4, а и 6. 5 3.2. Вероятность ошибки при проверке гипотез Любое решающее правило характеризуется вероятностью ошибки.. Вероятность ошибки представляет собой наиболее эффективный критерий применимости данного правила. Однако ео вычисление обычно является достаточно трудоемким процессом, хотя само понятие вероятности ошибки чрезвычайно простое. Для того чтобы оценить вероятность ошибки по формулам (3.6) и (3.7), ну,кно взять и-мерные интегралы. С другой стороны,, если мы хотим вычислить вероятность ошибки по формулам (3.8) и (3.9), то нужно знать плотность вероятности отношения правдоподобия.
В общем случае ни один из этих способов пе позволяет непосредственно вычислить вероятность ошибки. Поэтому при решении мпогих практических задач применяют тс или иные экспериментальпыс методы, например, такие, как моделирование ~ 3 2. ВКРОЯТИОГТЬ ОП1ИБ1(И ПРИ ПРОВГРКК ГИПОТКЗ с помощьн) метода Монте — Карло или метод нахождения гра- ницы вероятности ошибки, который будет рассмотрен в следу)о- щсм параграфе. 3.2.1. Линейные границы. В случае нормальных распределении с равными ковариацнош)ымп матрицами Х) — — Х2 — — 2" всличипа — 1п 1(Х), как следует пз (3.11), становится лип(йиой функцией относительно вектора Х. Поскольку решающее правило (3.11) представляет собой линейное преобразование и-мерного пространства в одномерное, то если Х является нормал)п(о -распределенным случайным вектором, решающее правило Ь(Х) .Также будет нормальной случайпой величиной.
Поскольку Рис. 3.5. Плотность вероятности ро)пающего правила Ь(Х), где ' = 1п(Р(ю )/Р(~т)) а) р(6!а),); б) р()едае). Е (Х/о),) = ЛХ;, то математическое о'кидание можно вычислить следующим образом: т), = Е (Ь (Х) )(о,) = — (ЛХ вЂ” ЛХ )' Х вЂ” г Е (ЛХ Х 'ЛХ Ы Х 'ЛХ ) 1 )1 = (ЛХ„ЛХ )т ~' — 1 (ЛХ ЛХ ) 1 )., =+ —., (ЛХ, — ЛХ,)тХ- (М, ЛХ,) + Ю) = Е ~(6 (Х) — )1„.)-')(О,.1 = Е (((ЛХ, ЛХ )т ~,— 1(Х ЛХ ))', =- (ЛХ., — ЛХ,)' ~-'Е ((Х вЂ” ЛХ,.) (Х вЂ” ЛХ,)т,„,.) Х вЂ” (ЛХ ЛХ ) — (ЛХ Лг )т у 1 (ЛХв — ЛХ ) =- 2 (3 34) Последнее соотношение имеет место в силу того, что, как было показано в (2.28), Е((Х вЂ” ЛХ;) (Х вЂ” ЛХе)'/о);) = Хе = Х. На рис.
3.5 для классов о)) и (еи изображены плотности вероятности решающего правила Ь(Х), причем заштрихованные 3 «е ГЛ. 3. ПРОВЕРКА ГИПОТЕЗ 66 и г1! = Е (Ь (Х)»»»в») =,~', Е (Ь (х!) »!в,) »=! (3.35)) =Хч;,; »=! (3.42) 1=1,2„ о»ч, »=1 (3.43) г = 1, 2. гдо ~ = 1п (Р (»в ! ) /Р (»вг) ), о =о! =о2=- 11. 2 2 и ~ ("') = ПЧ; ( )л »=1 (3.44) и р (Х»»в!) = П р (х»,»»в;). »= — ! где (3.45) где р (х»,»»»),) Ь (х,) = — 1п р (х /»»)2) (3. »!1) площади соответствуют вероятностям ошибки, обусловлепп!.!м байесовскил! Критерием, который минимизирует ошибку решения.
Эти вероятности ошибок соответственно равны е =1 р»й»и1) 44 = [»2х) х~х ехр» — !х/2)4! 4Ч+!)/»р 1 = —, — -1[(1+ ~)~~[, е, =. ) р»4»их) ей =- )»2х) '~х ехр» — !х»2) 4! = ехх (Ч вЂ” »)/»р 1 = — — ег1 [(г1 — ~)/о [, Таким образом, если плотность вероятности отношения правдоподобия является нормальной, то вероятности ошибки можно вычислить, пользуясь таблицей интеграла вероятности или функции ошибок ег1( ° ), так как отношение правдоподобия — одномерная нормальная случайная величина, 3.2.2. Независимые случайные величины. Если и случайных координат вектора Х независимы, то плотность вероятности Х: можно выразить как произведение плотностей вероятности отдельных координат: Поэтому величина Ь(Х) = — 1п1(Х) будет равна и Ь (Х) =-,'~', Ь (х,), Из (3.40) следует, что случайная величина Ь(Х) представляет собой сумму и случайных величин Ь(х»), 4 = 1, ..., и.
В соответствии с центральной предельной теоремой, по мере увеличения гг, плотность вероятности решающего правила Ь (Х)) ~ 3 2 ВГРОЯТНОСТЬ ОШИБКИ ПРИ ПРОВЕРКЕ ГИПОТЕЗ 69 независимо от плотностей вероятности Ь(х,) стремится к нормальному распределению. Следовательно, можно приближенно по формулам (3.35) и (3.36) вычислить вероятности ошибки, если предварительно определить математическое ожидание и дисперсию решающего правила Ь (Х): о~ = Е [(Ь (Х) — г1,)2/4в, [ =,~', Е [(Ь (х,) — 11П)2/оэ, [ = 2 Поскольку параметры г1»! и оп являются функциями одной случайной величины х», то вычисление этих параметров, как правило, осуществляется относительно просто, даже если распределения отличаются от нормального.
Когда !г мало и центральная предельная теорема неприемлема, можно вычислить плотность вероятйости решающего правила Ь(Х), а затем и вероятности ошибки, воспользовавшись характеристической функцией. Если решающее правило Ь (Х) представимо в виде (3.40), то характеристическая функция 1~»(»в) решающего правила Ь(Х), Х ~ »в», равна произведению характеристических функций <р»»(»в) решающих правил Ь(х»), х! ~ »в», т. е.
44) ! (»в) = Е(ехр [у»вЬ(х,)[,)о1,.) = +си ) ег"'Р))ие»х,Ц р»х()и,.) 4х, Используя абсол1отпые значения и фазовые углы этих комплекс- ных функций»в, получим и и ) ~р, »и)) ехр»)~~р,. »иЦ = Ц) ~ре»и)) ехр у ~ ~~ре»и)~. »346) »=.1 »=! Таким образом, после вычисления абсолютного значения [с1)»»(»в) [ по формуле (3.45) и фазового угла ~'1~»»(»в) по формуле (3.46)' можно определить ~<р»(е!) [ и ллр»(4в). 71 гл. з.
ПРОВеРКА гипОтез 70 имеем выражения для ве- р (й!ис)с(й)й (3.48) (3.49) где 1 = 1п (Р(о1))/Р(о12)). '(3.50) (3.53) (3.51) (3.54) Р (Ь/о1;) «Рл = . ехр (1 — /ви )1Л 1с (~2 2 )о) 2 (1 — )ва ) ей "П]'р «)[ 1 ['(= = — +— З1П 2 и,) в о — о11 «о1. (3.52) 1во11 2 Х (У1 — «,1)— '11 ,, ехр (1 — /ва )1(2 [ 2 (1 — 1в(( ) (3.55) Если известна характеристическая функция решающего правила рл(Х), то плотность вероятности рй(Х) равна обратному преобразованию Фурье (с точностью до знака о1): +ао р (й)ис) = (2а)-с ) сСсс (и) еер ( — )ий) с(и.
С другой стороны, из (3.8) и (3.9) роятпости ошибки: +ао е,= ) р(й,'и,)сУс=[1— е, = ) р (й(ий) с(й,. Интегрирование выражений (3.48) и (3.49) можно произвести в частотной области. С помощью известного свойства преобразования Фурье получим, что Р,.(0) 1 Гт,.( ) р (й/~1) «1» = — ', + — 1 '.
ехр ( — 1~1) «~ = +ао (Р. (О) 1 1' 1(п [((1(в) ехР( — 1в1)] — +— «О1, и,) в о где действительная и мнимая части выран'ения ср((оо) ехр ( 1о11) являлотся соответственно четной и нечетной функциями. 1Лз выражений (3.44) и (3.45) следует, что ч)((0) = 1, поэтому соотношение (3.51) можно привести и виду В большинстве приложений интегрирование в (3.52) следует осуществлять численными методами, даже если характеристическая функция ср((о1) может быть получена в явном виде.
Поскольку интеграл является одномерным, то такое интегрирование осуществимо. 5 3.2. ВеРОятиесть ОшиБки пви ИРОВеРке гипетез 3.2.3. Вероятность ошибки длн нормальных случайных векторов Х. Если распределения являются нормальными; то всегда можно определить линейное преобразование, одновременно приводящее к диагональному виду две ковариационные матрицы. Поэтому в преобразованной системе координат всегда будет выполнено предположение о независимости случайных векторов.
Кроме того, вероятности ошибки инвариантны относительполюбого преобразования, так как отношение правдоподобия не зависит от выбора системы координат. Пусть й(, 02, и 1, Л соответственно вектОры математического ожидания и ковариациопные матрицы классов о1( и о12 для нового случайного вектора л, полученного в результате данного преобразования. Решающее правило (3.10) в преобразованной системе координат прил(ет вид Ь(1) = — (1 — Х1,)'~-'(1 — 0,) — —,(1 — В,) Л- Д и) [ + 2 ~([ И' [)= ~~ 2 (У1 «11) (=1 Е (рс )ес)'(йс — — )е йс], ГдЕ «о — 1-я КОМПОНЕНта ВЕКтОра МатЕМатИЧЕСКОГО ОжИдаНИя ХЭ(, 1= 1, 2. Следовательно, реша(ощее правило й(У() и характеристическая функция ср(( будут равны 1 ~1 (У1) [(У1 Уп) (У1 — «21) А [п ~1], +ао [/В(, (), — до )2 сРсс(и) = ( ехр(Е ((рс с)ссс' '' .
" — )айс)) СС вЂ” ао Х,,„,. ехр~ ' " ~«У1 = 2 2 2. ВЕРОЯТНОСТЬ ОШИБКИ П!'И ПРОВЕРКЕ ГИПОТЕЗ 72 ГЛ, 3. ПРОВЕРКА ГИПОТЕЗ где агг — — 1 — 1%! „ (3.56) (3.57) 511 — — Ь2!(/(1 — а1!) + 1п )) !. (3.58) Абсолютное значение и фазовый угол характеристической функции (3.55) имеют следующий вид: (Е~п (и) щ =- (» .(- иеаеп) '" ехр ~ — ( — Ь!,и')((1 -)- иеа'„)]„(3,59) ~»р = — Сап — '(а1 оэ) — — Ь, + (а, Ь!(»В2)/(,1 -]- оэ2а~~!)~ (3 60) »Р)! — 2 Характеристическая функция ии (и) = ! ехр/' — ((у, — а„)е — ' " — )п)а]] М 1 (л — (к )2 1 1 ,,ехр (1 — 1»1а2,)'12 (3.
61) где (3.62) (3.63) (3.64) а2( — л( — 1, б2( = (»!) (хе2( хе)() е /г„= — Ь2~(/(1 -]- а2!) + 1и») !. Соотношение (3.61) совпадает с (3.55), если а2(, б2( и 621 заменит! на »г)(, Ь!, и»г)(. Поэтому с точность!о до этих параметров абсолютные значения ! 1рп(»в) ], !»р2((»в) ! и фазовые углы л»р)((оэ), ~ гр2((оэ) характеристических функцпй гр)((оэ), »р2,(»в) совпадагот. Таким образом, если распределения являются нормальными, то вероятности ошибки можно вычислить следующим образом СФукунага, Крайл, 1969].
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
