Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 16
Текст из файла (страница 16)
Тогда последовательное решагощее правило Т имеет вид р (Хг, Х„/Ог) () А — э- Х Е== Отгт р(х„..., л„/6,) Неооходимо оценить эффеттивность этого решающего прави а если класс от~ характеризуется вектором параметров О, а не 0~. Перепишем решатощее правило Т следующим образом: р(х„..., х,/о) а(х„..., х„/О) р(хг,..., Х /0) () А"„ 1р(х„..., Х„/О.,)/р(х„..., Х /6,)("г (х„..., х„/и) [.--у Поскольку числитель выражения (3.159) сокращается с сомножителем р(ХИ..., Х„/О) знаменателя, а оставшиеся члены (3.159) определягот неравенство, эквивалентное неравенству (3.158), то соотношение (3.159) в точности совпадает с (3.158).
Кроме того, решагощее правило (3.159) можно рассматривать как последовательное решающее правило Т' для проверки гипотезы от, характеризуемой параметрами О, против гппотезы от, характеризуеф мой плотностью вероятности д(ХИ ..., Х„/О). Предположим теперь, что гипотеза от верна. Тогда, поскольку решающее правило Т' является последовательным критерием Вальда, можно использовать выра'кения (3.136) и (3.145) для вычисления вероятности того, что решающее правило Т' отклоняет гипотезу а: (0) = В" (А" — 1)/(А" — ~").
,'(3.160) 92 ГЛ. 3. ПРОВЕРКА ГИПОТЕЗ (лг» лг /О (3.162) (3.163) (3.160) Но так как рспгающие правила (3.158) и (3.159) эквивалентны, то любая последовательность наблюдаемых объектов, которая приводит на некотором шаге котклонению решающим правилом Т' гипотезы со, также приводит на том же шаге к отклонению решающим правилом Т класса со). Поэтому вероятность е (О), определяемая выражением (3.160), также является вероятностью того, что класс со) отклоняется решающим правилом Т, если верна гипотеза со. Так как согласно предположению решающее правило Т должно принять класс со), если верна гипотеза со, то в(О) является вероятностью ошибки. Предыдущие рассуждения справедливы, если д(Х),..., Хь/О) является плотностью вероятности. Поэтому Ь должно выбираться из условия ~ д(Х,,..., Х„/О) ХХ,...
ах„=- Р (Х) ° ° °, Хь /О) с/Хт... а1Хь — — 1. (3. 161) В работе [Вальд, 1047] показано, что такое Ь существует и единственно. Если вектор параметров О равен 01 или 02, то для выполнения условия (3.161) величина Ь должна быть равна + 1 или — 1. Поэтому из выражения (3.160) следует, что е(01) = В(А — 1)/(А — В) = е(, в(02) = В '(А ' — 1)/(А ' — В ') = 1 — в2. Таким образом, е(О) представляет собой вероятность отпибки в том случае, когда при фиксированном решающем правиле изменяется ряд параметров распределений классов.
Величину е (О) называют оперативной характеристикой последовательного критерия Вальда. Кагх правило, нелегко определить величину Ь путем решения уравнения (3.161), однако для некоторых частных случаев возможно вычислить Ь, как это сделано в следующем примере. П р и и е р 3.7. Рассмотрим случай нормального распределения с равныии и фиксированными ковариационными матрицами х.( — — Х2 —— Х, а О1 — — ЛХ„$ = 1', 2. Тогда, если вместо О использовать величину М, условие (3.161) примет вид П (ехр( — фь(х,— м,)*х '(х,— м,), 2=1 91 + 2 Ь(Х~ — Мт)'Х (Х, — ЛХ,) >< в 3,5.
ПОСЛЕДОВАТЕЛЬНАЯ ПРОВЕРКА ГИГ10ТИЗ хе (2х) "~~ ( Х ( ~~~ехР ( — —, (Хх — Л1) Х (Хх — М)]] е(ХГ] = Ь =Ц ехр ! — — Ь ((Мх — Л1)*х (Мх Л1) 1х11х ""1) ХЕ Л вЂ” 1 ;< Х ' (М, — Л1) — Ь (Л1, — М,) 2 ' (М, — М,))] Х )( (2х) "~~(2( '~~ ( ехр! — —,((Хх — М) — Ь(Л1, — Лх,)) Х Р Х Х '((Х вЂ” ЛХ) — Ь(ЛХ, — ЛХ,)) БАЛХ =- ехр — — Ы((ЛХ,— — Ь (М, — М,)*Х ' (М, — Мх) ) ] = 1. (3. 164) Для того чтобы удовлетворить условию (3.164), показатель сте- пени экспоненцпальной функции должен быть равен нулю. По- этому — 3.165) М )т~ — 1(м М Таким образом, для данного М можно легко вычислить величину Ь и затем вероятность ошибки е(М) по формуле хе 3.5.3.
Байесовский последовательный критерий. Последовательный критерий можно также применять для того, чтобы сократить количество наблгодаемых переменных, требуемых для принятия решения. Это целесообразно в случае, если у каждого объекта отдельные призна- Рис. 3.9. Последовательный критерий дл)т ки проверяют последова- одного объекта. тельно. Однако па пути применения такого подхода встречается много трудностей. 1) Наблюдаемые переменные взаимно коррелированы и иметот разные распределения.
2) Значение порога должно изменяться при каждом наблюдении. На рис. 3.9 изображен пример классификации двумерного 95 Гл. 3. пРОР~ЕРкл ГипотГз злдлчи объекта на классы тог и то2. Если наблюдается случайная величина хп то для огношения правдоподобия можно установить значения порогов равными Аг и Вг. Однако, если наолюдаются две случайные величины хг и х2, то А2 должно быть равно Вз, так как нельзя откладывать принятие решения до предъявления следующей переменной.
Как правило, предполагают, что по мере увеличения й значения порогов А, и В>, стремятся к одному и тому те значению. 3) Вероятность ошибки определяется условнымп плотностями вероятности р(Х/то<) и р(Х/тоз) при наблюдении всего набора из гг, переменных. Последовательный критерий пе уменьшает вероятность ошибки, но сокращает число переменных, требуемых для принятия решения. Поэтому такая процедура может быть оправдана, если стоимость наблюдения каждой переменной яьляется существенным фактором.
Хотя вычислительная процедура обычного байесовского последовательного крптерпя очень сложна, этот критерий используют для последовательной проверки признаков объекта. Байесовский риск можно представить следующим образом: и и г = — ~ р(тог) ~~ ~ (с, + Л(<о,, с/;(х„..., х,))) у г. г >=-г~ Х р(х„..., х;>то<) Ихг...Кх;, (3,166) Где с; — стоимость наблюдений хп х„... х,; х (ь„д>(хы..., х,) )— математическое ожидание штрафа для случая, когда (хг, х,) ~ то< и использовано решающее правило г>,(х<, ..., х;); .У; — область пространства Х, для которой последовательность испытаний заканчивается при у-и наблюдении. В случае байесовского критерия необходимо отыскать регнающие правила сУ;(хг, ..., х,), г = 1, 2, ..., гг, минимизирующие риск г для заданного множества стоимостей наблюдений. В заклгочеигте дат<ного параграфа сделаем следующие замечания.
1) Для нахождения решающих правил с7>(хы..., х,), минимизирующих риск г. можно использовать мегод динамического программирования [Фу, 19681. 2) Значения порогов для отношения правдоподобия становятся равными константе, независимой от числа наблюдений, если выполняются следующие три условия: а) стоимость наблюдения ка'кдол переменной ие меняется; б) х, — пезависимые и одинаково распределенные случайные величины; в) количество переменных гг, неограничено. Зти условия выполняются, если объекты паблгодаготся последовательно, как предполагалось в начале этого параграфа. Да'ке для этого упрощенного случая вычисление значений порога представляется достаточно сложным и должно выполняться численными методами [Хелстрем, 1968;. Блэкуэлл, Гирша к, 195 <г ~ .
ЗАДАНИЕ НА СОСТАВЛЕНИЕ ПРОГРАММ Составьте следующие программы: 3.1. Программу, реализующую байесовский критерий минимизации рис<он Исходные данные: стандартные данные г = 1, 2. <1>ункция штрафа с« — — с~2 — — О и с>2 — — с~< —— 1 3.2. Вычислите вероятности ошнбкш обусловленной байесовским критерием при с<< = с2> = О и с<2 — с2< — 1. Исходные данные: стандартные гга<тиьте г = 1, 2. З.З.
Вычислите р(е) по формуле (3.104) и для определения оптимального значения г вычертите график гх(е). Вычислите границу '1ериова. Исходные данные> стандартные данные < = 1, 2. 3.4. Программу, реализующуго критерий Неймана — Пирсона (необходима программа задания 3.2.) Исходные данные: стандартные данные < = 1, 2; ео = 0,01. 3.5. Программу„реа;<изук>щую мииимаксиыи критерии (необходима программа задания 3.2). Исход><ь>е <ганные: стандартные данные < = 1, 2.
3.6. Программу, реализутопг;ю баиесовский критерий минимизации риска для задачи со многими классами. Исходные данные: стандартные данные г = 1, 2, 3, 4, функция штрафа с«= Ои с> — — 1. 3.7. Программу, реализутощую последовательный критерий Вальда. В<лчертите график ошибки в зависимости от числа проверок. Исходные данные: стандартные данные г = 1, 2; е,= е,= 10-8. ЗАДЛтП1 3.1. Два нормальных Распределения характеризуются следу<ощнми параметрами: Р ( о>, ) = р (о>~) = 0,5, а) Вычертите линии постоянного уРовня обоих распределений для случаев (Х вЂ”,Ц<) 'Х ' (Х вЂ” Л1,) = 1, 2, 3.
б) На чертите байесовскую решающую границу, минимизирующую вероятность ошибки. в) Начертите оайееовскуго реша<ощуго границу, мииимизиругощу<о средний риск при следу<ощих функциях штрафа: с,<= с12 — — 0 и с>2 —— 2с„. 3.2. Повторно решите задачу 3.1 для ковариациониых матриц 0,5 1 — 0,5 1 З.З. Предполагая, что в задаче 3.1 с« — с12 — 0 и с>2= с2<, вычертите зависимость между величиной порога для отношения правдоподобия и вероятностями ошибки.
Гл. 3. пРОВвРкл Гипотнз а) Найдите общую веронтность ошибки, если используется к ите ий Неймана — Пирсона при е1 — — — 0,05. б) Н ) Найдите величину порога и общую вероятность ошибки для минимаксного критерия. 3.4. Случайная величина ЦХ) определена выражением (3.4). Дока>кито следующие равенства: а) Е(Р (Х)/то~) = Е (Р+'(Х)/АД, б) Е(У(Х)/о,) = 1, в) Е (Е(Х)/то1у — Е (Е(Х)/тоД = 'т'аг(У(Х)/АД.
3.5. П сть х (/ = 1 2 ... и)— ,(/ =, ..., ) — и независимых случаиных величин для тсоторых м ''' т Е(ху/то;у = уут), Уаг(ху/олуу = титу'и', т = 1, 2. Вычислите вероятность ошибки, обусловленной критерием Байеса, при следующих функцинх штрафа: сп=сж=О и с11 — — си~=1. Указание: используйте центральную предельную теорему. 3.6.
П т в ус ь д а распределения являются нормальными с равными ковариационными матрицами Х, = Х~= Х. Вычертите графи и р фини вероятности ошибки, обусловленной критерием Байеса, при сп= с22 — — О, с,2= с„=1 и верхнюю границу Чернова как функцию аргумента т): т) = —. (ЛХл — ЛХа)~Х (Л1т — ЛХ ).
3.7. Три распределения явлнтотсн нормальными с параметрами '=["":.1 '=Г ..: в1атрица штрафа О 1 1 0 а 1 а 0 где О ( а < 1 и Р(от«) Р (таз) = р. а) Найдите границу Байеса п вычертите ее в системе координат Х. б) Найдите выражение для вероятностей ошибки, но без вычисления интегралов. 3.8. Два распределения явлнются нормальными с параметрами (тол) — Р (со2) — ОЛв Л'~л ~~ Л/а 1 ~л — ~ют = О 0,5 1 а) Вычислите величину порога для последовательного критерия Валь даприе,=е2 — — 10 ' 10 'и10 '. б) Найдите среднее число требуемых наблюдений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
