Фукунага - Введение в статистическую теорию распознования образов (1033985), страница 15
Текст из файла (страница 15)
129) являющееся случайной величиной. После /с наблюдений отношение правдоподобия будет равно й 5 Р (х„..., л. ~/о1,) ~-,~ Р (11,./51,) и), = — 1Й х х / ) — ~~> 1п (~. / ) — — х . (3.13О) Математические ожидания и дисперсии отношения правдоподобия и, для классов о)1 и о)2 имеют влд а ю), = Е(111,'с);) =- .~ Е (х;/о),) = /ст),, (3.131) 1 — 1 й О;„=,, Е((х, — 11,)'/О с) = /.О,е (3. 132) так как х; также являются независимыми и одлнаково распределенными случайными веллчпнамл. Таким образом, с ростом /с т);, увеличивается, если т~; ) О, и уменьшается, если т1; ( О. Увеличение орх пропорционально )'Й и происходит медленнее, чем возрастание 11;„. Кроме того, при больших й, в соответствии с центральной предельной теоремой, плотность вероятности отношения правдоподобия п„стремится к плотности нормального распределения. На рис. 3.8 изображено изменение математического ожидания 11,„и среднеквадратичного отклонения и;, в зависимости от числа наблюдений /с.
Основным методом решения задач этого типа является усреднение последовательности векторов наблюдения. Этим достигается эффект фильтрации шума и сокращение числа наблюдаемых векторов до одного вектора математического ожидания. Таким образом, возможно, по крайней мере теоретически, получить нулевую ошибку классификации, если векторы математического ожидания двух классов не равны между собой.
Однако, поскольку невозможно получить бесконечную последовательность наблюдаемых векторов, то необходимо иметь условие илп правило, позволяющее принять решение об окончании процесса наолюдения. Математическим методом решения задач этого типа является аппарат последовательной проверки гипотез, который будет рассмотрен в этом парагафе. Если установить решающее правило следующим образом: .и„- а — р- Х е== о)1, а ( и„( Ь вЂ” р-произвести следующие наблюдения, Ь ~ ~ид р Х е== о)2« (3.133) то можно отнести объект Х с вероятностью 1 к классу о)1 или м2 [Вальд, 1947]. Кроме того, при этом ошибки классификации зависят от значений а и Ь, т. е. при увеличении абсолютных значений а и Ь вероятности ошибки классификации уменьшаются, а количество наблюдений, требуемое для принятия ре)пений, увеличиваетеся.
Соотношение между значением порога и ошибками классификации можно выразить следующим образом: «, = ~ 1 р 1«о/шс) йи;, р 1 5 (3.134) и Рис. 3.8. Математическое ожидаиие и «а = Х с р с~р~ сд) ~~а ««с ерс««о шаше~~«ра~«о~о«~и~« р== 1 — оо и~ в зависимости от числа иабл1оде- (3.135) иий Й: о) х)2р, + о25 Ь) р)25 — о21„ Для любых значений ве- в) Ч11~ + о 51; г) Ч15 — о15. роятностей1 оптлбки е1 и е2 теоретически можно определить значения а и Ь из вырахсений (3.134) и (3.135).
Простой способ иахохсдения пороговых значений был предложен Вальдом. Этот способ заключается в следующем: при /с-м наблюдении проверяется отношение правдоподобия р (Х„..., Х„/1о,) 1) А . Х - „„, Р (~1 Хь/~г) ) (  — р- Х ~ о)а (3. 136) Поэтому рРХ„...,Х«!В,),РХа . ЫХ„ Ь=1 1„)~Л )~ А Х ~ Р (Х1, °, Х„/ю.,) с/Х,... с/Ха«(3.137) и 11ЪА ГЛ. 3. ПРОВЕРКА ГИПОТЕЗ $ 3.5. последоВАтельнАя пРОвеРкА Гипотез 89 88 р(Х~,...,Х !иДНХ,...НХ Ь вЂ” 1 1„~В 00 ~В ~, ~ Р(х„'...,х„!ир) нх~ ., Их, 13 1381 1=1 1„<в Левая часть выражения (3.137) содержит все векторы Х, принадлежащие классу одд, и классифицирует их правильно. Следовательно, левая часть (3.137) равна 1 — ед.
С другой стороны, правая часть выражения (ЗА37) содержит все векторы Х, принадлежащие классу од2, но классифицированные как принадлежащие классу од1. Счедовательно, правая часть (3.137) равна е2. Используя те же самые соображения, можно получить, что левая и правая части выражения (3.138) соответственно будут равны ед и 1 — е2. Тогда уравнения (3.137) и (3.138) можно переписать следующим образом: 1 — ед ~ Ае2, е1 ~ В (1 — е,), ;(3.139) ~,'(3.140) или (1 — е1) /е2 > А, '(3.141) е1/(1 — е~) ( В. (3.142) Тадсим образом, для любых заданных значений вероятности ошибки е1 и е~ выражений (3.141) и (3.142) можно получить, пороговые значения А и В.
Если вместо отношения правдоподобия использовать выражение — 1од/„, то для пороговых значений А и В имеют место соотношения: а = — 1п А ~ — 1п (1 — е1) /е2, (зл4з) Ь = — 1п В =.-. — 1п ед('1 — е2). (3.144) Если приращения отношения правдоподобия з; невелики, то В случае, когда выбирается класс од1, отношение правдоподобия и, незначительно превысит пороговые значения А и В. При этом прддведенддьде выше неравенства становятся приближенными равенствами, а пороговые значения А и В приближенно определяются выражениями (1 — е1)/е2 и е1/(1 — е2).
Другими словами, вероятности ошибки е1 и е2 можно выразить через пороговые значения А и В следующим образом; е1 = В (А — 1) /(А — В), е2= (1 — В)/(А — В). (3.145) (ЗА 46) В заключение можно сделать некоторые замечания, касающиеся свойств последовательного критерия Вальда: 1) Для получения уравнений (3.141) и (3.142) не требуется независимости и равенства распределений случайных векторов х„х~, ... 2) Мохсддо доказать, что критерий Вальда сходится с вероятностью '1 ~Вальд, 19471.
3) Крддгерий Вальда минимизирует среднее количество наблюдений, треоуемых для достижения заданных значений вероятностей ошибки е1 и е2 [Вальд, Вольфович, 19481. 4) Критерий Вальда не зависит от априорных вероятностей Р(од;), хотя вероятности ошибки и зависят от 1Р(од<). а с вероятностью 1 — е1, если в действительности Х ~ ю1 и принимается решение Х ~ од1, а с вероятностью е2, если в действительности Х ~ од2, а принимается решение Х ~ од1,. Ь с вероятностью ед, если в действительности Х ~ од1, а принимается решение Х ~ од2,.
Ь с вероятностью 1 — е2, если в действительности Х ~ од2 и принимается решение Х ~ од~. ! (3.148) Поэтому Е(ч/одд) = а(1 — ед) + Ьед, '(ЗА 49)' Е(ч/од2) = ае2+ Ь(1 — е~). (3.150) Так как ч — случайная величина, то Е(ч/сод) = Е(Е (ч/Фс, од;)) = Е ($сд1;/од;) = Е (1с/со;)д1;, ~'(3.151) Где Е (хд/од;) независимо от / равно д1,. Таким образом, среднее 3.5.2.
Реализация последовательного критерия Вальда. Имеются две оценочные функции, кото1дьде используются при реализации последовательного критерия Вальда. Одной из них является среднее число наблюдений, необходимых для принятия редпения, другая характеризует работу критерия: эта функция показывает, насколько хорошо достигается цель проверки, которая состоит в принятии правильного решения, даже если истинное значение неизвестного параметра отличается от предполагаемого значения. Пусть Ы вЂ” число наблюдений, необходимых для достижения верхнего или нижнего значения порога (1с — случайная величина). Введем новую случайную величину ч; др = .~„х~.
(3.147) 1 — 1 Величина др связана с параметрами а и Ь выражением (3.133) следующим образом: 90 ГЛ. 3. ПРОВЕРКА ГИПО1ЕЗ 91 (3.155) (3.158) (3.156) Х е= о)1, Х е-- =о12 (3.159) Среднее число наблюдений 16 — 4 — 6 1Π— а — Ь а(1 — е,)+оег «62+6(1 — е. ) 4,6 — 4,6 4,6 6,9 — 6,9 6,9 11,5 — 11,5 11,5 9,2 — 9,2 9,2 13,8 — 13,8 13,8 чис.ло ггаблгодений необходимых для принятия решений, будет равно Е (?4/от,) = [а(1 — е,) + Ье,~/т1„ (3.152) Е(?4/от2) = [ае2+ Ь(1 — е2) 1/т$2.
(ЗА 53) 11р им е р 3.6. Рассмотрим пример с нормальным распределением. Из выра;кепий (3.129) и (3.10) следует, что е.= — (Х.— М,) Х1 (Х, — Мт) — —,(Х.— М,) Х2 (Х вЂ” М2)+ -+ — ?п (( Хг(,'( Х,(). (3.154) Вычислим для г; условные математические ожидания: 11 )т~ — 1(М М )+ 2 + — 1 (( Х,(/(ХД+ —,1г(Х вЂ” Х 'Х,(т т?2 = Е(у /от.,) =+ — (М, — Л/1)'Х1 (М2 — Мт)+ + —,1П(( Х1( /(Х2 (Э +, 1г (Х1 ~2 Т(. Значения вероятностей ошибки е, и е2 можно выбрать по нашему усмотрению, а затем определить значения а, Ь, а(1 — е~) + Ьет и ае2+ Ь(1 — е2), которые сведены в табл. 3.5. Таблица 35 Для того чтобы определить число наблюдений, необходимых для принятия решений, рассмотрим случай одномерных распределений с равными дисперсиями.
В этом случае выражения (3.155) и (3.'156) примут вид 1 2 2 1 дг = — —, (нг, — тт)'/о2 и тт2 =- + —, (т, — т,)2/а2 (3.157) Если положить при наблюдении одного объекта (т2 — т,) /О = 1, то имеется сильное «перекрытие» распределений, характеризу- $ 3.5. ПОСПЕДОВАТЕЛЬЕ1АЯ ПРОВ1'РКА ГИПОТЕЗ емое вероятностью ошибки е~ = е2 — — 0,31. Однако вероятности ошибки е, и е2 могут достичь величины порядка 10 за счет — б увеличения среднего числа наблюдений до 27,6 объектов. Если т размерность объектов и увеличивается, то величина(ЛХ2 — М,) К Х ~; '(М,— ЛХ1) становится больше, так как она содержит сумму из и расстояний.
Таким образом, понятно, как можно добиться значительного уменьшения вероятности ошибки за счет использования относительно небольшого числа наблюдений. Последовательный критерий Вальда часто зависит лишь от ряда параметров, характеризующих при каждой гипотезе плотность вероятности наблюдаемых объектов. Если некоторые из этих параметров пзмепятотся после того, как критерий сконструирован, то результаты его применения также изменятся. Опишем это изменение количественно. Предпологким, что пропроверяемые объекты принадлежат классу отт с параметрами О~ нлп классу от2 с параметрами 02.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
