Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 115
Текст из файла (страница 115)
(22.46а). В этом случае алгоритм классификации совпадает с оптимальным байесовскнм алгоритмом проверки гипотез [см. (20.11)1. 22.3.2. Теорема Бернштейна — Мизеса. Адаптивный алгоритм классификации (22.45) зависит от априорных плотностей ш(дд) распределений параметров [см. (22.42), (22.45), (22.46)1. Проверить возможность использования этого алгоритма без какого- либо определенного предположения об этих априорных плотностях можно с помощью теоремы, установленной С. Н.
Бернштейном н Р. Мизесом [71). Сущность ее состоит в следующем. Пусть х~ — выборочное значение нз распределения с неизвестным случайным параметром О. Апостериорное распределение этого параметра %' (д!х ) = (б) Ю'(х,1дт) / [~ (0) ))Г (~,(О) г(0, (22.47) В где ш(д) — априорная плотность вероятности параметра д. Если извлекается следующее выборочное значение хм независимое от хь то )г'(д(х~) можно использовать в качестве нового апРиоРного распределения для вычисления апостериорного %'(0(х„х ) = = 1Г (д/х,) ()7(х,/д) ~К (6(х,) ))т (х,16) д(д = = ш(д) )(г (хд(6) К (хд(д) / [ш (д) Яу (х (()) ((у (хд(()) д д.
(22 48) ОО Аналогично, когда имеется независимая выборка хь ..., х„размером п, то в(б) Г(х„„, х„)()) Ит(6!х1,..., х„) (22.49) ) м(б) В'(х„... хь(6) юй) Ю где л (р(х1,-, х„(0) = Пцг(хд(6). д=! Упомянутая теорема утверждает, что если априорная плотность ш(д) параметра О непрерывна, то по мере возрастания объ- 21" 627 ~„$' 2 ( 2~~~ (22.50) где 1 — 'Г! " ~~1 а„=т,(а)х) = ! + —, — 2, х„+ — ' "~0 (22.51) о' = ри (а / х) = оЦ (п+ о'/о'о ) . (22.52) Если известно, что наблюдение х принадлежит классу Ям то К (х)а, Яз) = ) ехр (— и ~/2и ( 2оз (22. 53) Используя формулу (22.45), находим ()У(х~х, 5.,) = ) ! ехР( (" а)' ) э< ,-!/2и 2Ф ..У2-. ' ( 2,. (22.54) Так как интеграл в (22.54) представляет свертку двух плотностей нормального распределения, то непосредственно находим пх У2п ! 2о~~ (22.55) 628 ема выборки апостериорное распределение Я7(д)хь ..., х ) перестает зависеть от априорного распределения.
Таким образом, при достаточно большом п безразлично, какую непрерывную функцию ю(д) подставить в формулу (22.49). Эта предельная теорема послужила основой синтеза алгоритма классификации, предложенного Роббинсом [71). 22.З.З. Адаптивный алгоритм обнаружения случайного сигнала на фоне аддитивной гауссовской помехи. В качестве иллюстрации метода синтеза адаптивного алгоритма классификации в условиях параметрической априорной неопределенности рассмотрим следую~цую задачу. Имеется реализапия х скалярной случайной величины, которую следует отнести к одному из двух классов; $, — помеха, представляюшая гауссовскую случайную величину с нулевым средним и дисперсией о', н $, — аддитивная смесь этой помехи и независимого от иее случайного сигнала, среднее значение а которого — случайная величина, распределенная по нормальному закону с параметрами (ао, о'~).
Предполагается, что априорные вероятности принадлежности наблюдения классам Я, и Б одинаковы. Пусть х= (хь ..., х„) — независимая классифицированная выборка аддитпвной смеси сигнала с гауссовской помехой. По формуле (22.42) находим апостерпорную плотность распределения сигнального параметра а !см. (14.119)) оз з о' а~+а~ ! о~ ! а„х+ —" х' — — "+ — "!п ( 1+ — "). 2о~ з, 2 2 ой Здесь в левой части коэффициент а„зависит от обучающей выборки, а коэффициент о' /(2а') — от априори заданных дисперсий о2, о'о и размера и обучающей выборки. Порог в правой части (22.57) зависит и от указанных значений дисперсий, и от обучающей выборки. Если размер обучающей выборки неограниченно возрастает, то, как следует из (22.51) и (22.52), при и — оо а„— 2„'х„= а„„о„-~ О.
! (22.58) " ь-! В этом случае квадратический член в левой части (22.57) стремится к нулю, алгоритм классификации становится линейным с перестраиваемым порогом 1ср. с (22.9)1 (22.59) Ь! (22.57) н не зависит от начального априорного распределения сигнала. Напротив, если о'»о'м то а„ -ам а'„ - о', и алгоритм (22.57) преобразуется к виду (22,59 а) 2о э, 2 2 ! аз / т. е. не зависит от обучающей выборки и полностью определяется априорными данными. Предположим теперь, что наблюдение х представляет векторную (размером М) случайную величину, которую следует отнести к одному из двух классов: Я, — гауссовская помеха с нулевым вектором средних и ковариационной матрицей М и 8~ — аддитнвная смесь помехи и независимого от нее случайного сигнала, б29 где а'„=о'+а'о, а величины а„, а' определяются согласно (22.51) и (22.52).
Если наблюдение х — помеха, то [см. (22.46а)] Яг (х(а = О, 8,) = ехр ~ — — 1 (22.55а) а $/2я [ 2о(1 Из (22.55) и (22.55а) получаем следующий адаптивный алгоритм обнаружения 1см. (22.45)1: принимается решение, что наблюдение х представляет смесь случайного сигнала с аддитивной гауссовской помехой, если (22.56) н решение, что наблюдается помеха, в противном случае. После элементарных преобразований алгоритм (22.56) приводится к виду (22.60) (22.67) вектор средних а которого случайный, подчинен многомерному нормальному распределению с параметрами (а„М,). Пусть хь ..., х — классифицированная выборка адднтивной смеси сигнала и гауссовской помехи.
По формуле (22.42) с учетом результатов, приведенных в п. 14.5.7 и 14.5.8, находим, что апостериорная плотность сигнального параметра а подчиняется многомерному нормальному распределению с параметрами -( '"".' ) '(+.~ ""."'' ) М„= (1+М М,— '/и') М/и. (22.61) Соотношения (22.60), (22.61) можно представить в рекуррентной форме а„=а„~М„/М~ ~+х,М„/М, (22.62) М„=М(М„+М)-'М„ь (22.63) Если известно, что наблюдение х приндалежит классу 8., то 1Г(к~а, Я,) = (2п) ~1'(бе1 М) ЫтХ Х ехр ( — (х — а) 'М вЂ” ' (х — а) /2) . (22.64) Из (22.46) следует К(х(х„, 8,)=-) (2п) — н1е(бе1М) ~ х А хехр ( — — (х — а)'М ' (х — а)) (2н) ~~~(с(е(М„) ызх 2 ! х ехр ( — — (а — а„)' М„' (а — а„)) да.
(22.65) Так как интеграл в (22.65) представляет свертку двух плотностей Ж-мерного нормального распределения, то непосредственно находим )р(х~х., $~) = (2л) ьч' [де1(М+М„)1 ы'Х Хехр( — (х — а )'(М+М„) — '(х — а„)/2), (22.66) где вектор а„и матрица М„определены согласно (22.60), (22.61). Если наблюдение х — помеха, то )Р(х~а=0, Я~) =(2я) н~'(де(М)-н'ехр[ — х'М 'х/2). (2266а) Из (22.66) и (22.66а) получаем следующий адаптивный алгоритм обнаружения: принимается решение, что наблюдаемый вектор х представляет аддитивную смесь случайного сигнала и гауссовской помехи, если х'М-'х — (х — а„)'(М+М„) — '(х — а„) ) )1и [бе((М+ М„) /де1 М) и решение, что наблюдалась помеха, в противном случае. 630 Если размер обучающей выборки п-~-со, то я а„— ~ ха=-а „М„-~О.
(22.88) В этом случае алгоритм классификации линейный с перестраи- ваемым порогом (ср. с (22.22) и с (22.59) 3, — ~МН х ~ з, 2 22.3.4. Адаптивный метод преодоления априорной неопреде- ленности мешающих параметров. Пусть в задаче проверки мно- гоальтернативных гипотез (см.
3 13.3) функция правдоподобия, соответствующая 1-й гипотезе, зависит от векторного мешающего паРаметРа дь 1=0, т. Запишем выРажение сРеднего Риска как функции мешающих параметров й (4)ц) = ~, '~', Пть ~ Ф„(х) ртЯ7 (х(Н;, бт)дх. (22.70) м=в у=о х где (22.71) в предположении, что существуют указанные производные. 63! Фь (х) = (22.70а) 1 О, х е= Хю Хь — область выборочного пространства Х, соответствующая решению уь о принятии гипотезы Нм Пм — элементы матрицы потерь, АΠ— априорная вероятность гипотезы Нь Если известны априорные распределения мешающих параметров, то эти параметры можно исключить из (22.70) путем усреднения по этим параметрам, заменив функцию )Р'(к~Ни б,) функцией К(х! Н,) = Р )Р(х! Нь Ю;) В'(03) бдь где Ж'(О;) — априорная плотность распределения параметра дь у=О, гп.
В условиях параметрической априорной неопределенности, когда функции К(б;), /=О, т, неизвестны, при помощи обучающих выборок можно определить оценки максимального правдоподобия О, „„мешающих параметров и, как показано в 1721, воспользуемся вместо (22.71) приближенным выражением й'(х(Н ) — )г(к~Нь Ю;„) )Р(0;„) (2п)~р' (бе( А;)-и', где Н; — размерность вектора дь А, — матрица с элементами 4ли= — ',1, 1=1, М,1=0, и (22.72а) дбыдбы а =й. т= тмь 22.Л!.Е Мыто-, потсицполь1!ь1х ф; пкцкй, Пусть наба!Оден!.
Пред. ставле;ю Л '*1С,'!и!',.",1 Гсптоо'~д! .".. Рс1П21стся зада'!3 классифпка" цип — пр пшд !сокпсстп этого наблюдения одному пз двух классов $! и 32. Если извсстпы плотности п2(к~ 3!) и ш(х) 32), а также априор~ыс псрояпюсти р! и р, принадлежности первому и второму классам, то опг! д;ыльиой классифицнру1О!Пей статистикой слу!Кит отношение правдоподобия р,ш(х) $2)/(р!ш(х($!)), КАЯХ. В условиях пепарымегрп:еской априорной неопределенности можно попытаться аппрокспмпровать статистик) ((х), используя неклассифицпровап ую независимую обучающую выборку уп ..., у„из пространства Х. Представим неизвестную статистику отношения правдоподобия в виде разложешия по конечному ортонормированному базису ! (х) 0 (х) = 2; ад !Рд (х).
д=! Если ввести потенциальную функцию К (х, у) =- ~ фд (х) !рд (у), д=! (22.76) (22.77) 632 Приближение (22.72) допустимо при условии, что априорные плотности распределения мешающих параметров «шире» апостериорпых, которые формируются по обучающим выборкам, Прн этом функция В'(62..) существенно слабее зависит от х, чем остальные множители в правой части (22.72), и поэтому ее, наряду с величиной (2П)";2', можно рассматривать как несущественный сомножитель.
Тогда адаптивный алгоритм проверки многсальтернатнвных гипотез определяется минимизацией (путем определения соотаетствующпх решающих функций Фд(х) величины )7=- У ~ Пгд)' б!д (х) РТЪ~ (х)Н2э д2м„) (бе(А,)-!12дх. (22.73) д-о )=о,' х Для простой функции потерь ПЛ =1 — био (22.?4) где б 1, — символ Кронекера, оптимальный адаптивный автори!и форму.шру. тся следующим образом: принимается гипотеза Нь ЕСЛИ ДЛЯ ВСЕХ 1'~/ -' — ---.- ' — — ' —.: (Ое(21О1бе(А!) !22 о' (х) И П2ьпз), ! ' ! '2 уд .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
