Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 59
Текст из файла (страница 59)
10) где 7то=роПоо+Р~П1о — неотрицательная известная константа и Н~ )О. Обозначим ) (х) =р~ (П~о — Пп) 1(У(х(Н1) — Ро(Т)о1 — Ноо) %'(х ) Но). (13.11) Так как для любого подмножества А множества Х, при 7(х))0 имеет место неравенство ) )(х)бх) )' 1(х)дх, то интегх, А рал в правой части (13.10) достигает максимума тогда и только тогда, когда в область интегрирования Х~ включаются все точки выборочного пространства, для которых подынтегральная функция (13.11) неотрицательна. Отсюда следует, что минимальное значение среднего риска достигается при условии, что в область Х, принятия альтернативы Н, включаются все выборки, для которых функция (13.11) неотрицательная, а в область Хо принятия гипотезы Нов все выборки, для которых функция (13.11) отрицательна. Таким образом, получаем байесовский алгоритм бо проверки простой гипотезы Но против простой альтернативы Но, который можно записать в виде' о, Ьо.
Р,(Пто — П„) РУ (х!Н,) — Ро (Пот Поо) И'(х)Но) ~ 0 (1312) тв или 1 ( ) йт(х!Нг) ' Пм Пао Ро (13.13) йт х/На) „Пш — Пад Рт ' Хотя при выводе указанного оптимального правила предполагалось заранее, что рассматриваются только детерминированные правила, полученный результат остается справедливым и тогда, когда средний риск минимизируется в более широком классе правил, включающем и рандомизированные (см., например, 137), % 2,3). 325 13.1.4.
Достаточная статистика отношения правдоподобия. Функция 1 (х) = 1(х„..., х„) = 2Г("ы ... ° "п11Го) ~ называемая отношением правдоподобия, представляет неотрицательную случайную величину, получаемую функциональным преобразованием а=1(хь ..., х ), которое отображает точки и-мерного пространства выборок на действительную полуось. Байесовский алгоритм (13.13) проверки простой гипотезы против простой альтернативы состоит в сравнении отношения правдоподобия 1(х) с порогом сев -'чя 11оо Ро и„— п„р, ' (13.15) причем принимается решение у, (отклоняется гипотеза Н,), если !(х)~)са.
и принимается решение уо (принимается гипотеза Нз), если 1(х)(см Таким образом, для вынесения решения достаточно использовать значение одной случайной величины — статистики отношения правдоподобия 1(хь ..., х ), а не значения каждого элемента выборки хь ..., х„ в отдельности. Иными словами, отношение правдоподобия несет всю статистическую информацию о проверяемых гипотезах, которая содержится в выборке заданного. размера. Подобная статистика называется достаточной. Использование достаточной статистики отношения правдоподобия приводит к редукции наблюдаемых данных: отображению выборочного п-мерного пространства Х~ на действительную положительную полуось. Поверхность в и-мерном выборочном пространстве, разделяющая согласно.
байесовскому правилу пространство х, Зо ~ йг Х~ на подпространства Хч и Хь отображается в точку са иа оси 1)0 Байесовское правило бз теперь состоит в отображении интервала. 0(1(са в точку 7ожГ и интервала 1)сь в точку тф~Г (рис. 13.1). О, с~ Е(х/ Любое монотонное преобразование ф[1(хь ..., х„)1 достаточной статистики отношения правдоподобия стахи ' также представляет достаточнукь статистику. В качестве такого преобразования иногда целесообразно принять ф(1) =1п 1. Тогда байе,,совский алгоритм (13.13) проверки простой гипотезы против простой альтернативы запишется в виде 1п1(х) м )пса, (13,16)* где порог сз определяется согласно (13.15) ..
226 Замена отношения правдоподобия его логарифмом всегда целесообразна при факторизации функций правдоподобия. Например, если элементы выборки независимы, то 1п1(х)= ~', !п1(х„)= ~ 1п о с )Сг(хо!Но) (13.17) В этом случае достаточная статистика представляет сумму независимых случайных величин, которая при выполнении условий центральной предельной теоремы асимптотически нормальна. Заметим, что на основании (13.17) можно вычислять статистику !п1(х) последовательно в процессе наблюдения согласно рекуррентному соотношению 1п1(хь ..., хо) =1п1(хь ..., хс,,)+ +1п 1(хо), /г= 2, и. 13.1.5.
Байесовский риск. Минимальный средний риск (байесовскнй) определяется по формуле (13.9), в которой условные вероятности ошибок оо и 3 вычисляются согласно (13.3) и (13.4) при использовании байесовского алгоритма принятия решения. Редукция данных, т. е, отображение выборочного пространства на действительную полуось отношений правдоподобия, позволяет обойти непреодолимые трудности, связанные с вычислением и- кратных интегралов (13.3) и (13.4). Так как при использовании байесовского алгоритма событие хенХс эквивалентно событию 1(х) >сб, а событие хенХо — событию 1(х)(сб, то в этом случае вероятности ошибок представляются однократными интегралами сдб= Р(1(х) ) сб!На) = ~ ЧУс ЯНо) с(я=1 — Р,(сб)Н ), сб об ()б = Р (1 (х) ( сб1 Нд) = )' %'с (г ! Нд) с(г = Р, (сб ! Н,), а (13.18) (13.19) (13.22) 327 где )Рс(з!Но), Рс(г~!Но), )Рс(з!Нс), Рс(з/Нс) — плотности вероятности и функции распределения статистики отношения правдоподобия при гипотезе Но и альтернативе Н, соответственно.
Если используется байесовский алгоритм в виде (13.16), то аб = 1 — Рсп с (1и сб ~ На), (13.20) рб=Рсп с (1п сб / Нс), (13.21) где Рспс(г!Но), Рспс(зссНс) — функция распределения логарифма отношения правдоподобия при гипотезе Но и альтернативе Н, соответственно. Байесовский риск 1см. (13.9)) сдоб= роПоо+рсПсо+ро(Пос — Пао) пав — Сэс(Псо Псс) (1 — рб)~ АДГД7) 1 (13.27р 828 где аа, ро определяются согласно (13.18), (13.19) (или (13.20) и (13.21)); Ро+Ро=1. 13.1.6.
Минимаксный алгоритм. Предположим теперь, что априорные гипотезы Но и альтернативы Н, неизвестны, и определим оптимальное минимаксное правило выбора решения, которое, как указывалось в и. 12.4.3, представляет специальный случай байесовского правила для наименее й Рои 1 Ри благопРиЯтного апРиоРного РасРис. И.2. Зависимости Вайесовского пределения гипотез.
Так как в риска от вероятности гипотезы рассматриваемом случае провер- ки простой гипотезы Но против простой альтернативы Н, события Н, и Н, составляют полную группу, то достаточно определить наименее благоприятное значение вероятности Ро — — Р(Но) или ро„которому соответствует максимум байесовского риска — минимаксный риск Й„(ро„) = шах )са (р,).
(13.23) о<а,<1 На рис. 13.2 изображена типичная зависимость байесовского риска от вероятности р, гипотезы Н,. Запишем уравнение прямой„ касательной к этой зависимости в точке ро: У (Р ) = г*1+ Р (г*о — и'1), (13.24) где г*,, г*~ — условные риски, определяемые согласно (13.7) н (13.8) прн использовании байесовского правила, причем при Р=ро (точка касаниЯ) У(ро) =Ло(ро).
В точке Ро=ро„максимУма фУнкции Яо(ро) касательнаЯ к кривой байесовского риска параллельна оси абсцисс (см. рис. 13.2) и, следовательно, у(Р) =сопз1, т. е. не зависит от переменной Р. Согласно (13.24) это условие максимума функции )то(ро) выполняется, если значение Ро, удовлетворяет уравнению и*о(Ро) = и"1(Ро). (13.25) Минимаксный риск 1см. (13.24), (13.25)) тг (Р ) =и* (,оов) =а*о(Рои). (13.26) Из (13.26) с учетом (13.7), (13.8), (13.13), (13.18) и (13.19) следует, что минимаксный алгоритм проверки простой гипотезы против простой альтернативы предписывает сравнение отношения правдоподобия 1(х) с порогом с„, который определяется из трансцендентного уравнения относительно неизвестной со: Поо+(По1 — Поа) г11 — Рг(со)Но) ) = = Пы+ (П1о — Пы) Р~(со) Н1).
При Паа=Пи=О уравнение (13.27) несколько упрощается По! (1 — Р!(са) На)1 = П!аР,(са ! Н!). (13.27а) 13.1.7. Алгоритм максимальной апостериорной вероятности. Предположим, что матрица потерь (13.2) неизвестна. Тогда можно синтезировать оптимальный алгоритм проверки простой гипотезы Но против простой альтернативы Н, по критерию максимальной апостериорной вероятности (см. п.
!2.4.4). По формуле Байеса находим апостериорные вероятности гипотезы Но и альтернативы Нь если в результате наблюдения получена выборка х: Р(Н ! )- (13.28а) ра !Р(х/На) + р! ВГ (х1Н!) ' Р(Н ! ) р1 97(х!Н!) (13.28б ра%'(х!но)+ р! вг(х!и,) откуда = 1(х) ~а (13.29) р !Н,!х) р, Установим следующее правило выбора решения: принимается альтернатива Н!, если Р(Н!)х))Р(Но)х) (решение т!), и отвергается эта гипотеза, если Р(Н,!х))Р(Н!!х) (решение уа). Условие Р(Но!х)+Р(Н!!х) =1 равносильйо принятию той гипотезы, для которой апостериорная вероятность больше !/2 (а при равенстве 1/2 принимается альтернатива Н!). Используя (13.29), запишем оптимальный алгоритм по критерию максимума апостериорной вероятности в виде ра (13.30) т! р !и!(х) !и ( ра ~) (13.30а) Таким образом, в этом случае оптимальный алгоритм проверки простой гипотезы Н, сводится к вычислению отношения правдоподобия и сравнению его с величиной ро7р!.
Нетрудно заметить, сравнивая (13.30) с (13.15), что рассматриваемый алгоритм совпадает с байесовским, когда Паа=Пи=О, Па!=П!о=1. При этом средний риск [см. (13.22)) На= роаа+ р4а, (13.306) т. е, равен априорной вероятности ошибочного решения (любого рода). Следовательно, алгоритм максимальной апостериорной вероятности минимизирует априорную вероятность ошибок. Иначе говоря, этот алгоритм на протяжении длинной последовательности принятия решений обеспечивает максимальную частоту правильных решений. 399 13.1.8. Алгоритм максимального правдоподобия.
Если неизвестны и матрица потерь (13.2), и априорные вероятности гипотезы Н0 и альтернативы Нь то можно применить критерий максимального правдоподобия, согласно которому при наблюдении выборки х=(хь ..., х ) принимается та из гипотез, которой соответствует большее значение функции правдоподобия выборки. Принимается гипотеза Нм если 77(х~Н0) ) (г(х1Н~) (решение у0), н отвергается эта гипотеза, если Яг(х~Н,)=»Ф'(х~Н0) (решение у) Таким образом,.оптимальный алгоритм максимального правдоподобия записывается в виде (13.31) 1 (х) 1 тв или 1п 1 (х) ~ О. (1 3,31а) Этот алгоритм предписывает вычисление отношения правдоподобия и сравнение его с единицей (или определение знака логарифма отношения правдоподобия). Алгоритм максимального правдоподобия совпадает с оптимальным алгоритмом по критерию максимума апостериорной вероятности, когда гипотеза и альтернатива равновероятны, т. е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
