Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 57
Текст из файла (страница 57)
Если функция потерь не задана, то критерием качества может служить какая-либо числовая характеристика, (мода, среднее) алосгериорной плотности вероятности )Р(б~х) параметра Ф прн условии, что наблюдается выборка х. По формуле Байеса получаем (Р(О(х) =гв(6) )Р(х)Ю)~/ ~ ш(О) В'(х(О)бй. (! 2.16) в" Средний квадрат ошибки.
Часто используется как критерий качества алгоритма оценивания средний квадрат ошибки а=Π— О т1(а') = т|((б(х) — Ф) '). (12. 17) Ясно, что значение среднего квадрата ошибки совпадает с частным значением среднего риска )с при квадратичной функции потерь П (6, б) = (Π— О) ' = е'. (12,17а) 12.4. СТАТИСТИЧЕСКИЙ СИНТЕЗ ОПТИМАЛЬНЫХ АЛГОРИТМОВ 12.4.1. Предварительные замечания. В отличие от эвристического решения, которое может отражать субъективное отношение человека к наблюдению, оптимальный алгоритм принятия решения (оптнмальное правило выбора решения) устанавливается до наблюдения по заданному критерию качества.
Такой алгоритм может использоваться человеком-оператором, а также автоматом или ЭВМ по заранее определенной программе. Как было показано в 5 12.3, задание критерия качества обусловлено априорными данными. Отсутствие необходимых априорных данных вынуждает отказаться от одних критериев оптимальности и принимать другие. Здесь будут приведены лишь формулировки задач статистическогосинтеза оптимальных алгоритмов принятия решений по заданным критериям качества, решение которых составит содержание последующих глав. Хотя далее в этой главе рассматривается только класс дискретно-аналоговых, одношаговых алгоритмов, в последующих главах теория статистического синтеза будет охватывать и аналоговые, и цифровые алгоритмы.
'316 12.4.2. Байесовские алгоритмы. Оптимальный алгоритм принятия решения Ьа называется байесовским, если при его использовании достигается минимальное значение (нижняя граница) среднего риска .!так = ш[п Йа а~о (12.!8) или ба = агдппп)га ьео (12.18а) Поэтому байесовский алгоритм называют оптимальным по критерию минимума среднего риска. Решение уа(х), принимаемое согласно этому алгоритму при наблюдении выборки х, называют байесовским. Задача статистического синтеза байесовского алгоритма проверки гипотез состоит в определении такого разделения выборочного пространства Х" на непересекающиеся области Хь 1=0, гп, которое удовлетворяет условию (2.18) [см.
также (12.5б) и (.1 2. 12 ) 1, Задача статистического синтеза байесовского алгоритма оценивания параметра МВ состоит в определении оценки Оа(х)яа, которая удовлетворяет условию (12.18) [см. также (12.6) и (12.15) !. Заметим, что из (12.15) и (12.!6) следует И= ~ ]]7(х) ~ П[Ф(х), О] Я7(О[х) дбдх, х~~ ат (12.!9) где ЯУ(х) = ) в(О)]г'(х]б)дб. фй Функционал (12.19а) .! (О (х), х) = ] П [О (х), О] йт (О] х) дд (12.20) (! 2.21) гу = ~, 'Пд ~Я7 (х] Н~) дх, ! = О, гп. ь-о хь 3!У называется апостериорным риском, так как представляет усредненную по апостериорной плотности В'(О]х) плату за ошибки при оценивании параметра б.
Ввиду того, что ]Р'(х) )О, для выпуклой положительной функции потерь оценка, минимизирующая апостериорный риск, минимизирует и средний риск )с, т. е. является байесовской. 12.4.3. Минимаксные алгоритмы. Предположим, что в задаче проверки гипотез априорное распределение ра, рь ..., р неизвестно. В этом случае можно определить и+! условных рисков В этих условиях априорной неопределенности можно использовать критерий минимакса, согласно которому алгоритм принятия решения (правило разделения выборочного пространства на непересекающиеся области) является оптимальным, если при его использовании минимизируется максимальный из условных рисков. Доказано (см., например, [261), что минимаксный алгоритм совпадает с байесовским для наименее благоприятного априорного распределения гипотез ш1п шах гт = шах т1пН, (12.22) ьао 0</<а 0<1аа ьав Для аналогичной ситуации в задаче оценивания параметра 6, когда априорная плотность вероятности неизвестна, можно опредечить функцию условного риска г,(Ф) = ~ П(Ф(х), 6) Яу(х!6) дх, Э~О", (12.23) хл В этом случае оптимальность может основываться на минимаксном критерии, согласно которому наилучшей является минимаксная оценка Ф„„, для которой верхняя граница значений функции г(Ф) не превосходит верхних значений этой функции при любых других оценках: гпах г.
(Ф)(шах г.(Ф), Ьяб" . вмф" мм вав"' б - 4 Как и в задаче проверки гипотез, минимаксный алгоритм оценивания совпадает с байесовским для наименее благоприятного априорного распределения оцениваемого параметра. 12.4.4. Алгоритмы максимальной апостериорной вероятности и максимальной апостериорной плотности вероятности. Предположим, что в задаче проверки гипотез матрица потерь неизвестна. В этом случае по формуле (12.!3) можно определить апостериорные вероятности гипотез Р(Н,~х), !'=О, т. Алгоритм Ь „проверки гипотез называется оптимальным по критерию максимальной апостериорной вероятности, если при его использовании принимается решение ть когда Р(Нь!х) = шах Р(Н;!х), хе=Ха, (12.25) ьяг<т В аналогичной ситуации в задаче оценнвания параметра б, когда неизвестна функция потерь, можно по формуле (12.!б) определить апостериорную плотность вероятности параметра )к(б!х), Оценка д „называется оценкой максимальной апостериорной плотности вероятности оцениваемого параметра, если Ь„„= агп шах К (61х), хенХ".
Фе1У~~ 12.4.5. Алгоритм максимального правдоподобия. Если в задаче проверки гипотез неизвестны и априорное распределение гипо- 818 тез, и матрица потерь, то синтез оптимального алгоритма может основываться лишь на функции правдоподобия. Оптимальный алгоритм проверки гипотез б „называется алгоритмом максимального правдоподобия, если при его использовании йт(х!Н„) = — шах В'(х)Нт), х~Хд. 0</<т В аналогичной ситуации в задаче оценивания параметра Ю, когда неизвестны априорная плотность !в(Ф) и функция потерь, оптимальная оценка 6„, называется оценкой максимального правдоподобия, если (12.27) (12.32) 12.5.
ВЕРОЯТНОСТИЬтй АНАЛИЗ АЛГОРИТМОВ ПРИНЯТИЯ РЕШЕНИЯ 12.5.1. Предварительные замечания. На этапе синтеза алгоритма принятия решения (оптимального, квазиоптимального, эвристического) формируются статистики — функции выборочных значений, которые используются для принятия одной из гипотез или для оценивания неизвестных параметров. Процесс формирования этих статистик представляет прямое описание алгоритма, необхо- 3!9 6„, =ага!пах йу(х)6), хан Х". (12.28) Юаф~ 12.4.6. Алгоритм различения гипотез, оптимальный по крите- рию Неймана — Пирсона. Рассмотрим задачу проверки гипоте- зы Нь против альтернативы Н, в ситуации априорной неопреде- ленности, когда априорные вероятности гипотез, а также матри- цы потерь неизвестны. Для указанной бинарной (одноальтерна- тивной) задачи проверки гипотез при использовании любого пра- вила выбора решения возможны два ошибочных решения Т!(Нь, Ть)Н! и два правильных Т1(Нь Ть(Нь.
Условные вероятности и = Р (т, Д Н„) = ) йу (х(Н) дх, (12.29) х, р = Р(у,~!Н,) = )Ю'(х!Н,)дх. (12.30) х, называют вероятностями ошибок первого и второго рода соотвег- ственно. Ясно, что вероятности правильных решений РЫН!) =1 — р Р(уесть) =1 — сс. (12.31) Алгоритм Ь„„называется оптимальным по критерию Нейма- на — Пирсона, если при его использовании достигается мини- мальное значение ошибки второго рода р„„= ш1п (зь ьао прн заданном ограничении вероятности ошибки первого рода а< аь. димое для реализации алгоритма техническими средствами. Однако на этапе прямого описания алгоритма принятия решения исследование физического явления или проектирование технического объекта не заканчивается.
Требуются рабочие характеристики (количественные показатели) алгоритма. Для их расчета необходимо определять распределение вероятности или моменты распределения статистик, используемых в алгоритмах. Этот завершающий этап исследования или проектирования назовем вероятностным анализом (косвенным описанием) алгоритма принятия решения, который проводится методами теории вероятностей и теории случайных процессов, изложенными в части 1 книги.
12.5.2. Характеристики алгоритмов проверки гипотез, Рабочую характеристику алгоритма проверки гипотез представляет значение принятого критерия качества алгоритма, например среднего риска, апостериорной вероятности гипотезы, вероятности правильного решения. Для байесовского алгоритма различения гипотез рабочей характеристикой служит минимальный (байесовский) средний риск. Для алгоритма максимальной апостериорной вероятности — эта вероятность гипотезы. Для алгоритма, оптимального по критерию Неймана — Пирсона, — минимальная ошибка второго рода при фиксированной ошибке первого рода. Для сравнения двух алгоритмов проверки гипотезы Ог против альтернативы Н, иногда используют непараметрический критерий качества — коэффициент относительной эффективности (КОЭ).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
