Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 74
Текст из файла (страница 74)
14.4.2. Байесовские оценки. Предположим, что наряду с априорными данными, указанными в и. 14.4.1, задана также функция потерь П(О, О) (см. п. 12.2.5). Тогда имеется полный комплект априорных данных, необходимый для синтеза байесовского алгоритма оценивания случайного скалярного параметра О. Как показано в п, 12.4.2, байесовской оценкой, минимизирующей средний риск, является оценка минимального апостериорного риска [см. (12.20)] 7(ба) гп[п )П(О, О) )[У(О[х) ЙО. О Минимизация функционала (14.74) представляет задачу варнацнонного исчисления.
Функционал У(О) в правой части (14 74) зависит от вида функции О =до(х), и необходимое условие минимума можно записать в виде дУ/дд = О. (14.75) ваются байесовские ошибки при функциях потерь указанного вида. 14.4.3. Простая функция потерь. Рассмотрим функцию потерь, которая равна постоянной с для всех значений ошибок и дает бесконечный «выигрыш» при точном оценивании П(Ь вЂ” Е)- -6($ — Е), с)0. 'Функция потерь (14.76) называется простой. Подставляя (14.76) в (14.74), получаем (14.76) ,/(Ьа) ш(п(с — йг(Ь(х)) шах Ж(Ь(х). е е (14.77) Из (14.77) следует, что байесовская оценка при простой функции потерь совпадает с оценкой максимальной апостериорной плотности вероятности оцениваемого параметра.
14.4.4. Квадратичная функция потерь. При квадратичной функции потерь и (Ь, е) (Ь вЂ” е) впостериорный риск ,ЦЬ) = 1(Ь-О)»йт(е(х)ае. ОО (14,78) (14.79) Подставляя (14.79) в (14.76) и разрешая уравнение относительно функции О=де(х), получаем Ь,= (ейг(е( ) е 00 (14.80) вли 40 )О и(о) ).„(в) ю Ьа=лг,(е!х) = (в (О) 1,„(О) ЗО Ф Функцию правдоподобия 1., (О) в (!4.80а) можно статнстнкой отношения правдоподобия 1(х!Е) - 7., (Е)а.„(Е,), (14.80а) заменить (14.80б) где ΄— некоторое фиксированное значение параметра О !ср. также с (14.64а)1.
Из (!4.80) следует, что байесовская оценка при квадратичной функции потерь представляет условное среднее значение оцениваемого пара~метра О при заданной выборке х. Нетрудно убедиться, что (14.80) соответствует минимуму апостериорного рис- 4ОО ка, так как дЧ/(дд)'=2)0. Условное среднее (14.80) является несмещенной оценкой параметра т,(Ье) = ~бе(х) йг(х) бх= ~ т (4))х)йг(х) дх= )" 6 ю (д) т'.„(6) И дх = т, (д) и, следовательно, 1см. (!4.79) ) (14.81) 7(бб) ц2(6)х).
(14.82) В отличие от простой функции потерь, для которой байесов. ская оценка определяется локальными свойствами апостериорной плотности вероятности оцениваемого параметра 6 в окрестности ее максимума, байесовская оценка при квадратичной функции потерь зависит от изменения указанной апостериорной плотности во всем диапазоне измерения параметра 6, Заметим, однако, что для унимодальной в симметричной относительно моды апостериорной плотности распределения условное среднее совпадает с модой и, следовательно, байесовская оценка при квадратичной функции потерь совпадает с оценкой по критерию максимума апостсриорной плотности, т.
е. с байесовской оценкой при простой функции потерь. 14.4.5. Функция потерь, равная модулю ошибки. Для функции потерь П(0, 6)=~Π— 0~ апостериорный риск У(6)= ( )Ь вЂ” б!К(д!х)де= (14.83) ( (6 — д) Я7 (6)х) Д 0 — У (б — 6) йг (Ь!х) И, Ф откуда согласно условию (14.75) — = ~ Яг (())х) дд — ~ Ч7 (д(х) ~И=О дЬ 60 или )Р (Ь[ ) Иб = ~ П7 (д)х) дб. Р (14,84) Из (14.84) следует, что байесовская оценка при функции потерь, равной модулю ошибки, совпадает с условной медианой оцениваемого параметра д при заданной выборке х.
401 Если апостериорная плотность вероятности оцениваемого параметра унимодальна и симметрична относительно моды, то медиана и среднее значение этого распределения совпадают и равны его моде. В этом случае байесовские оценки при функции потерь, равной модулю ошибки, и прн квадратичной функции потерь одинаковы и совпадают с оценкой максимальной апостериорной плотности вероятности. 14.4.6. Прямоугольная функция потерь.
Для функции потерь апостериорный риск 6+е 1 (6) = 1 — 1 Н7 (д [х) Дб, (14.85) Ф вЂ” в откуда из (14.75) получаем следующее трансцендентное уравнение для определения байесовской оценки при прямоугольной функции потерь: 1Г(д+з[х) = К(д — е[х) (14. 86) Если апостериорная плотность вероятности оцениваемого параметра уннмодальна и симметрична относительно моды, то единственным решением уравнения (14.86) является такая оценка Ов, которая совпадает с модой указанной апостериорной плотности вероятности.
В этом случае байесовская оценка прн прямоугольной функции потерь совпадает с оценкой, соответствующей максимальной апостернорной плотности вероятности, т. е. с байесовской оценкой прн простой и квадратичной функциях потерь. 14.4.7. Симметричная функция потерь. Рассмотрим произвольную функцию потерь, четную относительно ошибки и неубывающую при увеличении модуля ошибки П(д — 6) =П(6 — 6). (14.87) Все указанные в п.п. 14.4.3 — 14А.6 функции потерь являются функциями такого вида. Предположим, что апостериорная плотность вероятности параметра 6 при заданной выборке х унимодальна и симметрична относительно моды Из этого предположения следует, что условное среднее а(х) =т,(6!х) является модой апостериорной плотности, т.
е. [Г[д — а(х) [х! — четная функция аргумента 6 — а(х). Запишем уравнение (14.75) — — [П (д — д)! Ж' [д — а (х)[х! Ю. дУ д (14.88) дк дк Так как П(6 — д) †четн функция, ее производная дП/и†нечетная функция аргумента Π†„'(х), Поэтому величина дУ/дд 402 тождественно обращается в нуль, если () — до(х) =д — а(х), т. е. если оценка Ь=дв(х) и' (дп) = ш(п ) П (Ф, 4г) 1)У (4г)х) бд. (14.90) Апостериорный риск ((бн) представляет многомерный функ- ционал, зависящий от т функций (статистик) 6з=й'о,(х), =1, т. Система уравнений ду =0,1=1,т, дяо определяет необходимое условие экстремума этого функционала. Для простой функции потерь (14.91) апостериорный риск ,г' (Фо) птах ()р(Ь)х). (14.92) о При этом из (14.92) следует, что байесовская оценка векторного параметра д является оценкой максимальной апостериорной ' Можно доказать (см., например, (441), что оценка (14.89) — байесовская для четной выпуклой функции потерь и апостериорной плотности, симметричной относительно условного среднего (необязательно унимодальиой).
403 0=а(х) = т1 (д) х), (14.89) потому что при выполнении равенства (14.89) подынтегральная функиия становится нечетной функпией относительно новой переменной интегрирования т=д — а(х). Таким образом, оцен<а (14.89) является решением уравнения (14.88) и, следовательно, байесовской оценкой. Сравнивая (14.89) с (14.80), приходим к выводу, что байесовская оценка при квадратичной функции потерь является также байесовской оценкой при симметричной функции потерь для целого класса апостериорных плотностей оцениваемого параметра, удовлетворяющих условиям унимодальности и симметричности относительно моды'. 14.4.8. Байесовские оценки векторного параметра.
Предположим, что однородная независимая выборка х= (хь ..., х„) принадлежит распределению с плотностью гв(х(Ф), причем (г= (бь ... ..., д ) — случайный векторный параметр с известной плотностью вероятности ю(д), Ф ет'". Задана также функция потерь П(Ф, 4)). Оптимальной байесовский оценкой Фс параметра д является оценка, минимизирующая апостернорный риск (см. и. 12.4.2); плотности д„,„, компоненты ко!орой определяются системой уравнений 1ср. с (14.73)1 — !и и! (4!) + 2' ,— 1п ц! (хд ! 4)) = О, !' = 1, т.
(14.93) дб, ь-! об! Для квадратичной функции потерь П(д, д) =-(б — 4))' Х (4! — 4)) = т гл Л!1(Ь! — 4)) (д! — 6), !)е! Х) О, ! ! 1 1 байесовские оценки компонент векторного параметра Ю апостериорному среднему б! = ) 4)! !Р (д!х) бб= ) 4)! )Р' 1б!!х) Ю„!'= 1, т.
е~л л (14.94) равны (14.95) 14.5. ОЦЕНИВАНИЕ ПАРАМЕТРОВ НОРМАЛЬНОГО РАСПРЕДЕЛЕНИИ 14.5.1. Совместные оценки параметров одномерного нормального распределения. Предположим, что наблюдаемая однородная независимая выборка хлл(х!, ...,х ) принадлежит нормальному распределению с неизвестным средним значением а и дисперсией о'. Функция правдоподобия выборки х л 1 (а, о*) = (2 по')- 11 ехр — — ~, '(х; — а)' 2о! 1-! л л -!! л|- г(- — а*-! х,+ '~). 2 о! !=! (=! (14.96) представляют соответственно состоятельные и несмещенные оцен- ки среднего и дисперсии нормального распределения. 404 Сравнивая (14.96) с (14.54), приходим к выводу, что Х х! и !=! л Х х~! представляют совместно достаточные статистики для сред- 1-! него значения и дисперсии нормального распределения соответственно. Из общих соотношений, справедливых для любых распределений (см.
п.п. 14.!.3, 14.1.4), следует, что выборочное среднее л а= — 2'. х, л ! — ! и исправленная выборочная дисперсия л У= '1', (х,— а)' (14,98) л — !! ! Случайная величина )/п(й — а)/о распределена нормально с нулевым средним и единичной дисперсией, а случайная величина (п — 1)зг/о — по закону тг с (и — 1) степенями свободы.
Заметим при этом, что выборочные среднее и дисперсия для нормального распределения независимы (см. задачу 14.2, а также 1451, с. 233) . Определим элементы информационной матрицы Фишера для одномерного нормального распределения. В соответствии с (14,55), учитывая (14.96), получаем 1(' ') (а, ог) = т, / à — 1п /.„(а, ог) ~ ) = [ — ' [г (*- )]] — — ". Из независимости выборочного среднего и выборочной дис- персии следует 1(),г) (а, ог) 1(г,)' (а, ог) = =т, ( — 1п7 (а, ог) — 1п7.4(а, ог) = 4 д д да дог Г( ", л = т( ] — ,') (х( — а) ~ — 2; (х„— а)' — — ~ =О. 1 ог '(2 о~ г ) 2ог ( Далее, используя выражение для моментов )(г-распределения (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
