Сосулин Ю.Г. Теоретические основы радиолокации и радионавигации (1992) (1151790), страница 29
Текст из файла (страница 29)
Наблюдение протекает в непрерывном либо в дискретном времени. Непрерывные случайные величины (у(гт) =— уь 1=1, ..., и) описываются п-мерной плотностью распределения вероятностей тв(у10, 1з) (здесь и далее у=уь ..., у„). зависящей от информативных и неинформативных параметров сигнала. Так как последние являются мешающими, то их влияние целесообразно исключить. Проще всего это реализовать при байесовской постановке задачи, когда 1з~М вЂ” вектор случайных величин, плотность рас- пРеделениЯ веРоЯтностей котоРых (апРиоРнаЯ плотность) тво(1з) известна. Тогда в соответствии с правилами теории вероятностей можно вычислить )' ...)то(у!О, )д) тве(1д) й)зт...й)з„= )'...
(Ъ Гу, )з!О) й(т,-.й(з„= ш(у)0). (4.1) В результате плотность вероятностей ш(у) О) обусловлена только информативными параметрами; зависимость от неинформативных параметров исключается. Итак, в общей постановке статистическая задача оценивания параметров сигнала сводится к оцениванию параметров распределения вероятностей наблюдаемо- * Это ограничение снимается позднее при рассмотрении более общих задач оцениеания.
140 го процесса. Далее рассмотрим основные методы оценивания скалярного параметра, затем обобщим их на векторный. Байесовские оценки. Введем функцию потерь с(8, о), характеризующую плату за вынесение оценки и' при условии, что истинное значение параметра равно О. В байесовской постановке задачи оценивания параметр О интерпретируется как случайная величина, распределение вероятностей которой известно наблюдателю (см. $2.2).
Минимизируя средний риск г(го~, 6) (см. (2.6)) или же апостериорный риск г,(у, 6) (см. (2.10)), можно найти байесовское решение о*=6*(у) относительно априорной плотности вероятностей гоа (8): г (щ„б*) = ш1п г(го„б). (4.2) а Решение о' и будет оптимальной оценкой по байесовскому критерию, иначе — бойесовской оценкой параметра О. Качество оптимальной оценки определяется минимальным значением среднего риска, т.
е. байесовским риском (2). Чтобы приступить к отысканию байесовской оценки, необходимо конкретизировать функцию потерь. Одной из наиболее употребительных функций потерь является квадратичная: с(8, о) =(8 — й)'. (4.3) В этом случае апостериорный риск (2.10) га(у, 6)=М((8 — 6(у))')у1 Так как условное математическое ожидание суммы равно сумме условных математических ожиданий и в силу свойств М(1(у)8)у1 =1(у)М(0(у), МЦ(у) )у) =1(у), где 1( ) — любая функция, имеем г,(у, 6) =М(0')у) — 26(у)М(8) у)+6'(у).
Выделив в правой части этого равенства полный квадрат г,(у, 6) =(6(у) — М(0!у))'+(М(8'!у) — (М(0)у))'), видим, что выражение, стоящее в фигурных скобках, не зависит от оценки. Поэтому минимизировать по 6 нужно первый член. Этот член неотрицателен, причем минимальное значение достигается, если он равен нулю. Следовательно й~ = 6* (у) = М (8) у). Таким образом, байесовская оценка при квадратичной функции потерь представляет собой апостериорное математическое ожида. ние оцениваемого параметра О. В дальнейшем эту оценку будем обозначать также О. 141 Выразив апостериорное математическое ожидание через апостериорную плотность вероятностей, имеем 8-М(8[у)= [еш(8[у)йЕ.
При квадратичной функции потерь байесовский риск (2) ( „6*) =м(8 — е)'. Если й — оценка параметра Е, то разность (Š— й) есть ошибка оценивания. Так как для любой оценки (4.4) М(8 — й)') М(0 — 8)', (4.5) то можно говорить, что байесовская оценка при квадратичной функции потерь оптимальна по критерию минимума среднего квадрата ошибки.
Оценку (4) называют байссовской среднеквадратической. Отметим также, что в соответствии с (2.4) М8=ММ(8[у) =МЕ. (4.6) Рассмотрим еще одну функцию потерь вида с(Е, й)-с,— 6(8 — й), (4.7) где константа с1)0, а 6 — дельта-функция. В этом случае апостериорный риск М([с, — 6(8 — И))[у) = [[с, — 6(8 — й)) ш(8[у) де = с,— ш(й[у).
Отсюда видно, что оценка й*, минимизирующая апостериорный риск, должна максимизировать апостериорную плотность вероятностей гп(8[у) оцениваемого параметра 0. Таким образом, байесовская оценка при функции потерь вида (7) — оптимальная по критерию максимума апостериорной плотности вероятностей илн максимальная апостериорная. Если максимум достигается во внутренней точке области изменения параметра Е и апостериорная плотность ш(8[у) дифференцируема по 8, то максимальную апостериорную оценку можно найти, решив уравнение дш(8[у)/де=0. Обычно удобнее решать уравнение д!па(8[у))д Е =0 (4.8) (!п ш(8[у) достигает максимума при том же значении Е, что и ш(8[у) ).
Оценка максимального правдоподобия. Неравенство Крамера — Рао. Если оцениваемый параметр 0 является неслучайной величиной, то для отыскания оценки используют небайесовские методы оценнвания. Наибольшее распространение из них получил метод максимального правдоподобия. 142 Плотность распределения вероятностей га (у ~ 8) наблюдений уену, рассматриваемая как функция неслучайного параметра 0 Ь(В) = ю(у10), называется функцией правдоподобия. Обратим внимание на то, что эта функция зависит как от параметра В, так и от реализации у=ум ..., у„наблюдаемого случайного процесса.
Оценкой макси- мального правдоподобия называется такая точечная оценка й*= =6*(У) = — О, для которой Ь (0„) = шах ь (0), (4.9) Если максимум достигается во внутренней точке множества тт и функция правдоподобия дифференцируема по В, то оценка Вя является корнем уравнения дЬ(8)/т(0=0 или й! и 1. (О) 1й 8 = О, (4.10) называемого уравнением максимального правдоподобия.
Отметим, что рассматриваемая оценка О„ введена эвристически и о ее качестве ничего определенного пока что сказать нельзя (в отличие от байесовской оценки (4), которая по сути дела получена минимизацией среднего квадрата ошибки). Чтобы внести в этот вопрос некоторую ясность, рассмотрим одно важное свойство точечных оценок. Пусть й=б(у) — оценка неслучайного параметра О, математическое ожидание которой может быть смещено относительно О: М 6 (у) = )'6 (у) га (у(0) йу = В+ Л (8), (4.11) где Л(0) — смещение оценки, Если Л(8) =О, т. е.
если Мб(у) = О, (4.11а) оценка 6(у) называется неслгещеиной. Из (11) следует, что ((6(у) —  — 6 (0)) ю (у(0) йу = О. Дифференцируя по О, получаем е ('16(у) — 0 — Л (О)) " йу = )'(1+ Л'(8)) гп (у)8) йу = 1+ 6'(О), У (4.12) ' Предполагается, что функция ю (у(В) удовлетворяет условиям регулярности 1631, позволяющим дифференцировать под знаком интеграла, 143 (4.1 4) * Обычно используемый в этом случае термин «эффективная оценка» менее удачен из.за его многозначности. 144 где Л'(9) =гаЛ(9)/с(9. Перепишем равенство (12) с учетом форМулы дев(у)9)/д9 = та(у!9) д1п(тв)9)/дв (4.13) следующим образом: а(6( ) 9 й (9)))/ ( (9) га(д(Е) )г ( (9 1 1 ! д (9) У ае Применим к этому соотношению неравенство Коши,— Буняковского (см.
(2.!06)): р(6(д) — 9 — Л(9)Рш(д19)дууГ"" '"!" 1'ш(у(9)ду~(1+д'(9)Р. дв Первый интеграл в этом выражении равен дисперсии оценки 6 (у): М (6(у) — 9 — Д(9)Р =М[6(у) — Мд(у)]'=06(У) Таким обраом, получаем неравенство 1!+ а'(в)Р м!д!иы(у!8Уае)а ' которое называется неравенством Крамера — Рао. Бслн оценка является несмещенной, неравенство Крамера — Рао принимает внд (4 15) йт [д!п ге(у!В)/де)а Как видим, неравенства (14) и (15) определяют минимально возможные или нижние границы дисперсий любых смещенных и несмещенных оценок соответственно.
Эти границы, т. е. правые части указанных неравенств, называют границами Крамера— Рао. Их значения зависят от объема выборки у=уь ..., уа и плотности вероятностей та(у(9). Дисперсия оценки есть мера ее рассеяния относительно среднего значения оценки, и при измерениях желательно использовать оценки с минимальными дисперсией и смещением. Наилучшей, очевидно, будет несмещенная оценка, дисперсия которой равна границе Крамера — Рао (т. е. правой части в (15)); такую оценку назовем наиболее эфцтективнойе и обозначим 9 а. Для сравнения различных оценок 6(у) (в том числе и оценок максимального правдоподобия) с наиболее эффективной 8„ вводят отношение их дисперсий еП(6(у)) = 09„а106(д) = 1/М(д!п си(у(9)/двР 06(у), (4.16) д1ц ш(у[0)/дВ = [б(у) — 0)ф(0), где ф(.) — функция, не зависящая от у. Это равенство должно выполняться для всех значений Вши, в том числе и для некоторой оценки 0 параметра 8, при которой д!аш(у[0)/дВ ! - = [б(у) — 0[ф(В) = О.
Функция ф(.) не зависит от у. Позтому если (4. 17) сушествует оценка б(у), существует б(у) =Вам то, уравнения максимального прн которой (15) становится равенством, т. е. если Ю как следует из (17), б(у) =0„=0, где 8 — решение правдоподобия, т. е. 0=8 . Таким образом, если существует наиболее эффективная оценка, то она совпадает с оценкой максимального правдоподобия Ва. В данном случае 0н оптимальна в том смысле, что она не смещена и ее дисперсия имеет наименьшее возможное значение среди дисперсий любых оценок неслучайного параметра 0.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
