Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 73
Текст из файла (страница 73)
(14.5б) Эта формула аналогична (14.39) и совпадает с ней при и>=1. Так как л>, ( !и Е„(о) ~ = дд> дд> — — — 1и Е, ((>) — [1п Е„(б)) Е„((>) бх, ха дд> дд1 то 1,ь~~(6) = — т, > !п Е„(4>)), Е >= 1, т. (14,57) дд> дд> При т=! (14.57) совпадает с (14.38). Если детерминант информационной матрицы отличен от нуля, то имеет место следующее обобщение неравенства Рао — Крамера [ср.
с (14.41)]. При любом и'=(иь ..., и ) и при условии не- 394 вырожденпости информационной матрицы 1 имеет место нера- венство Х Х ['па [(Оа ба)(6! — айа)) — 'а'„ап И] и, и! О, (14.58) с=ау=а где У„а'и — элементы матрицы 1„-', обратной информационной матрице Фишера В матричной форме формулу (14.58) можно записать в гиде и' (М вЂ” 1, а) и ) О, (14.59) где М вЂ” корреляционная матрица ошибок. Из этого условия следует система неравенств (14,60) Структура эффективных оценок векторного параметра имеет вид [ср.
с (!4.46)] О ф = 6+ Ь(О) + 01„а (а71п ! „(О)) . (!4.62) где [ар!и й„(б) ]' — вектор-строка с компонентами — 1и й„(д), дба 1=1, лн Ь(О) — вектор-столбец с компопептамн Ьа(О), 1=1, и. Для несмещенных эффективных оценок [ср. с (14.47)] О ф = О + 1„а (а7 1и ьаа (О)1 . (14.63) ! ЬЗ. ОПВНКИ МАКСИМАЛЬНОГО ПРАВДОПОДОБИЯ 14.3.1. Уравнения максимального правдоподобия, Рассмотрим оценку д,„векторного параметра О, оптимальную по критерию максимального правдоподобия [см.
(12,38)]. Так как логарифм— монотонная функция, то экстремумы функций Е, (д) и 1пТ, (б) ЗЗЗ определяющих нижние границы дисперсий оценок дь Система оценок, для которой в (14.58) достигается равенст- во, исзыгас;ся совместно эффективной. Если это равенство име- ет место лишь при и- оо, то оценки называют совместно асимп- тотически эффективнымн. Если О, — смещенные оценки параметров бь 1=1, и, причем та(ба) =-ач;+!а,(О), то, вводя матрицу размером тХи, 0=(1+ — Ь;(4!)~, 1, /= 1, и, дб! можно получить обобщенное неравенство Рао — Крамера: и'(М вЂ” 01„'0') и) О.
(14.61) достигаются при одинаковых аргументах д. Поэтому критерий максимального правдоподобия можно представить в виде т)мп = агй »пах 1п /., (()). (14.64) вые Заметим, что функцию правдоподобия в (! 4.64) можно заменить статистикой отношения правдоподобия 1(к(()) /-в (4))//.а (()в), (14.64а) где т)с — фиксированный вектор. Учитывая соотношение (14.53) для независимой выборки, запишем необходимое условие для экстремумов функции т переменных (компонент 6ь»=1, л», вектора 6) в виде системы уравнений максимального правдоподобия ' — )п/.„(4)) = ч — 3 )п/,,(()) =6, 1=1, т.
дб»» 1 дб» Максимумы будут лишь в тех точках экстремумов, для которых выполняется условие: матрица 2' с элементами дв 2'»у = 1пй„(6))е о, », /= 1, и», д()» дбу мп' (14.65а) отрицательно определенная. Оцш»«у 4)ип= (6» мп,, дама), удовлетворяюшую системе уравнений (14.65) и условию (14.65а), называют оценкой максимального правдоподобия векторного параметра Ф или совместной оценкой максимального правдоподобия компонент этого векторного параметра.
Оценки максимального правдоподобия состоятельные н аснмптотнчески совместно эффективные. Прн больших размерах выборки п оценка д„асимптотнческн имеет и»-мерное нормальное распределение с вектором средних, равным т), и ковариационной матрицей 1,— »/и, где 1, — информационная матрица при размере выборки и=! [см. (!4 56)1. Доказательства того, что оценки максимального правдоподобия обладают указанными свойствами, можно найти, например, в 1431.
14.3.2. Приближенное решение системы уравнений максимального правдоподобия. Разложим функцию !и /., (()) многих переменных дь ...,д в кратный ряд Тейлора около точки ()о= =(д»е, ..., д о) и ограничимся в этом разложении первыми тремя членами: ' Предполагается, что производные по О» функции 1и (.а(»)) существуют. Если зто условие не выполняется, то в качестве оценки максимального правдоподобия параметра б выбирается статистика Ьм„для которой 1и ).а (Ема) впр 1п1. (б). ее нл» 39б 1п Е„(6) =-' '.„(6,) + ~ [ — !п Е„(б)) (6, — 6;,) + до~ е=е. Аь+1 = бь + 1» (бх) хх (бх). (14.
67) Если функция правдоподобия Е, (Ю) унимодальна и первое приближение выбрано вблизи максимума, то итерационная процедура (14.67) обеспечивает быструю сходимость 6» к оценке максимального правдоподобия. 14.3.3. Оценивание скалярного параметра. Рассмотрим частный случай приведенных в п.п. 14.3.1, 14.3.2 результатов для т = 1„ т.
е. когда независимая однородная выборка х принадлежит распределению с плотностью гв(х!О), зависящему от скалярного параметра. Оценка д, максимального правдоподобия параметра О нахо~ дится нз уравнения [см. (14.65)) — 1п Е„(б) = ~ †1п го(х„)6) = 0 д л дд л ~ дд при условии [см. (!4.65а)! — !и Е„(6)~ . ( О. Заметим, что для дискретного распределения р(х)о) уравне-. ние максимального правдоподобия имеет внд — !пр(хд(6) = О. (14.68б)~ 1 дд (14.689 393 + — ~', ~ [ !пЕк(б)1 (4)» — 6,0)(бт — 6~0). (14.66~ 9 г=11-1 до~ до~ а=ее Подставляя (14.66) в (14.65), запишем систему уравнений максимального правдоподобия: — 1п „(б) = ~ д 1пЕ„(б)~ + дд, до~ а=а, +~ ~ ' 1пЕ„(б)1 (О,-бз,)=-0, 1=1, !=1 до~ доз * а=а.
Заменяя вторые производные логарифма функции правдоподо- бия их средними значениями и вводя информационную матрицу Фишера [см. (14.57)), запишем уравнение для первого прибли- жения оценки максимального правдоподобия в виде г(00)— — 1„(ба) (01 — Оо) =О, откуда 61=60+1, ' (бо)х(бо), где г(бо)— вектор частных производных логарифма функции правдоподобии в точке О=дм Следующее приближение получается заменой ба на О, и б, на бь Если найдено й-е приближение, то (14.69) 14А. ОПЕННВАННЕ СЛУЧАЙНОГО ПАРАМЕТРА !4.4.1. Оптимальная оценка по критерию максимума апостериорной плотности.
Предположим теперь, что однородная независимая выборка х= (хь ..., х„) принадлежит распределению с плотностью в(х(0), причем 0 — случайный параметр с известной плотностью вероятности в(б). При таких априорных данных оптимальный алгоритм оценивання параметра 0 синтезируется по критерию максимума апостериорной плотности вероятности !Р'(й!х) оцениваемого параметра !см, (12.26)). По формуле Байеса находим !см.
(2.61)) !г" (б! х) = ш(0) 7® (0) /)р(х), (14.701 где )Р (х) = ( (а) 7. (0) 4 а. Так как логарифм — монотонная функция, то точки экстремумов функции )(У(0!х) по 0 совпадают с точками экстремумов по О функции !и )Р(0!х) =1п ш(0) +1п 7., (О) — !п )(У(х). (14.71) 398 (14.70а) Уравнение максимального правдоподобия (14.68) является, в общем, нелинейным алгебраическим или трансцендентным и может иметь несколько решений, соответствующих максимумам и минимумам функции правдоподобия Каждое решение б=дэ(х), соответствующее максимуму функции правдоподобия, представляе' оценку максимального правдоподобия неизвестного параметра.
Если решение уравнения максимального правдоподобия не единственное, то задача состоит в нахождении того решения, которое соответствует абсолютному максимуму (максимуму максиморуму). Если существует несмещенная эффективная оценка Ь,,ф, то уравнение максимального правдоподобия имеет единственное решение, которое совпадает с 0,4. Если 0=да (х) — достаточная оценка, то из (!4.27) и (14.68) следует — 1п(.„(0)= — !п( [дв(х))0) =-О. д д дд дд Таким образом, если существует достаточная оценка, то каждое решение уравнения (14.68) является функцией этой достаточной опенки. Из (14.67) при пт=! получаем соотношение ! 0,,-0„+— с дд * зв=дд ' которое определяет итерационную процедуру приближенного вычисления оценки максимального правдоподобия параметра О.
Структура этого соотношения аналогична (14.47). Если функция !п [р'(О[х) дифференцируема по О, то ее максимум определяет оптимальную оценку О . максимальной апостериорной плотности согласно уравнению дд — 1п ш(О) + — 1п 1.„(О) = О дд (14.72) (14. 73) Выбор функции потерь в известной мере субъективен и зависит от конкретной задачи оценивания параметра. Наиболее часто используются функции потерь, которые представляют четные функции ошибки Π— О оценивания, монотонно возрастающие (неубывающие) при увеличении модуля ошибки.
Далее рассматри- 399 при условии — [1п гв (О) +!п Е„(О)[~ - ( О. (14.72а) Для независимой выборки из (14.72) следует — !п гв(О)+ 2 — 1пге(ха[О) = О. д л дд х 1 дд Оценка максимальной апостериорной плотности вероятности состоятельная и асимптотическая эффективная. Распределение ее при п»1 асимптотически нормальное с параметрами лг (О),. ллм(1,(О)), где 11(О) — информация по Фишеру [см. (14.39а)]. Если априорное распределение случайного параметра О равномерное на заданном интервале, то [см. (14.71)] дд — 1п Ж (О [к) = — 1и Е„(О) дд и, следовательно, при этом оценка максимальной апостериорной плотности совпадает с оценкой максимального правдоподобия.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
