В.И.Тихонов Статистическая радиотехника (2-е издание, 1982) (1092037), страница 89
Текст из файла (страница 89)
3 э Отметим, что нормальная плотность вероятности удовлетворяет указанным выше условиям. з-. Если в уравнение (17) подставить простую функцию потерь (14), то оно примет вид сопз1 — р (Л [ х) [,, - = ппп (4.4.19) р(Л[х) ), - =шах. Согласно формуле (1) последнее уравнение можно также записать в эквивалентной форме рр„(Л) р (х [ Л) ~, - = шах,' (4,4.20) Следовательно, при простой функции потерь оптимальной байесовой оценкой согласно (19) является оценка по максимуму апостериорной плотности вероятности, а при равномерном априорном распределении рр„(Л) в силу (20) это есть оценка по максимуму функции правдоподобия.
В большинстве радиотехнических задач, связанных с оценкой параметров, преимущественно используется метод максимального правдоподобия. Это объясняется рядом достоинств оценок, получаемых этим методом, а также сравнительной простотой вычислений и практической реализации соответствующих алгоритмов в виде измерительных устройств. Перечислим основные достоинства оценок метода максимального правдоподобия [1581.
1. В случае оценки одного параметра оценка Л наибольшего правдоподобия оказывается всегда состоятельной. 2. При больших и распределение оценки является приближенно нормальным 455 с центром в точке Л и дисперсией, определяемой формулами (4.3.24) или (4.3.35). Иначе говоря, оценка Л является асимптотически эффективной, так как не существует другой оценки с меньшей дисперсией. 3. Если параметр Л допускает эффективную оценку (несмещенную, состоятельную и имеющую минимальную дисперсию), то эта оценка получается как единственное вэтом случае решение уравнения правдоподобия. 4. Как следует из предыдущего, оценка полностью использует всю информацию относительно параметра, которая доставляется выборкой, т. е.
является достаточной статистикой. 5. Оценка обладает свойством «инвариантности» относлтельно замены переменного. Поясним это важное свойство. Пусть вместо параметра Л нужно оценить некоторую его однозначную функцию ст (Л). Тогда оценкой для ср (Л) будет гр (Л). Действительно, допустим, что обратной функцией для гр (Л) является Л= тр (ф). Подставив ее вместо Л в функцию правдоподобия, имеем Е(Л) = Е(ф(ф)) = Е (ф) (442!) Так как максимум Е (Л) соответствует Л = Л, то ф (ф) следует приравнять Л, чтобы получить максимум Е, (ф).
Следовательно, ф будет равно ф (Л). Отметим, что оценки Л максимального правдоподобия часто оказываются смещенными. Однако эта смещенность не имеет существенного значения и во многих случаях может быть устранена при надлежащем исправлении оценки. Рассмотрим четыре иллюстративных примера. Пример 4.4.1. Пусть случайная величина Ч принимает двч значения 1 и О с вероятностями р а = П = Л, р а = О) = 1- Л. Допустим, что в результате а испытаний исход 5 = 1 осуществился й раз, а исход $ = О л — й раз. Тогда функция правдоподобия будет определяться биномиальным распределенйем Ь (Л) Сь Ла (! Л)з — ь В данном случае уравнение правдоподобия (1!) принимает вид Ы!пь(Л) з л — й бЛ ~ 1 — Л Отсюда получаем решение Л = йУи.
Следовательно, относительная частота йтн появления исхода й = ! является асимптотически эффективной оценкой вероятности р ($ = 1) = Л. Для нахождения дисперсии этой оценки вычислим: др/дЛ = 1 при з = 1, др!ОЛ = — ! при я = О. Подставив этот результат в (4.3.27), имеем дЛ Л 1 — Л Л(1 — Л) По формуле (4.3.24) для больших и находим дисперсию оценки 11- = Л(1 — Л)/л. 456 Пример 4.4.2. Методом максимального правдоподобия по независимой выборке объема и нужно оценить математическое ожидание т, и дисперсию Р нормально распределенной случайной величины я, имеющей плотность вероятности р (с; тд, Р) =(2лР) !)з ехр [ — (х — тг)з72Р). (4.4.22) В рассматриваемом примере функция правдоподобия равна 1 А(~, о=(2 О) "К [ — — х' к=! л п 1 тз 1п В (ты Р) = =!п 2л — — 1п Р— — ~„(х! — ат)з.
(4.4.23) 2 2 2Р Отметим, что обращение в максимум 1пй по параметру тт эквивалентно обращению в минимум суммы квадратов Х (х; — тт)з. Следовательно, в этом частном случае, когда наблюдении распределены нормально, из метода максимального правдоподобия следует так называемый метод наименьших квадратов (см. 4 4.5). Запишем систему из двух уравнений правдоподобия для определения неизвестных параметров тт и В: д ! 1 чч — 1п 7.(ао Р) ~ = — „~а (х; — тт) =О, дтг о=о д — 1и В (т„Р) ~ = — — п — — ~ (х! ~п1) =О 2Р ~ Р о=о Решением этих уравнений являются 'пг = — '~ х!, Р= — '~ (х; — ад) .
л и г=! 1=! (4.4.24) 1 1 1 1п р (х; т;, Р) = — — !п 2л — — [и В = (х — ат)з. 2 2 2В Поэтому д 2 1 М ~ — [и Р(х; т,, Р) ~ = — М ((х — т,) ) = —, 'ь дат Рз Р М вЂ” 1п р(х; ат,Р) = —.М 1 — 2 + = — (1 — 2+3) = 457 Для получения дисперсий оценок и нормированной корреляционной функции между ними вычислим сначала необходимые математические ожидания, входящие в формулу (4.3.37). Из (22) имеем Здесь была использована формула (1.4.45) для центральных моментов нормально распределенной случайной величины, причем учтено, что нормально распределенная случайная величина ($ — тт)/)/тт является нормированной (имеет дисперсию, равную единице).
Далее д !п р (х; тт, О) дтт д 1и р (х; т,, О) дР ! й) ((х — тт) — (х — тт) ) =О, так как все нечетные центральныс моменты нормально распределенной случайной величины равны нулю. Итак, тт и 1) являются асимптотически нормальными оценками математического ожидания т, и дисперсии 77 нормально распределенной случайной величины с дисперсиями, равными соответственно т 1!7п' ПВ (4 .4. 25) причем нормированная корреляционная функция между оценками равна нулю, т. е. зти оценки асимптотически независимы. Пример 4.4.3.
Требуется оценить параметр Л в законе распределения Пуас- сона правдоподобна согласно (10): «г т,к. = е ~ Лг (хт! х,! ...х„!) хг! и ее логарифм л з 1и Ь (Л) = — лЛ+1и Л ~~~~~ х; — ~~ !и (хг!) . Уравнение правдоподобия (11) принимает вид д 1п й(Л) ! = — и+ — т х = — О. дЛ Л ~=! Отсюда получаем, что оценкой параметра Л закона Пуассона является среднее арифметическое значение з 1 ач Л= — '~ри хг. (4.4.27) п г=! Воспользовавшись формулами (4.3.27) и (4.3.24), нетрудно убедиться, что дисперсия оценки равна =(1/п) Л. (4,4.28) Пример 4.4.4. Сравним оценки, получаемые разными методами, для следующего простого примера [166).
Пусть подлежащий оценке параметр Л имеет равномерную априорную плотность вероятности (рнс. 4.5, а) (1, о <л~<1, (О, Л< О, Л~1. пользуясь независимой чения хт, хз, ..., ха. Запишем функцию л й(Л)= П г=! р (х; Л) = е Л" /х1, (4.4.26) выборкой, которая для случайной величины $ дала зна- Наблюдением является случайная величина в=Л+п, (4.4.29) где и — «шум» наблюдения, имеющий априорную плотность вероятности (рис. 4.5, б) и/2, 0 ( и (2, О, л ( О, и > 2. Этот шум мешает получению точной оценки параметра Л по наблюдению ч. РР Параметр Л и шум а предполагаются 1 независимыми, т.
е. Рз (Л, л) =Ррг (Л)Х Х р (а). По единственному значению в, г 5 л равному х = 2,5, нужно оценить Л. для получения различных оценок р(л) необходимо предварительно найти условную р (х(Л),совместную р (Л, х) И апостернорную рр, (Л)=р (Л(х) плотности веро- 2 5 и ятностей, Причем эти три плотности вероятности целесообразно определять в Р/х!Л) указанной последовательности, посколь- 1 ку априорные сведения заданы соотношением (29) и априорными плотностями рр„(Л) и р (и). л 1 г г53 х Йз (29) следует, что при заданном РМх=/Р) д) значении Л условная плотность вероят- й/7 ности р (х(Л) совпадает по виду с плот- 11/7 постыл вероятности р (п), за исключением того, что последняя сдвигается 85 1 г 5 л влево или вправо на заданную величину /Л ) г) Л,. Например, р (х(Л) при Л = 0,5 пока- ' р/х/Л) зина на рис.
4.5, в. Если теперь найти Р(л(х-г,5) р (х(Л) для любого допустимого Ли ум- 1 пожить ее на соответствующее значение ---1» — — 7 — 1. 1 Ю рр„(Л) (в нашем примере рр„(Л)=1), то получим совместную плотность вероятности р (Л, х), показанную на рнс. л д) 4.5, д. Апостериорная плотность вероятности р(Л(х) при заданном х = 2,5 на- Рис. 4.5.
Различные плотности веро- ходится по формуле р(Л(х)=р(Л, х)/р(х); ятности она изображена на рис. 4.5, г. По формуле (8) находим оценку как математическое ожидание апостериорной плотности вероятности (рис. 4.5, г) 1 1 1" Г / 8 201 31 Л = ~ Л р(Л(х) г(Л = ~ Л( — — Л+ — )'г( Л= — — 0,738. 7 7 ~ 42 1/7 1/7 Из рис. 4.5, г видно, что оценкой по максимуму апостериорной плотности вероятности (по апостериорной моде) является значение Л = 1/2. Наибольшее значение функции правдоподобия р (х(Л) соответствует правому верхнему углу рис. 4.5, в.
Для наблюденного х=2,5 это наибольшее значение достигается при Л= 1/2, причем Л= Л = 1/2 есть оценка максимального правдоподобия. Как и следовало ожидать, она совладаете оценкой по максимуму апостериорной плотности вероятности, что согласуется с равномерным распределением р „(Л). Оценка по методу моментов находится из соотношения М (В) = М Я+ М(л). При наличии единственного результата измерения х = 2,5 следует положить М Щ = х = = 2,5.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
