Раздел №2. Основные положения статистической теории оценок (1151963), страница 2

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 2)

Срединаиболее распространенных следует отметить следующие:1.байесовская методология;2.минимаксный метод;3.метод моментов.Введем следующие понятия и обозначения для них. Функция потерь (стоимости): c λ, f  ξ 0k   c  λ, f   c λ, λˆ (характеризуетпотери при отклонении оценки λ̂ от истинного значения λ ).Условныйриск(вводитсякакосреднение c  λ, f сфункциейправдоподобия p ξ 0k λ ): r  λ , f    c λ , f  ξ 0k  p ξ 0k λ dξ 0k .ξ 0kВ общем случае решение λˆ  f   , минимизирующее условный среднийриск r  λ , f  , будет различным при разных λ .Байесовская методологияПри байесовском подходе критерий оптимальности связывают с так называемой функцией потерь (стоимости) c λ, λˆ , характеризующей потери изза отклонения оценки λ̂ от истинного значения параметра λ .

Вводится понятиет.н.среднегориска(условногориска,осредненногопоаприорномураспределению p pr  λ  ):R f  ξ 0k   R λˆ   r  λ , f  p pr  λ  dλ   c  λ , f  p  λ , ξ 0k  dλdξ 0k .λλ ,ξ 0k14(2.11)Решение λˆ  f   , минимизирующее средний риск (2.11), называетсяоптимальным байесовским решением относительно априорного распределенияp pr  λ  , а качество оценки определяется минимальным значением среднего(байесовского) риска.Можно показать (смотри, например, [1]), что минимум среднего рискаR λˆдостигается при том же значении оценкиλ̂ , что и минимумапостериорного риска:  R λˆ ξ 0k   c λ , λˆ p  λ ξ 0k  dλ  min.ˆλ(2.12)λТаким образом, байесовские оценки можно определять, оперируя апостериорным риском R λˆ ξ 0k , который определяется выбранной функцией потерь c λ, λˆ и АПВ p  λ ξ 0k  .В большинстве практических задач можно полагать, что потери зависяттолько от ошибки оценки параметров: c λ , λˆ  c  ε λ  , ε λ  λ  λˆ .Кроме того очень часто на практике используют симметричнуюотносительно ошибки функцию потерь.Часто рассматривают следующие типичные виды функций потерь:1.квадратичная функция потерь: c  ε λ   εTλ  ε λ  λ  λˆ2.простая функция потерь: c  ε λ   1    ε λ  ;3.модульная функция потерь: c  ε λ   ε λ  λ  λˆ .  λ  λˆ  ;TВсе три указанные функции потерь зависят только от ошибки ε λ исимметричны относительно последней.Можно показать, что при квадратичной функции потерь байесовскаяоценка является оптимальной по критерию минимума СКО и определяется черезматематическое ожидание АПВ:15λˆ кв   λp  λ ξ 0k  dλ .(2.13)λБайесовская оценка при модульной функции потерь определяется черезмедиану АПВ:λˆ мод p  λ ξ  dλ   p  λ ξ  dλ .k0(2.14)k0λˆ модДля простой функции потерь байесовская оценка определяется какмаксимум АПВ (критерий максимума АПВ):1λˆ пр  max p  λ ξ 0k  .λ(2.15)Именно с байесовской оценкой при простой функции потерь (по критериюмаксимума АПВ) тесно связаны т.н.

называемые максимально правдоподобныеоценки (или небайесовские оценки максимального правдоподобия). Этот типоценок относится к группе небайесовских оценок. Если абсолютный максимумАПВ в выражении (2.15) достигается внутри допустимой области измененияпараметра λ , то оценку можно находить из решения следующего уравнения:p  λ ξ 0k λ 0.(2.16)Учитывая, что функция логарифма является монотонно возрастающей (иследовательно не изменяет положение максимума функции), то уравнение (2.16)можно переписать в виде: ln  p  λ ξ 0k  λ 0.(2.17)Если воспользоваться выражением для АПВ (2.3), то уравнение (2.17)преобразуется к виду: ln  p ξ 0k λ   ln  p pr  λ   0.λλ(2.18)Во многих случаях (в частности, при широком равномерном априорномраспределениипараметра)выполняетсяприближенноенеравенство ln  p pr  λ   λ  0 и оценка по максимуму АПВ, как непосредственно следуетиз (2.18), совпадает с оценкой максимального правдоподобия, которая16определяется из следующего уравнения максимального правдоподобия: ln  p ξ 0k λ  0.λ(2.19)Доказано, что оценки постоянных параметров, принадлежащие к классумаксимально правдоподобных, обладают рядом общих, важных для практикисвойств – они асимптотически (при k   ) состоятельны и эффективны.При рассмотрении практических задач наиболее часто используют оценкипо минимуму СКО ошибки и по максимуму АПВ или максимуму функцииправдоподобия.

Хотя перечисленные оценки в общем случае различны, тем неменее, в асимптотике (при очень большом объеме выборки или при оченьдлительном наблюдении) априорные сведения утрачивают роль, и поэтомубайесовские оценки и оценки максимального правдоподобия асимптотическиэквивалентны.Минимаксный методДанный метод относится к группе небайесовских и используется в случае,если по каким-либо причинам могут возникнуть трудности задания априорногораспределения. В минимаксном методе минимизируется условный риск длясамого неблагоприятного случая, а именно находят минимаксное решение λˆ m изусловия:    max r  λ, λˆ  .minmax r λ , λˆˆλλ(2.20)mλСвязь минимаксных и байесовских оценок устанавливает следующийрезультат, установленный Вальдом. Минимаксное решение λˆ m при некоторыхслабыхограниченияхблагоприятногобайесовскийявляетсяаприорного(средний)риск.байесовскимраспределенияПриэтомотносительноp pr  λ  ,наименеемаксимизирующегоминимаксныйрискравняетсябайесовскому риску для p pr  λ  .

Очень часто таким наименее благоприятнымраспределением оказывается равномерное.17Минимаксный критерий дает оптимальное решение лишь для наихудшей(относительно λ ) ситуации и часто используется для разработки робастных(устойчивых) алгоритмов, которые малочувствительны к отклонениям отаприорных данных или другим возможным отклонениям от принятой исходноймодели.18.

Характеристики

Список файлов лекций