Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 71
Текст из файла (страница 71)
14) и — — ги, ((х; — а)'+ (т* — а)о !=! оо — 2 (х! — а) (т', — а)) = — У ( о'+ —— л л — — ) =ао(! — — ). (14.!2) Поскольку смещение Ь„(о') = — о'/и, причем Ьл-+О прн и- со, то выборочная дисперсия — асимптовически несмещенная оценка дисперсии. Нетрудно устранить несмещенность при любом конечном размере выборки, выбирая в качестве оценки дисперсии статистику ео (х) = — р' = — ч (х; — т*)о л, ! (14, 13) л — 1 л — ! ! Статистику з'(х) иногда называют исправленной выборочной дисперсией.
14.1.5. Вычислительный метод Монте-Карло. Если х!, ..., х„— однородная независимая выборка из распределения с плотностью ое!(х), то согласно закону больших чисел — ~,' 1 (х;) — '- ) 1 (х) и!, (х) о(х, о=! —,Ю где ) (х) — заданная функция, т,(1'(х!))(ою, !=1, и.
Соотношение (14.14) используется для пр!иближенного вычисления интегралов (метод Монте-Карло илн метод статистического эксперимента). Пусть, например, необходимо вычислить интег! рал ) !" (х)!(х, который не выражается через элементарные функо ци!и. Если имеется таблица случайных чисел, распределенных равномерно на интервале (О, 1), то, извлекая !из этой таблицы выборку х!, ..., х„, можно приближенно оценить интеграл по формуле ! ! л ) ) (х) о(х ж — 2„1 (х!), (14.15а) о Так как такая оценка состоятельная, то для произвольных е)О и 0(а(1 всегда найдется такое число Л!(е, а), что при размере выборки и)У(е, а) ! и Р ~~ )1(х)!(х — — 2;1(х;):е = 1 — а.
!!о !=! (14.15б) 141.6. Оценка вектора средних и ковариацнонной к«<рицы. [1усть хь ..., х,, — независимые выборочные некто;ы я 4<-1< рного распределении, принадлежащего иепараметричеекому се«1 йству. Статистики (14.17) П Н<'1 = — ~ Х«, (14.16р л Ь1' я К' = — ~', (х„- п<1) (х„- и<',) ' л «=1 называют выборочным вектором средних и выборочной ковариационной матрицей соответственно.
Выборочный вектор средних <п*, представляет несмещенную состоятелы<ую оценку априорного вектора средних а. Выбор<и<пан козариационвая матрица К* — состоятельная оценка априорной ковариацнонной матрицы К, но эта оценка — смеш ьнзя, причем т1(К ) = (1 — 1/а) К. (14.17а) Несмещенной оценкой козарнационной матриц . К го<ляется ста-.
тистика [а/(и — 1)1К*. 14.1.7. Эмпирическая функция рзспр .ения. Рассмотрим 1.; ьзь однородь„о неяавнсимую яыигрку х= (х<, ..., х„) из ра.пределения Р<(х), принадлежащего непараметрическому семейству. Пусть х< >=(х<'1, ..., х<"1) — ее вариационный ряд (см. п.
13.8.3). Обозначим через т(х, х< 1) — число выборочных значений (порядковых статистик), не превосходящих заданного горога х. Статистику 1с<(Х, Х<'1)- ' — = — — ~ и(Х вЂ” ХЫ1), л<(х, я< ') < ч (14.18) и л где и(г) — функция единичного скачка, называют змлирической <рункцией распределения. Она представляет статистический аналог функции распределения г<(х), но для каждого фиксированного значения х является случайной величиной. На рис. 14.! изображена одна из возможных реализаций статистики (14.18). Эмпирическую функцию распределения г"*1(х, х< '1) можно принять за непараметрнческую оценку Р< (х, х< 1) функции рас- Рис.
<4ЛН Эмпирическая фуик. ция распределения 13 — 87 к<п в пределения Р>(х), из которой извлечена выборка х. Максимальная ошибка оцениваиия А„=шах (Р< (х, к'>) — Р,(х)(. л (14.19) Случайная величина Ь„ сходится при л-+.со по вероятности к нулю в каждой точке непрерывности функции распределения Р<(х). В этом смысле статистика Р<(х, х<>)=Р*>(х, х<>) является состоятельной оценкой функции распределения Р> (х). 14.1.8.
Непараметрнчекне оценки плотности вероятности. Дифференцируя формально обе части формулы (14.18) по х, получаем оценку плотности вероятности н><(х, х''>) = — ~', б(х — х<ы), л < (14.20) Функция (14.20) обращается в бесконечность при х=х<"> и равна нулю при остальных значениях аргумента х. Из (14.20) заменой дельта-функции ссглаженными» функциями получаем оценку плотности в виде л Г, .«> 1 й>, (х, х< >) = — 2;. К ~ —.И(.), ~ И(.) (14.21) где К(г) — произвольная весовая функция, которая должна удов- летворять следующим ограничениям: О ( К (х) ( ео, )" К (г) <(г = 1. (14.22а) Если, кроме того, 10п хК(г)=0, <ю <-~ао 11ш Ь (л) = О, (14.22б) (14.22в) то оценка (14.21) сходится к и><(х) в среднеквадратическом, если функция а<<(х) непрерывна в точке х.
Указанным условиям удовлетворяет, например, функция К(г) =- е><р ( —— (14.23) ~/2л <, 2 / Оценка (14.21) обобщается на многомерный случай. Пусть к<, ..., кл — независимая векторная выборка, принадлежащая многомерному распределению с плотностью н»т(х). Для оценки втой плотности можно использовать следующую статистику; ><< — и <*, „..., „>=~ пь<>) х (нх(*' *" )).
<14л4> И< (л) где хп — 1-й влемент выборочного вектора к>, 1=1, и, принадле- 388 (14,26) жащего распределению вл(х). Если функция К(г) удовлетворяет условиям (!4.22а — в) и, кроме того, 1йп Пй,(л) = О, л-+а ~л йй,()= (14.25б) В 4=! то 11гпт,()вк(х, х„.', х„)-ва(х)!') = О, л-к если функция вк(х) непрерывная в точке х. 14.2. ОЦЕНИВАНИЕ В УСЛОВИЯХ ПАРАМЕТРИЧЕСКОЙ АПРИОРНОЙ НЕОПРЕДЕЛЕННОСТИ 14.2.1.
Постановка задачи и априорные данные. Рассмотрим сначала задачу оценивания скалярного параметра. Имеется однородная независимая выборка х= (хь ..., х ), принадлежащая распределению с плотностью в(к~О), О~В, где 6 — интервал на действительной оси (в дальнейшем без потери общности полагаем, что параметр О может принимать любые действительные значения). Если параметр О случайный, то необходимо задать его плотность вероятности в(О), ОенО, а также функцию потерь П(О, О) )О. В зависимости от полноты априорных данных используется один из критериев качества, указанных в $12.3, для синтеза оптимального одношагового дискретно-аналогового алгоритма оценлвания у=О(х), уенГ, неизвестного параметра О распределения, где à — множество допустимых оценок.
В качестве условий, ограничивающих множество Г, могут быть выдвинуты такие естественные требования, как состоятельность и несмещенность оценок 1см. (12.35) и (14.1)1. Желаемым свойством оценки является также эффективность (см. и. 12.5.3), но регулярных методов синтеза эффективных оценок не существует. В некоторых случаях можно лишь проверить, является ли эффективной синтезированная по заданному критерию оптимальная оценка параметра О.
(см. далее п. 14.2.3). 14.2.2. Достаточная оценка. Оценка О„(х) называется достаточной оценкой параметра О, если условная плотность Я7„(хь .. ..., х ~О) не зависит от О. Из этого определения следует, что достаточная оценка содержит всю информацию о неизвестном параметре О, которую можно получить при наблюдениях хь ..., х . Инымн словами, для оценки параметра О необходимо знать не каждый элемент наблюдаемой выборки х отдельно, а лишь одну функцию выборочных значений — достаточную оценку (достаточную статистику). 13* 38Г .Приведенное определение не дает, однако, простого признака достаточной оценки, так как вычисление условной плотности (х(О ) может оказаться весьма трудоемким.
Очень простым и удобным для практического использования является признак факторизации функции правдоподобия выборки. Он состоит в воз.можности представления функции правдоподобия в виде произведения двух неотрицательных сомножителей Д7 (х(О) =1(О ~О)6(х), (14.27) первый ~из которых зависит от достаточной статистики и оцениваемого параметра О, а второй — не зависит от О. Возможность представления (14.27) является необходимым и достаточным условием того, что О„(х) — достаточная оценка параметра О (доагазательство см., например, в 1431, 5 12.2).
Пусть О0 — какое-нибудь фиксированное значение О. Тогда ютношение правдоподобия 1(х!О) = )Р„(х!О)!(Г (х(О0) (14.26) жредставляет достаточную статистику, так как (р„(х!О) =1(х(О) Х ,Хйг„(х(ба), что соответствует пр~изнаку факторизации (14.27). Заметим также, что если ΄— достаточная оценка параметра Ф, то достаточной оценкой ф(О) будет ф(О„). Если Π— достаточная оценка случайного параметра О, то апостериорное распределение йг(б~х) зависит не от самих выборочных значений, а только от О„(х). Действительно, подставляя выражение для функция правдоподобия из (14.27) в формулу Зайеса (!2.16), получаем й,(О)„) (б) / (О.(О) 00 ) а' (б) 7 (Ол16) 4И ЦУ(О!Х) =(Г/1О~О (х)1. (14.29) 14.2.3, Неравенство Рао — Крамера.
Существует неравенство, е помощью которого можно определить нижнюю границу средне- ,квадратических ошибок при использовании любых оценок пара:метра. Предположим, что границы области действительной осн, тде плотность распределения и(х(О) отлична от нуля, не зависят от О. Это условие выполняется, например, если и(х(О) эь0 на всей действительной оси или для х)0. Примером распределения, которое не удовлетворяет этому условию, является равномерное (см.
задачу 14.1). Предположим, кроме того, что функция ю(х~б) лифференцируема по параметру О. З88 Введем новое обозначение. 7.„(д) =И7(х~д) =)Р„(хь ..., х (д), (14.30) чтобы подчеркнуть зависимость функциями правдоподобия от неизвестного параметра д. Для независимой выборки 1п7*(д) = Х 1п ~'„(д), а=1 (14. 31) где (- ь (д) =ш(х1 !д). (14.36) 389 Пусть д =уе (х) — некоторая оценка параметра д.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
