Левин Б.Р. Теоретические основы статистической радиотехники (3-е издание, 1989) (1141996), страница 72
Текст из файла (страница 72)
Среднее значение этой оценки т,(д„) = ) д (х) ~,„(д)й =д+Ь„(д). (14,32) хл Предположим, что интеграл в (14.32) можно дифференцировать по параметру д. Тогда, используя предположение о независимости пределов интегрирования от д, получаем 1+5 (д)= (д (х) д г„(д)йх= х. ) де(х) 1„(д) — !п Ь„(д) йх = т, (д„— !п ~.„(д)). (14.33) Кроме того, из очевидного равенства ) А„(д)1)х=1 дифференцихи рованнем по д находим — Е„(д) ох = ) — (!пЕ„(д)! Е,(д)ох =т, ( — 1п Е„(д)) = О.
„дд „„дд дд (14,34) Умножая (14.34) ~а т,(д ) и вычитая из (14.33), получаем 1+ 6„'(д) = т, ((д„— т, (д„)) — 1и Л„(д)), (14 35) Правая часть (14.35) представляет ковармацню двух случайных величин, имеющих нулевые средние. Как известно (см. п. 2.3.3), квадрат ковариации не может превосходить произведения дисперсий сомножителей, т. е. (1+ь'(д))а(„,(д„) „,( д 1п(.„(д) 1. Неотрицательная величина 1„(д) = р ( — !п 7.„(д)) = т, ( ~ — ~п (.„(д) ~ ) (14.37) называется информацией по Фишеру о параметре д, содержащейся в выборке х. Если функция правдоподобия дифференцируема дважды по параметру О, то нетрудно доказать, что 1.(О)= — т,1 д' 1пТ..(ОФ (14.38) Для однородной независимой выборки 1 (О) =п11(О), (14.39) где 11 (О) = рд ( 1п иу (х(О) ~ = ~~ — !и ы (х(О) ~ ее (х!О) бх.
(14.39а) до -дО Для дискретного распределения 1,(О) = ~, '( — 1пр(х,(О)~ р(х,!О). (14,39б) Из (14.36) находим искомую нижнюю границу дисперсии оценок (неравенство Рао — Крамера) р. (О.)>(1+ Ьв (О)Ю. (О). (14.40) Заметим, что правая часть неравенства (!4.40) являе1ся также нижней границей среднеквадратических отклонений оценок от оцениваемого параметра. Так как минимум величины и:.,((΄— — О)') достигается при т1(О„) =О, то и ((О„ — О)')ер (О„) ~(! !- Ь„' (О))'/1„ (О). (14.40а) Для песмещенных оценок ! 2 (Оа) ~~ 11!в (О).
(14.41) В этом случае нижней границей дисперсии оценок является величина, обратная информации по Фишеру. Величину [пи((Ов — О)')1п' принимают иногда за меру точности оценки. Правая часть неравенства (14.40) определяет потенциальную точность. Обратим внимание на то, что для смещенной оценки се точность определяется не дисперсией, а среднеквадратнческнм отклонением от оцениваемого параметра. Приведем тривиальный пример смещенной оценки с пулевой дисперсией. Пусть О„= =се=сапа! независимо от результатов наблюдение.
Тогда рз(Ов) =О. Но если только значение оцениваемого параметра не угадано или не было заранее известно, смещение Ь (О) =ею †будет велико. Нельзя, вообще говоря, сделать равными нулю и дисперсию, и смещение оценки. Поэтому нулевая дисперсия, которой соответствует Ь' (О) = — 1, исключается. 390 14.2.4. ЭфФективная оценка параметра.
В классе оценок с заданным смещением оценку Ь„,ф с наименьшей среднеквадратической ошибкой называют эффективной. Для любой оценки Ь указанного класса т, ((6. — 6)') ) т, ((б..ф — 6)'). (14,42а) В классе несмещенных оценок эффективной называют оценку с наименьшей дисперсией, т. е. удовлетворяющую неравенству рз ( и) ~ ~М2 (~н эф)' (14.426) Часто эффективность определяют из условия достижения нижней границы в неравенстве Рао — Крамера.
Для оценок с заданным смещением эффективная оценка удовлетворяет равенству т, ((Ь„,ф — д) ) = (1+ й' (6))~/1„(6). а для несмещенных оценок — равенству (14.43а) Нш (и (ь, (Ь„)) ) 111, (6). (14.44) Оценки, для которых имеет место равенство (14.44), называют асимптотически аффективными.
391 р2(бйоф) 1 и( )' (14,436) В тех случаях, когда минимальная дисперсия оценок совпадает с нижней границей Рао — Крамера, оба приведенных определения (14.42) и (14.43) эффективности совпадают. Однако для некоторых распределений ш(х~д) нижняя граница дисперсии оценок, указываемая неравенством Рао — Крамера, может оказаться слишком грубой, тогда второе определение эффективности дает не потенциальную реализуемую точность оценки, а меру качества нижней границы в неравенстве (14.41). Если в данной задаче минимальная достижимая дисперсия несмещенной оценки не равна (1 (д)1 ', то следовало бы отказаться от второго определения эффективности оценки и принять первое.
Все же для определенности можно условиться называть эффективными оценки, удовлетворяющие равенствам (14.43а илн 6), а в тех случаях, когда эти оценки не существуют, рассматривать оценки Ь*, с минимально возможной дисперсией (~или среднеквадратической ош~ибкой для смещенных оценок), удовлетворяющие равенствам '(14.42а или 6). Из (14.40) учитывая (14.38), находим для однородной независимой выборки пп2(б )~[1+с' (6))'/11(6).
Так как это неравенство имеет место для любых п, то для состоятельных (и, следовательно, асимптотическл несмещенных) оценок справедливо следующее предельное неравенство: 14.2.5. Общая структура эффективных оценок. Из (14.35) и (14.36) следует, что для эффективных оценок коэффициент корред ляции случайных величин 6„— ли(6 ) и — 1пЕ,(6) равен еди- до нице, т. е. 6„— т, (6„) = й (6) — 1п 1.„(6). Подставляя (14.45) в (14.35), находим й(д) [1+Ь и(6))(1 (6) Таким образом, эффективная оценка имеет следующую структуру: ! + ь„(д) д„,Ф = д+ Ь„(д) + — ' —" — 1П 7.„(д). !и(0) до Для несмещенных эффективных оценок д„,ф= д+ [ ~ 1п1,„(д)1 //„(6).
(! 4,47) дд' ! Заметим, что оценки вида (14.46) и (14.47) существуют не всегда, так как правые части их должны быть функциен только выборочных значений и не зависеть от д. Для этого функция правдоподобия должна принадлежать экспоненциальному ггмейству вида [см. (14.45)) (14. 45) (14,49) Ф"!=Ю вЂ” з б, д<ю=д„+е,д, Е„(6) =.
ехр [й, (6) 6„-; — й, (6)1 Ь (х). (14.48) Из (14.48) следует, что эффективные оценки являю.; я достаточными статистиками определенного вида. Но, конещ:о, пе любые достаточные оценки параметра являются эффектнвнымн. 14.2.6. Интервальные оценки.
Под интервалыюй окспкоп! параметра 6 понимают интервал, границы которого д'н', Ж"'„являются функциями выборочных значений (прнчем 6("'„"06'„) и который содержит с заданной вероятностью оцениваемьй параметр. Аналитически это можно записать в виде р [фн] 6, бы~[ у Вероятность у называется коэффициентом доверия, а оценка д~"'„и бм>„— соответственно нижним и верхним доверительными пределами. Интервал (д(ю, дм>„) называется доверительным. Длина доверительного интервала дм>„— био„является случайной величиной. Однако иногда доверительный интервал целесообразно определить следующим образом: где д„— точечная оценка параметра 6; аь аз — положительные числа. Тогда длина доверительного интервала постоянна и равна 392 (е1+ег)О. Для заданного у величины е1 и е, можно найти бесконечным числом способов.
Если К- (г) — плотность распределевл пия точечной оценки, то из Р(О(1 е2) (Ов(О(1+е1)) (14.50) получаем два соотношения для определения а~ и вм он — ал (р„. (г)Лг= у,, (14.50а) О в (р- (г)Йг= у„ (14.50б) где у,, у; — любые положительные числа, меньшие единицы, причем '1', "уз=! — у. Прн е~=е2=е формула (!4.50) определяет связь между коэффициентом доверия у, относительной длиной доверительного интервала 2е и размером выборки и в ~!ч-ю !Р- (г)г(г=у. (14.51) Ю (! — е~ Векторная оценка О= (Оь ..., О ) состоятельная, если состоятель- 393 Если задана величина е, то для состоятельных оценок коэффициент доверия будет возрастать по мере увеличения размера выборки, приближаясь к единице. При заданном размере выборки коэффициент доверия будет тем больше, чем больше и.
Иными словами, при заданном размере выборки невозможно повысить коэффициент доверия, не увеличивая относительной длины доверительного интервала. Возможны три вида задач, использующих интервальные оценки параметра. Для выборки заданного размера п строится точечная опенка О„, находится ее распределение К- (г) и для фиксиел рованпого е из (14.51) определяется коэффициент доверия у. При тех жс условиях можно по заданному у найти относительную длину доверительного интервала 2в. Наконец, можно задать и коэффициент доверия у, и относительную длину доверительного интервала 2е. Тогда из (14.51) последовательными приближениями находят размер выборки, для которой можно достигнуть одновременно заданных у и е.
!4.2.7. Оценивание векторного параметра. Теория оценивании обобщается на случай, когда плотность вероятности выборочных значений зависит от неизвестного векторного параметра О= (О„ ... ..., О ). По независимой выборке заданного размера х= (х,,... ..., х„) из распределения с плотностью ш(х!О) определяются гп статистик — функций выборочных значений (оценок), О, =де,(х), ! = 1, и. (14.52) ны все ее компоненты, и несмещенная, если несмещены все ее компоненты. Оценки >>>, ... „Π— совместно достаточные, если функцию правдоподобия выборки Е.(б) = 11Е.„(б) (14.53) Ь-> можно представить в виде произведения двух сомножителей (14.54) Е„(Ю) 1(В!б)1>(х).
Пусть б> — несмещенные оценки параметров >дч, 1=1,вь Рассмотрим при заданном п следующие средние по выборочному пространству: 1" />(4>) = и> 1 — !п Е„((>) — !п Е„(4>)(, 1, 1 = 1, и>. (14.55) л 1 дд> до ° Квадратная матрица ! размером л>хт, элементы которой равны 1 и>>(Ю), называется информационной матрицей Фишера. Как следует нз (14.55), информационная матрица Фишера является корреляционной матрицей совокупности зависимых случайных величин д " д — 1п Е„(Ю) = ~'„— ',1п е,„(й), 1= 1, л>, дд>' " „„дд>; причем средние значения этих величин равны нулю 1см. (14.34)). Элементы информационной матрицы можно выразить через ис- ходную плотность вероятности и>(х1т>) 1и >>(4>) =но>,( д 1пи>(х!5) — !п и>(х!О)~ =- Ьдо; дд> = л 1> ' ~> (6), 1, 1 = 1, т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
