В.И.Тихонов Статистическая радиотехника (2-е издание, 1982) (1092037), страница 86
Текст из файла (страница 86)
Пусть р (х1Л) есть совместная плотность вероятности выборочных значений х = (х„х„..., х„). Запишем очевидное равенство р (х!Л) дх = 1, где интегрирование должно выполняться по всему <выборочному пространству», т. е. набору всех возможных точек х. Допустим, что пределы интегрирования не зависят от Л и выполняются известные условия регулярности, позволяющие поменять местами порядок интегрирования и дифференцирования.
Дифференцируя написанное равенство по Л, имеем Вычтя отсюда (17), можем написать [Л вЂ” ф(Л)1 "е(х[ ) р(х[Л)ах= "( ) . (4.3.19) дЛ дЛ Применив к этому выражению неравенство Шварца — Буняковского (П-8), имеем ~ (Л вЂ” ф(Л)) р(х[Л)ах~~ ~] р(х[Л)е[х)~ ~ ) ], (4320) Здесь знак равенства имеет место лишь при условии д !п р(х[Л)/дЛ = й (Л) [Л вЂ” ф (Л)1, (4.3.21) где й (Л) не зависит от х и Л, но может зависеть от Л.
Заметим, что Р„= й4 ([Л вЂ” и (Л))') = И ЦЛ вЂ” ф (Л))х). Поэтому из (20) получаем [Ьр (Л) 7дЛ)х (4.3.22) М([д !и р (х [ Л)!дЛ)х) Это и есть нижняя граница Рао — Крамера для дисперсии оценки. Другая форма неравенства Рао — Крамера получается в результате замены щ([ д 1пр(х[Лф= — М ( — 1пр(х[Л)) (4223) Это равенство получается дифференцированием выражения (15) по Л и при использовании соотношения (1Й). Если математическое ожидание оценки имеет вид й1 (Л) = Л + Л (Л), где Л (Л) — смещение оценки, то числитель в правой части неравенства (22) будет равен [1 + сй (Л) / с0)х.
Следовательно, для несмещенной оценки неравенство Рао — Крамера имеет вид Р~ ) — (4.3.24) М(~ — 1пр(х[Л)~ ~ М( —,1пр(х[Л)~ Несмещенная оценка, имеющая нижнюю граничную дисперсию, называется эффективной. Эффективностью оценки параметра называется отношение дисперсии эффективной оценки к дисперсии рассматриваемой оценки. Эффективная оценка не всегда существует. Если эффективная оценка существует, то она'является достаточной статистикой. Если же эффективная оценка не существует, достаточная статистика может существовать. Поэтому требование достаточности оценки оказывается менее ограничительным и жестким, чем требование эффективности. 440 (4.3.28) (4.3.32) 441 Если выборочные значения х„х„..., х„случайной величины$, имеющей плотность вероятности Р(х!Х), независимы в совокупности, то и И р(х!Х)= П р(х!)Х), 1пР(х(Х)= ~', 1пР(х,)Л). 1=1 Р=! При этом неравенство Рао — Крамера (24) для дисперсии несмещенной оценки параметра по независимой выборке объема п примет вид (.); Ъ вЂ” [М ~[ — 1п р(х) ЛЦ = — — [М [ — 1п р (х)Л))~, (4.3.25) где для непрерывной случайной величины $ М([ — 1пр(х(Х)~ ~= ~ [ — 1пр(х(Л)~ р(х(Х)!(х, (4.3.26) а для дискретной случайной величины МЯ[ дЛ 1пР(х)Л)~ ) ~ [ — 1пР(х;!Л)~ Р!х!(Х).
(4.3.22) !=в Если вместо оценки самого параметра Л интересоваться оценкой ~ функции от этого параметра 7 (Х), то граница Рао — Крамера для не- смещенной оценки )". имеет вид (д) (Л) (дХ)' м ( [ — 1п р (х ! Х)~ ~ Используя выражение (24) для минимальной дисперсии оценки самого параметра Х, получим В; ) Щ (Л)/!(Х)з П~. (4.3.29) Здесь знак равенства имеет место при условии — 1п р (х ( Х) = д (Л) 1(е — )". (ХИ, дЛ (4.3.30) где )" есть оценка 7" (Х) и функция д (Х) не зависит от наблюдений, но может зависеть от Х.
Если условие (30) выполняется, то знаменатель в правой части не- равенства (28) можно представить в виде МД вЂ” 1пР(х(Л)~ ~=д'(Л) РР. (4.3.31) Подставив (31) в (28), получим !(! (Л) 1 7)- = — ° дХ д (Х) Приведем без доказательства неравенство Рао — Крамера для корреляционной матрицы ошибок несмещенных совместных оценок нескольких параметров Л= (Л„Л„.„, Л,). В данном случае плотность вероятности вйборки будет зависеть от этих параметров: р (х 1Л) = р(х„ х... х.~Л„Л...., Л,). Пусть, К~ — корреляционная матрица ошибок несмещенных оценок, составленная из элементов )7м=М((Л; — ЛД(Л; — Л1)), 1,1=1,2„...
з; (4.3,33) ,1 — так называемая информационнал матрица Фишера с элементами М)д!пр(х1Л) д!пр(х~1) ) (д'1пр(х~ Л) ~ дЛ; дЛ; ) ( дЦ дЛ1 Неравенство Рао — Крамера для нижней границы корреляционной матрицы ошибок несмещенных оценок имеет вид 1(-) Я (4.3.35) где 1 ' — матрица, обратная 3. Если в этой формуле имеет место знак равенства, то оценки называются совместно эффективными. Условием совместно эффективных оценок является выполнение равенства Л; — Л = ~ ум (Л) — 1п р (х ~ Л), (4.3.35) дЛ1 где функции д11 (Л) не зависят от наблюдений и, следовательно, от Л.
Применительно к оценке двух параметров Л, и Л„ считая оценки совместно эффективными, из (35) с учетом (33) и (34) получаем де1 1 ( де М ~ — 1п р (х ! Л) ) 1 — ~~ Л ~ дЛд де( 3 1 де М ~ — 1и р (х ! Л)) 1 — гзЛ,Л ~ дЛ~~ Я„=-)7ме е(Л„Ле)3/ )Лс 71с =,7„(бе13. Здесь г (Л„Л,) = 7„!(7„.7ех)ы' — нормированная взаимная корреля2 ция между оценками Л, и Л,; Йе1,1 = (7,п7„†.7~э) — детерминант матрицы 1.
Из сравнения первых двух формул (37) с формулой (24) следует, что первый сомиожитель в правой части (37) совпадает с дисперсией эффективной оценки одного параметра. Поскольку 0 ( г' (Л„ Л,) ( 1, то ясно, что наличие конечной корреляции между оценками всегда приводит к увеличению дисперсии совместно эффективных оценок (по сравнению с дисперсией эффективной оценки одного параметра). Нетрудно убедиться 1159), что для независимой выборки объема п формулы (37) с учетом (34) примут вид 442 Рй =-~пМ Я~ — !и р(х(Л)1 Ц, (1 — г'(Л, Лз)1 Р-, =пМ(~ — 1пр(х(Л)Ц, (1 — »з(Лг, Лз)) ', (4.3.38) М (Л„Лз)— д!пр(х)Л) д1пр(х)Л) ~ дЛ! дхз (М ( ~ — 1п р (х ) Л)1 ~ М ~~ — 1п р (х ( Л) ~ И Если М( д1п р (х)Л) д1пр(х(Х) ~ дЛх дхз (4.3.39) то рассматриваемые две оценки будут некоррелированнеиии.
Дисперсии оценок являются важнейшими характеристиками качества оценок и во многих практических задачах ограничиваются лишь вычислением и указанием их. Однако в математической статистике применяются и другие характеристики оценок, а именно, точность оценки принято определять величиной доверительного интервала, а соответствующую этой точности надежность определяют доверительной вероятностью (с. 447). т" =(1/п) ~~ 1=1 (4.3АО) а В*=и =(1!л) р~ (х; — т')з. (4.3.41) 1=! Аналогичные выражения можно записать для оценок начальных и центральных моментов, приняв за них выборочные значения"> в И т = (1!а) ~~ х!, р» — †(1/и) ~~ (х! — т')Е. !=! !=! При вычислении выборочного среднего и выборочной дисперсии по группированным данным пользу!отса формулами Г Г т*= пл и»= ~~~ олог, (4.3.
43) и .ам »=1 »=! (4.3.42) "! При статистической оценке центральных моментов можно рассматривать дза случая: 1) математическое ожидание т! неизвестно и в качестве него принимается т" и 2) т, точно известно. Во втором случае в выражения для центральных моментов и ~» нужно подставить т! вместо т!. 443 Пример 4.3.1. Оценки моментов случайной величины.
Получим оценки моментов случайной величины $. Начнем с математического ожидания т! и дисперсии 11 = — из. Один из возможных и естественных способов получения оценок этих величин !!а основе а независимых измерений случайной величины $ заключается в том, что в качестве статистических оценок т! и В берутся соответственна выборочное среднее значение т," и выборочная дисперсия В", определяемые равенствами 1 чз 1!ш Р— ~ $! — тд <з =1. д=! Это значит, что оценка тд является состоятельной. Математическое ожидание выборочного среднего равно М( *,)= — М~~ й!) = — ~ М(й!)=т,. д=! (4.3. 45) Следовательно„оценка тд является несмещенной. Пользуясь свойствамй математического ожидания и учитывая независимость случайных величин й! и $ при ! ьл 1, находим дисперсию оценки математического ожидания з 1з л В .
=М вЂ” 1 ($! — тд) = и з ~, М (($! — тд)з)= —. (4.3.45) !=! д= ! Дисперсия оценки математического ожидания уменьшается обратно пропорционально объему выборки. Найдем математическое ожидание выборочной дисперсии, для чего предварительно представим сумму в правой части (41) иначе: и П л (х! — т')з = ~к~~~ [(х! — тд) — (т* — тд))з = ~ (х; — тд)з— д=! ' д=! д=! — 2(т' — тд) ~~',(х; — тд) + ~ (т* — тд)з= ~~ (х! — тд)'— д'=1 ;=! д=! — 2п (т' — тд)з+и (т" — тд)з = ~~', (х! — тд)д — и (т' — тд)з.
д 1 д=! По определению дисперсии имеем М ((з! — т,)') = В. Учитывая, что центри- рованные случайные величины (Ь! — тд) и (Ку — т,) при д ф ! предполагаются независимыми, получаем МГ(т т,)г)=~ — ~ М ч~ (Хг т,)з =— 444 г г 1 О'= — д аз пь — (т')з= ~' азата — (т*)з, (4.3.44) А=! а=! где г — число интервалов группировки; аь — середины интервалов. Если данные сгруппированы по крупным интервалам, то подсчет дает слишком грубые резуль, таты, и в таких случаях полезно прибегать к специальным поправкам иа группировку [8, 159). На основании центральной предельной теоремы и формулы (42) можно прийти к заключению, что как начальные статистические моменты тз, так и центральные рз распределены асимптотически (при п — д со) нормально; совместные распределения нескольких моментов (начальных илн центральных) оказываются также совместно нормальными [8).
Рассмотрим некоторые характеристики оценок математического ожидания и дисперсии, определяемых формулами (40) и (41). Интерпретируя в этих формулах х! как отдельные экземпляры случайной величины К, согласно закону больших чисел (!.3.39) имеем Поэтому э 1 п — 1 М (Р*)= — М ~ ~>' (с! — и')з) = Р. (4.3.47) !т=! Следовательно, если за оценку днсверсии Р принять величину Р*, определенную формулой (41), то оценка окажется смещенной*. Из (47) следует, что несмещенную оценку дисперсии Р можно получить, вычисляя несколько отличную от (41) выборочную дисперсию и и 1 Р*= Р*= Х (х; — т')з. и — 1 — 1 1=1 (4.3.48)' Эта оценка является несмещенной и, как можно показать, удовлетворяет условиям состоятельности н эффективности. При большом объеме выборки и практически безразлично, по хакой из формул (41) или (48) вычислять дисперсию.
Однако прн малом и следует пользоваться формулой (48). Можно показать, что дисперсия оценки (4!) определяется выражением р„— рз 2 (р,— 2р,*) р,— Зр, и л пз (4.3.49) Очевидно, что дисперсия несмещенной оценки (48) равна Р-, =-пз Рп, )(и — !) . (4.3.50) Для нормально распределенной случайной величины ра = Зрз =- ЗР' и, следовательно, а М (т~) = — ~~~ М ( $, ) =пц„ причем дисперсии этих оценок равны Д == — ~ Р а = — ~~ а[М ( $~~ ) — (М ( ~» ))~~ =(шза — т~~)/п. (4.3.53) *Если математическое ожидание тг точно известно, то статистическая оценка дисперсии (41) будет несмещенной. 445 2 (и — 1) 2 (4.3.51) Укажем некоторые дополнительные свойства оценок математического ожидания (40) и дисперсии (41). Можно доказать, что для любого симметричного распределения эти оценки не коррелнрованы и, следовательно, для независимой выборки из нормальной совокупности они независимы.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
