Л.Н. Фадеева, А.В. Лебедев - Теория вероятностей и математическая статистика (1115296), страница 32
Текст из файла (страница 32)
Предпочтительней те оценки, дисперсия которых меньше, а наилучшей оценкой является это Глава ы та, чья дисперсия минимальна. Получая ту или иную оценку, нужно иметь возможность определить, обладает ли она минимальной дисперсией из всех возможных. С этой целью вводится понятие эффективности оценки и используется неравенство Рао — Фреше — Крамера. Информацией Фишера о неизвестном параметре О, содержащейся в одном из независимых наблюдений случайной величины Г, называется величина 1(0) М д)яр(~ О)1 де где в качестве р(х, 0) берется либо плотность в точке х (для непрерывных случайных величин), либо вероятность принять значение х (для дискретных случайных величин).
Доказательство. Пусть 0„ — несмещенная оценка параметра О, т.е. (15.1) ме„= ~ е„(х)/(х о)дх= о, где Х = (х„х„..., х„) и р(Х, О) — плотность распределения, так что 211 )Р Теорема 4 (Рао — Фреше-Крамера). Пусть плотность р(х, О) удовлетворяет следующим условиям регулярности: 1) область 0„= (х: р(х,е) > О/ возможных значений случайной величины, где плотность отлична от нуля, не зависит от О; 2) в тождествах ) хр(х,е)дх - =МГ и / р(х,е)ах -=1 допустимо динреренцирование по О под знаком интеграла; 3) информация Фишера 1(0) конечна и положительна. Тогда для произвольной несмещенной оценки О„выполняется неравенство (Рао — Фреше — Крамера) 1)Е„> " п1(Е) ' ЧАСТЬ ! Ь Математическая статистика 4 Дифференцируя по 0 равенства (15.1) и (15.2), получим ~ 0„(х) дР(Х,Е),(х = 1 ° ~Ф(Х') 1х= о.
де де Умножим второе равенство на 0 и вычтем его из первого: 1= ~ (е (х) — е) дР(х'0) 1х де (15.3) По условию на множестве б„плотность р(Х, О) > О, поэтому др(Х, О) д1п р(Х, О) можно записать, что ' = * )т(х,е) . де де Подставим полученное выражение в равенство (15.3) и, используя неравенство Коши — Буняковского, находим 1=1 ((е„(х)-0) д(л р(х, е) р(х, е)дх)' < де <1~(е„(х)-0)'р(х,е)дх).[ ~!~~ "(~ ~)1'Их,е)дх1, ( д 1п р(Х, О) Учитывая независимость и одинаковый закон распределения наблюдений х„х„..., х„, можно записать, что д!п~(х,е) т д!пД(х„е))т де де Подставляя это выражение в последнее неравенство, окон- 1 чательно получаем утверждение теоремы: Ю 0„> п1(0) Теорема верна и в дискретном случае, если в условии 2 заменить интегралы на суммы (по всем возможным значениям случайной величины). Заметим, что информацию Фишера можно также представить в виде ~(0) 13 д)л М4, 0)~ ,(0) ,(д'1л д(~, О) эта Глава м (~) Обозначим правую часть неравенства Рао — Фреше — Крамера 1 через д„= —.
Эта величина является нижней гранью всех 1(О) возможных дисперсий оценок параметра О (возможно, недостижимой). Эффективностью (по Рао — Фреше — Крамеру) несмещенной оценки О„называется Л 1 е(0„)= —." = .ОО„И(0)210„ Отсюда следует, что эффективность любой несмещенной оценки удовлетворяет неравенству 0 < е(0„) < 1, и чем ближе она к единице, тем лучше оценка. Несмещенная оценка О„называется эффективной, если е(0„) =1. Асимвтотической эффективностью оценки называется предел е,(0) = 1ппе(О„), л-~ ~ если он существует. Оценку называют асимитотически эффективной, если е,(0) = 1.
Кроме того, для асимптотически нормальных оценок понятие асимптотической эффективности иногда трактуется более широко. А именно, для асимптотически нормальной оценки 0„— +)У(О,о'/н) при п -+ в полагают 1 ев(0) = Задача 4. Доказать, что выборочное среднее является эффективной оценкой математического ожидания нормального распределения, когда дисперсия известна. Решение. Выпишем функцию плотности для нормального распределения: о-а) Р(х, а) = — е о /2в аз ЧАСТЬ П. Математическая статистика Прологарифмировав ее, получим 1п р(х, а) = 1п 1 (х-а)' о /2х 2о' при этом производная будет равна д1пр(х,а) 2(х-а) х-а !'д1пр(х,а)1 (х-а)' да 2от от ' ( да ! о4 Отсюда найдем информацию Фишера 1(а)=М~ ' ~ = —,М(х-а) = —,.
(д1пр(Р„а)) 1, 1 да 1' о' о' Получаем значение Л„=о'/и. С другой стороны, Юх =о'/л, так что ЮхмЛ„. Таким образом, оценка является эффективной. Из доказанного следует, что чем больше дисперсия нормальной случайной величины, тем меньше информации о значении среднего этой величины заключено в одном наблюдении. Задача 5. Доказать, что относительная частота успеха в качестве оценки неизвестной вероятности О в схеме Бернулли является эффективной оценкой. Решение. Оценкой неизвестной вероятности является отно- В сительная частота успеха О=-~" хт, где хт — успех (1) или не- ат1 удача (О) в 1-м испытании.
Покажем, что оценка несмещенная: ! т МО= — М(х, +х, +...+х )= — т Мх. = Мс = О. л " пм, Дисперсия имеет вид Найдем информацию Фишера, причем в данном случае наблюдаемая величина принимает всего два значения: 0 и 1 с вероятностями Р(0; О) = 1 — О и Р(1; О) = О. Глава и (~1 г . в? д1пР(0;О)' д!пР(1;О)' — (1-0)+ — О= 1 Таким образом, е(О„) = .
=1. п1(0) 2)(6„) Задача б. Пусть выборка х„х„..., х„произведена из генеральной совокупности с равномерным распределением на ини+1 тервале (О; О). Проверить на эффективность оценку О = — х для неизвестного параметра 6. Решение. Функция распределения Р (х) максимумах задается формулой ?и Р' (х)=Р(х <х)=Р(х, <х,...,х„<х)=Р(х, <х)...Р(х„<х)= — ~ (ЕЗ на отрезке 0 ~ х ~0.
Отсюда получаем и+1'~ х" ' МО = — ) их — в(х = 6. п," О" Значит, оценка О несмещенная. Найдем дисперсию этой оценки: ) п+1) л ? х (и+1) и ), 0" п(п+2) 2)0 = МО' -(МО)' = и(и+ 2) 1 Видно, что дисперсия оценки О„при и -в в убывает как —. и? ' Такая оценка оказалась лучше эффективной, поскольку дисперсия эффективной оценки имеет порядок убывания только 1 —. Разгадка парадокса в том, что для данного семейства распределений не выполнены условия теоремы Рао — Фреше— Крамера. А именно, область значений случайной величины зависит от параметра О. Подобные оценки называют сверкэффективиыми. з?з ЧАСТЬ !!.
Математическая статистика 4в 5 з1.Б. Оценка математического ожидания по нерааноточным наблюдениям Ранее предполагалось, что все наблюдения равноточны, т.е. имеют одинаковую дисперсию (и среднее квадратическое отклонение). Однако на практике встречаются и ситуации неравноточных наблюдений. А именно, пусть выполнено и надо найти наилучшую (в каком-то смысле) оценку для а. Классом линейных иесмещенных оценок параметра В называ- ется класс оценок вида В„= с,х, + с,х,+ ...
+ ср„, для которых мв„=в. Числовые коэффициенты см с„... с„называются весами наблюдений. Из требования несмешенности оценки следует, что должно выполняться равенство с, + с,+ ... + с„= 1. Чтобы получить эффективную оценку (в классе линейных несмещенных оценок), надо минимизировать дисперсию ра. = с,'о', + с,'о, '+ ... + с„'о„'. Действительно, из требования несмешенности оценки 6 Л Ма. =Мх~,с,х, =~с!(Мх,.)=а, 'с, =а г=! получаем, что оценка будет несмещенной, если ) с, =1. ! ! По определению, оценка будет эффективной, если она имеет минимальную дисперсию. Коэффициенты с, .надо определить так, чтобы дисперсия была минимальна, но при условии, и что Ч ~с,.
=1. Вычислим дисперсиюРа,: 1=! ра„= р~ сх = ~~> с,. (Ох,.) поскольку случайные величины х, независимы и дисперсия суммы равна сумме дисперсий. Задача свелась к нахождению таких коэффициентов си при и которых функция г"(с)=~ с,.'о,'. имеет минимум при условии и ~=! я(с)=~ с!-1=0. Это задача на условный экстремум.
Функция !=! аеб Глава и Лагранжа имеет вид .Цс) = /(с) — Хд(с). Для определения ко- эффициентов приравниваем к нулю производные: — =2с.а. -1=О, 1 д ! Х Св= 1, 2а,'. дь /' в — =-е(с)=-~~с, -1 =О; дл. ~с, =1; с!— 2а' Х=2 ~ —, Из этих условий получаем значения для коэффициентов / в с, =а72/ ч ~а,1. Таким образом, веса наблюдений должны быть 7=! обратно пропорциональны их дисперсиям (менее точные наблюдения, имеющие большую дисперсию, входят с меньшим весом, более точные — с большим). В результате эффективной оценкой математического ожидания оказывается средневзвешенное значение, имеющее вид Если дисперсии всех наблюдений равны (т.е.
наблюдения в равноточные), то с,. = 1/и для любого / = 1, 2, ..., и и а. =-~ х,, и лл т.е. среднее арифметическое выборки является эффективной оценкой математического ожидания в классе линейных несмешенных оценок (при любом распределении, имеющем конечные математическое ожидание и дисперсию). 217 в ! ~ —,х, ;,а, а„= в Х— ;,о; / в с дисперсией, равной Ра„ =!/'ч ~а,'. / ! х с,. = —, 2а,'. 1 2 ..!а' ЧАСТЬ П. Математическая статистика Задачи для самостоятельного решения теоретические задачи ъ Доказать состоятельность выборочного коэффициента вариации (в случае ти» т о), выборочных коэффициентов асимметрии и эксцесса. з.
Пустьхи хи ...,х„, уи уи ..., у — случайные выборки объема и и лт из нормально распределенной генеральной совокупности ту(а, от) с исправленными выборочными дисперсиями з„', з'. Доказать, что зт (( )) т+( )) 2) я+пт-2 является несмещенной оценкой параметра а*.
ч. Вывести формулы, связывающие третий и четвертый центральные моменты с начальными моментами. Построить соответствующие формулы для выборочных моментов и доказать их состоятельность. д. Доказать, что если Дте„-+8 и РВ„-+0, то 8„— состоятельная оценка параметра 8. ч. В случае и независимых наблюдений хи хн ..., х„за показательно распределенной случайной величиной» с заданной функцией плотности в г(х,е) = 8' О, х<0, доказать, что выборочное среднее является эффективной оценкой параметра 8. б.
Доказать, что выборочное среднее является эффективной оценл' кой параметра я, в распределении Пуассона: Р(»= тс) = — е тс! 7. Доказать, что эмпирическая функция распределения Г„(х) является эффективной оценкой теоретической функции распределения Е(х) при каждом х. 8. Пусть Е(х) = е", х < 8. Построить несмещенную оценку на основе х и доказать ее сверхзффекгивность. Глава и 9, Пусть Ях) (т/0)в, о <х<, (» о. При известном значении (> построить несмещенную оценку 0 на основе х н доказать ее сверх- эффективность.
1о. В случае распределения Парето О, х<0, Г(х) = )-(хУВ)-', х>0 оценивается параметр О. Проверить эффективность оценки х . Вычислительные задачи ы. Из генеральной совокупности извлечена выборка объема и бо. Найти выборочное среднее. 12. Найти направленную выборочную дисперсию по выборке объема и = 50 1З. В итоге четырех измерений некоторой величины одним прибором (без систематических ошибок) получены следующие результаты: 8, 9, 11, 12. Найти: а) выборочное среднее результатов измерений; б) смещенную и исправленную выборочные дисперсии ошибок прибора. тг>. С помощью измерительного прибора, не имеющего систематической ошибки, было сделано 8 независимых измерений некоторой величины.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
