Н.И. Чернова - Математическая статистика (1115306), страница 8

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 8)

Рассмотрим равномерное распределение U0,θс параметром θ > 0. Выпишем при n = 1 какой-нибудь интеграл и сравним производную от него и интеграл от производной: скажем, для T (X1 ) = 1∂∂Eθ T (X1 ) =∂θ∂θZθ1∂dy =1 = 0;θ∂θ0Zθ1∂ 1dy = − 6= 0.∂θ θθ0Заметим, что и само утверждение неравенства Рао — Крамера для данного семейства распределений не выполнено: найдется оценка, дисперсия которой ведет себякак 1/n2 , а не как 1/n в неравенстве Рао — Крамера.35Упражнение.

Проверить, что в качестве этой «выдающейся» из неравенства Рао —Крамера оценки можно брать, скажем, смещенную оценку X(n) или несмещенную оценn+1куX(n) ∈ K0 .n4.4. Неравенство Рао — Крамера и эффективность оценокСформулируем очевидное следствие из неравенства Рао — Крамера.Следствие 1.Если семейство распределений Fθ удовлетворяет условиям регулярности (R) и (RR), и оценка θ∗ ∈ Kb(θ) такова, что в неравенстве Рао —Крамера достигается равенство:Eθ (θ∗ − θ)2 =(1 + b 0 (θ))2(1 + b 0 (θ))2+ b2 (θ) или Dθ θ∗ =,nI(θ)nI(θ)то оценка θ∗ эффективна в классе Kb(θ) .Оценку, для которой в неравенстве Рао — Крамера достигается равенство, иногданазывают R-эффективной оценкой. Следствие 1 можно сформулировать так: еслиоценка R-эффективна, то она эффективна в соответствующем классе.Пример 18. Для выборки X1 , .

. . , Xn из распределения Бернулли Bp несмещеннаяоценка p∗ = X эффективна, так как для нее достигается равенство в неравенстве Рао —Крамера (см. [3], пример 13.20, с. 67).Пример 19. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ IR, σ > 0. Проверим, является ли оценка a∗ = X ∈ K0 эффективной(см. также [3], пример 13.6, с. 64).Найдем информацию Фишера относительно параметра a (считая, что имеется одиннеизвестный параметр — a).!(X1 − a)2,f(a,σ2 ) (X1 ) = √exp −2σ22πσ2(X1 − a)2,ln f(a,σ2 ) (X1 ) = − ln(2πσ2 )1/2 −2σ2∂(X1 − a)ln f(a,σ2 ) (X1 ) =,∂aσ22D(a,σ2 ) X1E(a,σ2 ) (X1 − a)2∂1I(a) = E(a,σ2 )ln f(a,σ2 ) (X1 ) === 2.44∂aσσσ1Итак, I(a) = 1/σ2 .

Найдем дисперсию оценки X.D(a,σ2 ) X=1D 2 X1n (a,σ )=σ2.nДалее, сравнивая левую и правую части в неравенстве Рао — Крамера, получаемравенство:σ21D(a,σ2 ) X ==.nnI(a)То есть оценка a∗ = X эффективна (обладает наименьшей дисперсией среди несмещенных оценок).36Пример 20. Пусть X1 , . . .

, Xn — выборка объема n из нормального распредеn1 P∗X2 = X2 ∈ K0ления N0,σ2 , где σ > 0. Проверим, является ли оценка σ2 =n i=1 iэффективной.Упражнение. Получить эту оценку методом моментов и методом максимальногоправдоподобия.Найдем информацию Фишера относительно параметра σ2 .X2exp − 12fσ2 (X1 ) = √2σ2πσ21!,X21ln σ2 − 12 ,22σ∂1X21ln fσ2 (X1 ) = − 2 + 4 ,∂σ22σ2σln fσ2 (X1 ) = − ln(2π)1/2 −I(σ2 ) = Eσ2!221X21∂lnf− 2=E=2 (X1 )2σσ24∂σ2σ2σ11= 8 Eσ2 (X21 − σ2 )2 = 8 Dσ2 X21 .4σ4σОсталось найти Dσ2 X21 = Eσ2 X41 − (Eσ2 X21 )2 = Eσ2 X41 − σ4 .

Для тех, кто помнитнекоторые формулы вероятности: величина ξ = X1 /σ имеет стандартное нормальноераспределение, и для нееE ξ2k = (2k − 1)!! = (2k − 1)(2k − 3) · . . . · 3 · 1,Тогда X1 = ξ · σ иEX41 = E ξ4 · σ4 = 3σ4 .Те, кто не помнит, считаем заново:∞ZEσ2 X41=−∞∞Z= 2σ4t2− 21t4 √ e2πy2−2σ21dy = 2σ4ey √2πσ∞Z42 y 4σy−y2σ21√ e=dσ2π01dt = −2σ4 √2π0∞Zt2−t3 de 21= −2σ4 √2πt2 ∞t3 e− 2 01= 2σ4 √ · 32π∞Zt2− 2t2 e∞Zdt = 3σ4−∞0−1√ t2 e2πt20−e0dt = 3σ4 · D ξ = 3σ4 · 1,Итак, Dσ2 X21 = Eσ2 X41 − σ4 = 2σ4 ,111Dσ2 X21 = 8 2σ4 = 4 .84σ4σ2σ∗Найдем дисперсию оценки σ2 = X2 .X112σ4X2i = Dσ2 X21 == 2 Dσ2.nnnnDσ2 X2t2− 22где ξ имеет стандартное нормальное распределение.I(σ2 ) =∞Z137dt3  =Сравнивая левую и правую части в неравенстве Рао — Крамера, получаем равенство:12σ4=.Dσ2 X2 =nnI(σ2 )∗Таким образом, оценка σ2 = X2 эффективна.Упражнение.

Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a известно, σ > 0. Проверить, является ли эффективной оценкаn1 P∗(Xi − a)2 = (X − a)2 . Принадлежит ли эта оценка классу K0 ? Какимиσ2 =n i=1методами получена? Является ли состоятельной и асимптотически нормальной?Пример 21. Пусть X1 , . . . , Xn — выборка объема n из показательного распределения E1/α с параметром 1/α, где α > 0. Проверим, является ли оценка α∗ = X ∈ K0(оценка для параметра α!) эффективной.Найдем информацию Фишера относительно параметра αI(α) = Eα2∂ln fα (X1 )∂α.Плотность данного показательного распределения имеет вид: 1 e− αy , если y > 0,fα (y) = α0,если y 6 0.ТогдаX11 − X1ln fα (X1 ) = − ln α −e α,,αα∂1X11ln fα (X1 ) = − + 2 = 2 (X1 − α),∂αα αα2∂Dα X1α21Eα (X1 − α)2I(α) = Eαln fα (X1 ) ==== 2.444∂pααααfα (X1 ) =Итак, I(α) = 1/α2 .

Найдем дисперсию оценки X.Dα X =α21Dα X1 =.nnПодставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаемравенство:α21Dα X ==.nnI(α)То есть оценка α∗ = X — эффективная оценка параметра α.Упражнение. Получить эту оценку методом моментов и методом максимальногоправдоподобия. Она действительно несмещенная? А еще какими свойствами обладает?Упражнение.

Проверьте, что для несмещенной оценки α∗∗ = X1 равенство внеравенстве Рао — Крамера не достигается. Объясните, почему, исходя только изэтого, нельзя сделать вывод о ее неэффективности в классе K0 . Сделайте этот выводна основании того, что оценки α∗ = X и α∗∗ = X1 принадлежат классу оценок содинаковым смещением, и одна из них эффективна. Используйте теорему 5.38Отсутствие равенства в неравенстве Рао — Крамера вовсе не означает неэффективность оценки.

Приведем пример оценки, которая является эффективной, но для которойне достигается равенство в неравенстве Рао — Крамера. В эффективности оценки изэтого примера мы хотели бы, но не сможем убедиться.Пример 22. Пусть X1 , . . . , Xn — выборка объема n из показательного распределения Eα с параметром α, где α > 0. Возьмем чуть поправленную оценку методамоментовn−1n−1 1.· = Pnα∗ =nXi=1 XiУбедимся, что это — несмещенная оценка. Согласно свойству устойчивости поnPсуммированию для Г-распределения, суммаXi случайных величин с распределениемi=1Eα = Гα,1 имеет распределение Гα,n с плотностью n α yn−1 e−αy , y > 0,γα,n (y) = Г(n)0,y 6 0.Напомним, что Г(n) = (n − 1)! Вычислим математическое ожидание∗Eα α = Eαn−1PXi∞Z= (n − 1)1αnyn−1 e−αy dy =y (n − 1)!0∞Z=α(n − 1)· α · (αy)n−2 e−αy d(αy) =· Г(n − 1) = α.(n − 1)!(n − 2)!0Итак, оценка α∗ принадлежит классу K0 .

Найдем информацию Фишера относительнопараметра α:∂1ln fα (X1 ) = − X1 ,∂αα21∂ln fα (X1 ) = Eα (X1 − α)2 = Dα X1 = 2 .I(α) = Eα∂pαfα (X1 ) = α e−αX1 ,ln fα (X1 ) = ln α − αX1 ,Итак, I(α) = 1/α2 . Найдем второй момент и дисперсию оценки α∗ .(n − 1)2Eα (α ) = Eα P= (n − 1)22( Xi )∞Z∗ 2∞Z=1αnyn−1 e−αy dy =y2 (n − 1)!0n−1 2(n − 1)(n − 1)2· α2 · (αy)n−3 e−αy d(αy) =· α2 · Г(n − 2) =α .(n − 1)!(n − 2)!n−20Тогдаn−1 2α2α − α2 =.n−2n−2Подставив дисперсию и информацию Фишера в неравенство Рао — Крамера, получаем,что при любом n есть строгое неравенство:Dα α∗ = Eα (α∗ )2 − (Eα α∗ )2 =Dα α∗=α2n−2>α21=.nnI(α)Тем не менее, оценка α∗ является эффективной, но доказывать мы это не будем.394.5.

Наилучшие линейные несмещенные оценкиВ плане подготовки к курсу «Эконометрика» полезно заметить следующее: в практической статистике часто рассматривают оценки, являющиеся линейными (и по возnPможности несмещенными) функциями от выборки, то есть оценки вида θ∗ =ai Xi .i=1В классе таких оценок наилучшая в смысле среднеквадратического подхода оценкаобычно находится и без неравенства Рао — КрамераX(что особенно полезноX для нерегулярных семейств) — достаточно минимизироватьa2i при заданнойai .

Такуюоценку принято называть «наилучшей линейной несмещенной оценкой», или, по английски, BLUE (“best linear unbiased estimate”).Так, скажем, для распределения U0,θ оценка θ∗0 = 2X является BLUE, так какее дисперсия найти! или вспомнить пример 11 не больше доказать! дисперсии любой оценкиnnPPвида θ∗ =ai Xi , гдеai = 2. почему это гарантирует несмещенность?i=1i=1Справедливости ради следует добавить (см. пример 11), что оценка θ∗0 = 2X, хотьи является BLUE, не может конкурировать в среднеквадратичном смысле с нелинейнойоценкой θ^ = n+1n X(n) (которая является эффективной в классе несмещенных оценок,но этого мы доказывать не станем).4.6.

Вопросы и упражнения1. Проверить эффективность ОМП для следующих распределений:а) Bp , б) Пλ , в) Na,1 , г) Bm,p (биномиальное), 0 < p < 1, при известном m.2. Выполнить все упражнения, содержащиеся в тексте главы 4.5. Интервальное оцениваниеПусть, как обычно, имеется выборка X = (X1 , . . . , Xn ) из распределения Fθ снеизвестным параметром θ ∈ Θ ⊆ IR. До сих пор мы занимались «точечным оцениванием» неизвестного параметра — находили число («оценку»), способную, в некоторомсмысле, заменить параметр.Существует другой подход к оцениванию, при котором мы указываем интервал,накрывающий параметр с заданной наперед вероятностью. Такой подход называется«интервальным оцениванием».

Сразу заметим: чем больше уверенность в том, чтопараметр лежит в интервале, тем шире интервал. Так что мечтать найти диапазон, вкотором θ лежит с вероятностью 1, бессмысленно — это вся область Θ.Определение 13. Пусть 0<ε<1.Интервал (θ− , θ+ ) = (θ− (X, ε), θ+ (X, ε))называется доверительным интервалом для параметра θ уровня доверия 1 − ε, еслидля любого θ ∈ ΘPθ θ− < θ < θ+ > 1 − ε.Определение 14. Пусть 0<ε<1.Интервал (θ− , θ+ ) = (θ− (X, ε), θ+ (X, ε))называется асимптотическим доверительным интервалом для параметра θ (асимптотического) уровня доверия 1 − ε, если для любого θ ∈ Θlim inf Pθ θ− < θ < θ+ > 1 − ε.n→∞40На самом деле в определении 14 речь идет, конечно, не об одном интервале, но опоследовательности интервалов, зависящих от объема выборки n.Замечание 11.

Случайны здесь границы интервала (θ− , θ+ ), поэтому читают формулу Pθ (θ− < θ < θ+ ) как «интервал (θ− , θ+ ) накрывает параметр θ», а не как «θлежит в интервале...».Замечание 12. Знак «>» 1 − ε обычно соответствует дискретным распределениям,когда нельзя обязаться добиться равенства: например, для ξ ∈ B1/2 при любом xравенство P (ξ < x) = 0,25 невозможно, а неравенство имеет смысл:P (ξ < x) > 0,25дляx > 0.Если вероятность доверительному интервалу накрывать параметр в точности равна 1−ε(или стремится к 1 − ε), интервал называют точным (или асимптотически точным)доверительным интервалом уровня доверия 1 − ε.Прежде чем рассматривать какие-то регулярные способы построения точных иасимптотических ДИ (доверительных интервалов), разберем два примера, предлагающих очень похожие способы. Далее мы попробуем извлечь из этих примеров некоторую общую философию построения точных и асимптотически точных доверительныхинтервалов.

Характеристики

Список файлов книги