Н.И. Чернова - Лекции по математической статистике, страница 8

6: Пример 16Замечание 10. Вместо непрерывной дифференцируемостивать того же от ln fθ (y).Стр. 65pfθ (y) можно требо-4.3. Неравенство Рао — КрамераПусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ, и семейство Fθ удовлетворяет условию регулярности (R).Пусть, кроме того, выполнено условиеОглавление(RR) «Информация Фишера»JJIIJIНа стр. ...

из 179I(θ) = Eθ2∂ln fθ (X1 )∂θсуществует, положительна и непрерывна по θ во всех точках θ ∈ Θ.Справедливо следующее утверждение.НазадВо весь экранНеравенство Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой несмещенной оценки θ∗ ∈ K0 , дисперсия которой Dθ θ∗ ограничена на любомкомпакте в области Θ, справедливо неравенствоУйтиDθ θ∗ = Eθ (θ∗ − θ)2 >Стр. 661.nI(θ)Упражнение. Проверить, что для показательного семейства распределений Eαс параметром α > 0 дисперсия Dα X1 не ограничена глобально при α > 0, но ограниченана компактах.Неравенство сформулировано для класса несмещенных оценок.

В классе оценок спроизвольным смещением b(θ) неравенство Рао — Крамера выглядит так:ОглавлениеJJIIJIНеравенство Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой оценки θ∗ ∈ Kb(θ) , дисперсия которой Dθ θ∗ ограничена на любом компакте вобласти Θ, справедливо неравенствоEθ (θ∗ − θ)2 >(1 + b 0 (θ))2+ b2 (θ),nI(θ)т. е.Dθ θ ∗ >(1 + b 0 (θ))2.nI(θ)На стр. ...

из 179Для доказательства нам понадобится следующее утверждение.НазадВо весь экранУйтиСтр. 67Лемма 1. При выполнении условий (R) и (RR) для любой статистики T = T (X),дисперсия которой ограничена на компактах, имеет место равенство∂Eθ T = Eθ∂θ∂T·L(X, θ) .∂θУпражнение. Вспомнить, что такое функция правдоподобия f(X, θ), логарифмическая функция правдоподобия L(X, θ) (определение 6), как они связаны друг с другом,с плотностью X1 и совместной плотностью выборки.ОглавлениеДоказательство леммы 1.Напоминание: математическое ожидание функции от нескольких случайных величинесть (многомерный) интеграл от этой функции, помноженной на совместную плотностьэтих случайных величин. ПоэтомуZEθ T (X1 , .

. . , Xn ) =T (y1 , . . . , yn ) · f(y1 , . . . , yn , θ) dy1 . . . dyn .IRnJJIIJIНа стр. ... из 179В следующей цепочке равенство, помеченное (∗), мы доказывать не будем, посколькуего доказательство требует знания условий дифференцируемости интеграла по параметру(тема, выходящая за пределы курса МА на ЭФ). Это равенство — смена порядкадифференцирования и интегрирования — то единственное, ради чего введены условиярегулярности (см.

пример ниже).НазадВо весь экран∂Eθ T (X)∂θ=∂∂θZT (y) · f(y, θ) dyIRZ=УйтиIRnZIRZT (y) ·=∂(T (y) · f(y, θ)) dy∂θ=n∂∂θ f(y, θ)!f(y, θ)· f(y, θ) dy=IRnZT (y) ·IRСтр. 68n∂T (y) ·f(y, θ) dy∂θ=∗=∂L(y, θ) · f(y, θ) dy∂θnЧерез y в интегралах обозначен вектор (y1 , . . . , yn ).=Eθ∂T (X) ·L(X, θ) .∂θОглавлениеДоказательство неравенства Рао — Крамера.Мы докажем только неравенство для класса K0 . Необходимые изменения в доказательстве для класса Kb читатель может внести самостоятельно.Воспользуемся леммой 1. Будем брать в качестве T (X) разные функции и получатьзабавные формулы, которые потом соберем вместе.1. Пусть T (X) ≡ 1. Тогда∂∂1 = EθL(X, θ).∂θ∂θXQДалее, поскольку f(X, θ) =fθ (Xi ), то L(X, θ) =ln fθ (Xi ), и0=JJIIJIНа стр.

... из 179Назад0 = Eθ∂∂∂Eθ θ ∗ =θ = 1 = Eθ θ∗ ·L(X, θ).∂θ∂θ∂θВспомним свойство коэффициента корреляции:cov(ξ, η) = E ξη − E ξE η 6pD ξD η.Используя свойства (10) и (11), имеемСтр. 69(10)2. Пусть T (X) = θ∗ ∈ K0 , т. е. Eθ θ∗ = θ. ТогдаВо весь экранУйтиX ∂∂∂L(X, θ) = Eθln fθ (Xi ) = n · Eθln fθ (X1 ).∂θ∂θ∂θ∂cov θ ,L(X, θ) = Eθ∂θ∗∂∂θ ·L(X, θ) − Eθ θ∗ EθL(X, θ) =∂θ∂θ∗(11)= EθОглавление∂θ ·L(X, θ) = 1 6∂θ∗sDθ θ∗ Dθ∂L(X, θ).∂θ(12)∂L(X, θ):∂θnX∂∂∂∂DθL(X, θ) = Dθln fθ (Xi ) = nDθln fθ (X1 ) = nEθ (ln fθ (X1 ))2 = nI(θ).∂θ∂θ∂θ∂θНайдем Dθi=1JJIIJIНа стр.

... из 179НазадПодставляя дисперсию в неравенство (12), получим1 6 Dθ θ∗ · nI(θ) или Dθ θ∗ >1,nI(θ)что и требовалось доказать.Следующий пример показывает, что условие регулярности является существеннымдля выполнения равенства, помеченного (∗) в лемме 1.Во весь экранУйтиПример 17 (нерегулярное семейство). Рассмотрим равномерное распределение U0,θс параметром θ > 0. Выпишем при n = 1 какой-нибудь интеграл и сравним производную от него и интеграл от производной: скажем, для T (X1 ) = 1∂∂Eθ T (X1 ) =∂θ∂θZθ0Стр. 701∂dy =1 = 0;θ∂θZθ∂ 11dy = − 6= 0.∂θ θθ0Заметим, что и само утверждение неравенства Рао — Крамера для данного семейства распределений не выполнено: найдется оценка, дисперсия которой ведет себякак 1/n2 , а не как 1/n в неравенстве Рао — Крамера.Упражнение.

Проверить, что в качестве этой «выдающейся» из неравенства Рао —Крамера оценки можно брать, скажем, смещенную оценку X(n) или несмещенную оценn+1куX(n) ∈ K0 .nОглавление4.4.Неравенство Рао — Крамера и эффективность оценокСформулируем очевидное следствие из неравенства Рао — Крамера.JJIIJIСледствие 1.Если семейство распределений Fθ удовлетворяет условиям регулярности (R) и (RR), и оценка θ∗ ∈ Kb(θ) такова, что в неравенстве Рао —Крамера достигается равенство:На стр.

... из 179НазадВо весь экранУйтиСтр. 71Eθ (θ∗ − θ)2 =(1 + b 0 (θ))2(1 + b 0 (θ))2+ b2 (θ) или Dθ θ∗ =,nI(θ)nI(θ)то оценка θ∗ эффективна в классе Kb(θ) .Оценку, для которой в неравенстве Рао — Крамера достигается равенство, иногданазывают R-эффективной оценкой. Следствие 1 можно сформулировать так: еслиоценка R-эффективна, то она эффективна в соответствующем классе.Пример 18. Для выборки X1 , . . . , Xn из распределения Бернулли Bp несмещеннаяоценка p∗ = X эффективна, так как для нее достигается равенство в неравенстве Рао —Крамера (см. [3], пример 13.20, с. 67).ОглавлениеПример 19.

Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ IR, σ > 0. Проверим, является ли оценка a∗ = X ∈ K0 эффективной(см. также [3], пример 13.6, с. 64).Найдем информацию Фишера относительно параметра a (считая, что имеется одиннеизвестный параметр — a).!(X1 − a)2exp −f(a,σ2 ) (X1 ) = √,2σ22πσ2(X1 − a)2,ln f(a,σ2 ) (X1 ) = − ln(2πσ2 )1/2 −2σ2∂(X1 − a)ln f(a,σ2 ) (X1 ) =,∂aσ22E(a,σ2 ) (X1 − a)2D(a,σ2 ) X11∂ln f(a,σ2 ) (X1 ) === 2.I(a) = E(a,σ2 )44∂aσσσ1JJIIJIНа стр. ... из 179НазадВо весь экранИтак, I(a) = 1/σ2 . Найдем дисперсию оценки X.D(a,σ2 ) XУйти=1D 2 X1n (a,σ )=σ2.nДалее, сравнивая левую и правую части в неравенстве Рао — Крамера, получаемравенство:σ21D(a,σ2 ) X ==.nnI(a)Стр.

72То есть оценка a∗ = X эффективна (обладает наименьшей дисперсией среди несмещенных оценок).ОглавлениеПример 20. Пусть X1 , . . . , Xn — выборка объема n из нормального распредеn1 P∗ления N0,σ2 , где σ > 0. Проверим, является ли оценка σ2 =X2 = X2 ∈ K0n i=1 iэффективной.Упражнение. Получить эту оценку методом моментов и методом максимальногоправдоподобия.Найдем информацию Фишера относительно параметра σ2 .JJIIJIНа стр.

... из 179НазадВо весь экранУйти!X2fσ2 (X1 ) = √exp − 12 ,2σ2πσ2X21ln fσ2 (X1 ) = − ln(2π)1/2 − ln σ2 − 12 ,22σ∂1X21ln fσ2 (X1 ) = − 2 + 4 ,∂σ22σ2σ12I(σ ) = Eσ2!22∂X211=lnf(X)=E− 2221σσ24∂σ2σ2σ11= 8 Eσ2 (X21 − σ2 )2 = 8 Dσ2 X21 .4σ4σОсталось найти Dσ2 X21 = Eσ2 X41 − (Eσ2 X21 )2 = Eσ2 X41 − σ4 .

Для тех, кто помнитнекоторые формулы вероятности: величина ξ = X1 /σ имеет стандартное нормальноераспределение, и для нееE ξ2k = (2k − 1)!! = (2k − 1)(2k − 3) · . . . · 3 · 1,Стр. 73Тогда X1 = ξ · σ иEX41 = E ξ4 · σ4 = 3σ4 .Те, кто не помнит, считаем заново:∞ZEσ2 X41=Оглавление−∞∞Z= 2σ4JJIIJIНа стр. ... из 179t2− 21t4 √ e2πy2−2σ21y √edy = 2σ42πσ∞Z42 y 4σy−y2σ21√ e=dσ2π01dt = −2σ4 √2π0∞Zt2−t3 de 21= −2σ4 √2πt2 ∞t3 e− 2 01= 2σ √ · 32π∞Z42tt2− 2e∞Z4dt = 3σ−∞0−1√ t2 e2πt2Во весь экранИтак, Dσ2 X21 = Eσ2 X41 − σ4 = 2σ4 ,111Dσ2 X21 = 8 2σ4 = 4 .84σ4σ2σ∗Найдем дисперсию оценки σ2 = X2 .X112σ4= 2 Dσ2X2i = Dσ2 X21 =.nnnnСтр.

74Dσ2 X210−e0dt = 3σ4 · D ξ = 3σ4 · 1,где ξ имеет стандартное нормальное распределение.I(σ2 ) =t2− 22НазадУйти∞Zdt3  =Сравнивая левую и правую части в неравенстве Рао — Крамера, получаем равенство:2σ41Dσ2 X2 ==.nnI(σ2 )∗ОглавлениеТаким образом, оценка σ2 = X2 эффективна.JJIIJIУпражнение. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a известно, σ > 0. Проверить, является ли эффективной оценкаn1 P∗σ2 =(Xi − a)2 = (X − a)2 .

Принадлежит ли эта оценка классу K0 ? Какимиn i=1методами получена? Является ли состоятельной и асимптотически нормальной?На стр. ... из 179НазадВо весь экранПример 21. Пусть X1 , . . . , Xn — выборка объема n из показательного распределения E1/α с параметром 1/α, где α > 0. Проверим, является ли оценка α∗ = X ∈ K0(оценка для параметра α!) эффективной.Найдем информацию Фишера относительно параметра αУйтиСтр. 75I(α) = Eα2∂ln fα (X1 )∂α.Плотность данного показательного распределения имеет вид: 1 e− αy , если y > 0,fα (y) = α0,если y 6 0.ТогдаОглавление1 − X1X1e α,,ln fα (X1 ) = − ln α −αα∂1 X11ln fα (X1 ) = − + 2 = 2 (X1 − α),∂αα αα2∂Eα (X1 − α)2Dα X1α21I(α) = Eαln fα (X1 ) ==== 2.444∂αααααfα (X1 ) =Итак, I(α) = 1/α2 .