Н.И. Чернова - Математическая статистика (1119916), страница 9
Текст из файла (страница 9)
pПри любом y ∈ C, т. е. при y > 0, существует производная функции fα (y) по α, и эта производная непрерывна во всехточках α > 0 :√ y∂ p1fα (y) = √ e−αy/2 − α e−αy/2 .∂α2 α2Условие (RR) проверим непосредственным вычислением I(α) :1∂fα (X1 ) = α e−αX1 , ln fα (X1 ) = ln α − αX1 ,ln fα (X1 ) = − X1 ,∂αα2211∂ln fα (X1 ) = E X1 −= DX1 = 2 .I(α) = E∂αИтак, информация Фишера I(α) =α1α2αсуществует, положительна и непре-рывна по α при всех α > 0, т. е.
условие (RR) выполнено.П р и м е р 18 (н е р е г у л я р н о е с е м е й с т в о). Рассмотрим равномерное распределение U0, θ с параметром θ > 0. Плотность этого распределения имеет вид(1(1, если 0 6 y 6 θ,, если θ > y и y > 0,θ=fθ (y) = θ0, если y 6∈ [0, θ]0 иначе.Поскольку параметр θ может принимать любые положительные значения, никакой ограниченный интервал (0, x) не может быть носителем= U0, θ с паэтого семейства распределений: P(X1 ∈ (0, x)) < 1 при X1 ⊂раметром θ > x.
Возьмём в качестве носителя луч C = (0, +∞) — он прилюбом θ > 0 обладает свойством P(X1 ∈ C) = 1. Уменьшить существен-47§ 1. Условия регулярностино этот носитель не удастся — из него можно исключать лишь множестванулевой лебеговой меры.Покажем, что условие (R) pне выполнено: множество тех y ∈ C, прикаждом из которых функция fθ (y) дифференцируема по θ, абсолютнопусто. При фиксированном y > 0 изобразим функцию fθ (y) как функциюпеременной θ (рис. 5).Видим, что при любом y ∈ C функция fθ (y), равно как и корень изнеё, даже не является непрерывной по θ, а тем более дифференцируемой.Следовательно, условие (R) не выполнено.П р и м е р 19 (е щ ё о д н о н е р е г у л я р н о е с е м е й с т в о).
Рассмотрим смещённое показательное распределение с параметром сдвига θ ∈ Rи плотностью((θ−ye , если y > θ,eθ−y , если θ < y,=fθ (y) =0,если y 6 θ0,если θ > y.Поскольку при любом θ распределение сосредоточено на (θ, +∞), а параметр θ может принимать любые вещественные значения, то только C == R (плюс-минус множество меры нуль) таково, что при любом θ > 0выполвыполнено P(X1 ∈ C) = 1. Покажем, что условие (R) опять не pняется: множество тех y ∈ C, при каждом из которых функция fθ (y)дифференцируема по θ, столь же пусто, как и в примере 18.При фиксированном y ∈ R на рис. 6 приведён график функции fθ (y)(или корня из неё) как функции переменной θ.
Независимо от выбора yфункция fθ (y) не является непрерывной по θ. Тем более она не являетсядифференцируемой.6fθ (y)6fθ (y)--yРис. 5. Плотность в примере 18θθyРис. 6. Плотность в примере 19З а м е ч а н и е 10. Вместо непрерывной дифференцируемостиможно требовать того же от ln fθ (y).pfθ (y)48ГЛАВА IV.
ЭФФЕКТИВНЫЕ ОЦЕНКИ§ 2. Неравенство Рао — КрамераПусть X1 , . . . , Xn — выборка объёма n из параметрического семействараспределений Fθ , и семейство {Fθ , θ ∈ Θ} удовлетворяет условиям регулярности (R) и (RR).Справедливо следующее утверждение.Т е о р е м а 14 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой несмещённой оценки θ∗ ∈ K0 , дисперсия которой D θ∗ ограниченана любом компакте в области Θ, справедливо неравенствоD θ∗ = E (θ∗ − θ)2 >1.nI(θ)У п р а ж н е н и е . Проверить, что для показательного семейства распределений Eα с параметром α > 0 дисперсия DX1 не ограничена глобально при α > 0, но ограничена на любом компакте α ∈ K ⊂ (0, +∞).Неравенство сформулировано для класса несмещённых оценок. В классе оценок с произвольным смещением b(θ) неравенство Рао — Крамеравыглядит следующим образом.Т е о р е м а 15 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR).
Тогда длялюбой оценки θ∗ ∈ Kb(θ) , дисперсия которой D θ∗ ограничена на любомкомпакте в области Θ, справедливо неравенствоE (θ∗ − θ)2 >(1 + b0 (θ))2+ b2 (θ),nI(θ)т. е.D θ∗ >(1 + b0 (θ))2.nI(θ)Для доказательства нам понадобится следующее утверждение.Л е м м а 2. При выполнении условий (R) и (RR) для любой стати~ дисперсия которой ограничена на компактах, имеетстики T = T (X),место равенство∂∂~ET = E T ·L(X; θ) ,∂θ∂θ~ θ) — логарифмическая функция правдоподобия.где L(X;У п р а ж н е н и е . Вспомнить, что такое функция правдоподобия~~ θ) (определеf (X; θ), логарифмическая функция правдоподобия L(X;ние 7, с.
27), как они связаны друг с другом, с плотностью распределения случайной величины X1 и плотностью совместного распределенияэлементов выборки.49§ 2. Неравенство Рао — КрамераД о к а з а т е л ь с т в о. Напомним, что математическое ожидание функции от нескольких случайных величин есть (многомерный) интеграл отэтой функции, помноженной на совместную плотность распределения этихслучайных величин.
ПоэтомуZET (X1 , . . . , Xn ) = T (y1 , . . . , yn ) · f (y1 , . . . , yn , θ) dy1 . . . dyn .RnВ следующей цепочке преобразований равенство, помеченное звёздочкой, мы доказывать не будем, поскольку его доказательство требует знания условий дифференцируемости интеграла по параметру. Это равенство — смена порядка дифференцирования и интегрирования — то единственное, ради чего введены условия регулярности (см. пример ниже).ZZ∂∂∂∗~ =ET (X)(T (~y ) f (~y ; θ)) d~y =T (~y ) f (~y ; θ) d~y =∂θ∂θZ∂θRnT (~y ) ·=∂f (~y ; θ) d~y =∂θRn∂f (~y ; θ) · f (~y ; θ) d~y =T (~y ) · ∂ θf (~y ; θ)RnZT (~y ) ·=ZRn∂~ · ∂ L(X;~ θ) .L(~y ; θ) · f (~y ; θ) d~y = E T (X)∂θ∂θRnЧерез ~y в интегралах обозначен вектор (y1 , .
. . , yn ).Д о к а з а т е л ь с т в о н е р а в е н с т в а Р а о — К р а м е р а. Мы докажем только неравенство для класса K0 — теорему 14. Необходимые изменения в доказательство для класса Kb читатель внесёт самостоятельно.~ разные функВоспользуемся леммой 2. Будем брать в качестве T (X)ции и получать забавные формулы, которые потом соберём вместе и используем в неравенстве Коши — Буняковского (в котором?).~ ≡ 1. Тогда математическое ожидание производной от лоПусть T (X)гарифмической функции правдоподобия равно нулю:0=∂∂~ θ).1 = E L(X;∂θ∂θXQ~~Далее, поскольку f (X; θ) = fθ (Xi ), то L(X; θ) =ln fθ (Xi ) иX ∂∂∂~0 = E L(X; θ) = Eln fθ (Xi ) = n · Eln fθ (X1 ).(11)∂θПоэтому E∂ln fθ (X1 ) = 0.∂θ∂θ∂θ50ГЛАВА IV.
ЭФФЕКТИВНЫЕ ОЦЕНКИ~ = θ∗ ∈ K0 , т. е. E θ∗ = θ. ТогдаПусть теперь T (X)∂∂∂~ θ).E θ∗ =θ = 1 = E θ∗ ·L(X;∂θ∂θ∂θ(12)Вспомним свойство коэффициента корреляцииp|cov(ξ, η)| = |E ξη − E ξE η| 6 D ξD η.Используя формулы (11) и (12), получаем∂∂∗∗ ∂~~~ θ) =L(X; θ) − E θ∗ E L(X;cov θ , L(X; θ) = E θ ·∂θ∂θ∂θr∂~ θ) = 1 6 D θ∗ · D ∂ L(X;~ θ).= E θ∗ ·L(X;(13)∂θНайдём D∂θ∂~ θ) с помощью равенства (11):L(X;∂θnX ∂∂∂~D L(X; θ) = Dln fθ (Xi ) = nD ln fθ (X1 ) =∂θ∂θ∂θi=1= nE2∂ln fθ (X1 ) = nI(θ).∂θПодставив дисперсию в неравенство (13), получим окончательно1 6 D θ∗ · nI(θ) или D θ∗ >1.nI(θ)Следующий пример показывает, что условие регулярности является существенным для выполнения равенства, помеченного ( ∗ ) в лемме 2.П р и м е р 20. Рассмотрим равномерное распределение U0, θ с параметром θ > 0.
Выпишем при n = 1 какой-нибудь интеграл и сравнимпроизводную от него по параметру и интеграл от производной: скажем,для T (X1 ) = 1,∂∂ET (X1 ) =∂θ∂θZθ1θdy =Zθ∂1 = 0;∂θно0∂ 11dy = − 6= 0.∂θ θθ0Заметим, что и само утверждение неравенства Рао — Крамера для данного семейства распределений не выполнено: найдётся оценка, дисперсиякоторой ведёт себя как 1/n2 , а не как 1/n в неравенстве Рао — Крамера.У п р а ж н е н и е . Проверить, что в качестве этой «выдающейся» изнеравенства Рао — Крамера оценки можно брать, скажем, смещённуюn+1оценку X(n) или несмещённую оценкуX(n) .n51§ 3. Проверка эффективности оценок§ 3.
Проверка эффективности оценокСформулируем очевидное следствие из неравенства Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям регулярности(R) и (RR).С л е д с т в и е 1. Если для оценки θ∗ ∈ Kb(θ) достигается равенствов неравенстве Рао — КрамераE (θ∗ − θ)2 =(1 + b0 (θ))2+ b2 (θ)nI(θ)или D θ∗ =(1 + b0 (θ))2,nI(θ)то оценка θ∗ эффективна в классе Kb(θ) .Оценку для параметра θ регулярного семейства, для которой достигается равенство в неравенстве Рао — Крамера, иногда называютR -эффективной оценкой. Следствие 1 можно сформулировать так: еслиоценка R -эффективна, то она эффективна в соответствующем классе.П р и м е р 21. Для выборки X1 , .
. . , Xn из распределения БернуллиBp несмещённая оценка p∗ = X эффективна, так как для неё достигаетсяравенство в неравенстве Рао — Крамера (см. [5, пример 13.20]).П р и м е р 22. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na, σ2 , где a ∈ R, σ > 0. Проверим, является ли оценкаa∗ = X ∈ K0 эффективной (см. также [5, пример 13.6]).Найдём информацию Фишера относительно параметра a (считая, чтоимеется один неизвестный параметр a ).
Плотность распределения равна1f(a, σ2 ) (y) = p2πσ2∂−(y−a)2 /(2σ2 )e,1(y − a)22ln f(a,σ2 ) (y) = − ln(2πσ ) −.22σ2y−aln f(a,σ2 ) (y) =. Найдя второй момент этого выСоответственно,σ2∂aражения при y = X1 , получим информацию Фишера2∂E(X1 − a)2DX1I(a) = Eln f(a,σ2 ) (X1 ) == 41 = 2 .4σ∂aσσσ21Найдём дисперсию оценки X: DX = DX1 =.nnСравнивая левую и правую части в неравенстве Рао — Крамера, получаем равенствоDX =σ2n=1.nI(a)Итак, оценка a∗ = X эффективна (т. е. обладает наименьшей дисперсиейсреди несмещённых оценок).52ГЛАВА IV.
ЭФФЕКТИВНЫЕ ОЦЕНКИП р и м е р 23. Пусть X1 , . . . , Xn — выборка объёма n из нормального распределения N0, σ2 , где σ > 0. Проверим, является ли эффективнойоценкаn1 X 22∗Xi = X 2 ∈ K0 .σ =ni=1У п р а ж н е н и е . Получить эту оценку методом моментов и методоммаксимального правдоподобия.Найдём информацию Фишера относительно параметра σ2 . Плотностьраспределения равнаfσ2 (y) = p12πσ2e−y2 /(2σ2 ),12ln fσ2 (y) = − ln(2π) −1y2ln σ2 − 2 .22σПродифференцируем это выражение по параметру σ2 :∂∂ σ2ln fσ2 (y) = −12σ2+y22σ4.Вычислим информацию Фишера222X11121 −=E(XDX12 .I(σ2 ) = E−σ2 ) =142882σ2σ4σ4σ2Осталось найти DX12 = EX14 − (EX12 ) = EX14 − σ4 .
Можно вспомнитьнекоторые формулы вероятности: величина ξ = X1 /σ имеет стандартноенормальное распределение, и для неёE ξ2k = (2k − 1)!! = (2k − 1)(2k − 3) · . . . · 3 · 1,Тогда E ξ4 = 3, X1 = ξ · σ,EX14 = E ξ4 · σ4 = 3σ4 .Если вспомнить не удалось, посчитаем заново. Воспользуемся свойствами характеристических функций и вычислим четвёртую производную ха2рактеристической функции ϕξ (t) = e−t /2 в нуле. Делать это удобнее черезразложение в ряд:∞X2 k2tt2t4t23t41−=1−+− ...
= 1 −+− ...e−t /2 =k=0k!22824!Производная четвёртого порядка в нуле равна коэффициенту при(4)Тейлора: E ξ4 = i4 E ξ4 = ϕξ (0) = 3.t4ряда4!53§ 3. Проверка эффективности оценокМожно вычислить интеграл и напрямую. Интегрированием по частямполучаем∞Z212y 4 √ e−y /2 dy = − √2π2πE ξ4 =−∞2 3 −y 2/2 ∞= −√y e −2π∞Z02·32π∞Zy2 e= √−y 2/2y 3 de=02e−y /2 dy 3 =0−y 2/2∞Z∞Z−y 2/21√ y2 edy = 3D ξ = 3.2πdy = 3−∞0Итак, DX12 = EX14 − σ4 = 2σ4 ,I(σ2 ) =1DX12 =84σ12σ4 =84σ12σ4.∗Найдём дисперсию оценки σ2 = X 2 и сравним её с правой частьюнеравенства Рао — Крамера:nX1112σ42Xi2 = DX12 ==DX = 2 D,nnnnI(σ2 )1∗Итак, оценка σ2 = X 2 R -эффективна и, следовательно, эффективна.У п р а ж н е н и е .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
