1612725170-d2dcc605205feb3d5b9a0101f2221951 (828894), страница 8
Текст из файла (страница 8)
Вопросы и упражнения1. Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения Uθ, θ+5 , где θ ∈ R. Сравнить оценки θ̂0 = X(n) − 5 и θ̂1 = X(1)из примера 11 (с. 29) в среднеквадратическом смысле. Сравнить с этимиоценками оценку метода моментов θ∗ = X − 2,5.2. Для показательного распределения с параметром α rоценка, полученная методом моментов по k -му моменту, имеет вид: α∗k =kk!Xk. Сравнитьоценки α∗k , k = 1, 2, . . .
в смысле асимптотического подхода. Доказать,что оценка α∗1 наилучшая.3. Выполнить все упражнения в тексте главы III.4. Получить утверждение теоремы Гливенко — Кантелли из утверждения и в условиях теоремы Колмогорова аналогично доказательству теоремы 12.5. Является ли оценка X + 1 асимптотически нормальной оценкой дляпараметра λ распределения Пуассона Πλ ?6. Привести пример состоятельной оценки для параметра λ распределения Пуассона, которая не являлась бы АНО.7.
Дана выборка из показательного распределения с неизвестным параметром α > 0. Проверить асимптотическую нормальность оценки параметра α, полученной методом моментов по первому моменту.44ГЛАВА III. СРАВНЕНИЕ ОЦЕНОК8. Дана выборка объема n из распределения Пуассона с параметромλ > 0. Для какого параметра θ = θ(λ) оценка θ∗ = Xe−X является состоятельной оценкой? Проверить, является ли эта оценка асимптотическинормальной оценкой для того же параметра.9. Дана выборка X1 , .
. . , Xn из распределения Пуассона с параметром λ > 0. Построить оценку метода моментов по первому моменту дляпараметра θ = P(X1 = 0). Является ли эта оценка асимптотически нормальной?10. Пусть выборка X1 , . . . , Xn имеет нормальное распределение Na, σ2 .Пусть Fn∗ (y) — эмпирическая функция распределения, a∗ — выборочнаямедиана:(X(m) ,если n = 2m − 1 (нечётно),a∗ =X(m) + X(m+1), если n = 2m (чётно).2a∗Доказать, что— асимптотически нормальная оценка параметра a .У к а з а н и е.
Функция распределения порядковой статистики с номером m представляется в видеFX(m) (y) = P(X(m) < y) = P(Sn > m),где Sn = I(X1 < y) + . . . + I(Xn < y) — сумма независимых и одинаковораспределённых случайных величин. Представить в таком виде функцию√n−1распределения величины n(X(m) − a) при соответствующих m =,m=nnили m = + 1 и найти её предел по ЦПТ.22211. Пусть X1 , . .
. , Xn — выборка объёма n из равномерного распредеθления U0, θ , где θ > 0. Доказать, что X(n) ∈ Kb , где b = b(θ) = −.n+1n+1Доказать, чтоX(n) ∈ K0 . Сравнить эти оценки в среднеквадратичnном смысле.Г Л А В А IVЭФФЕКТИВНЫЕ ОЦЕНКИВ классе одинаково смещённых оценок эффективной мы назвали оценкус наименьшим среднеквадратическим отклонением. Но попарное сравнениеоценок — далеко не лучший способ отыскания эффективной оценки. Сегодня мы познакомимся с утверждением, позволяющим во многих случаяхдоказать эффективность оценки (если, конечно, она на самом деле эффективна). Это утверждение называется неравенством Рао — Краме́ра и говорито том, что в любом классе Kb(θ) существует нижняя граница для среднеквадратического отклонения любой оценки. Таким образом, если найдётсяоценка, отклонение которой в точности равно этой нижней границе (самоемаленькое), то данная оценка — эффективна, поскольку у всех остальныхоценок отклонение меньшим быть не может.
К сожалению, данное неравенство верно лишь для так называемых «регулярных» семейств распределений, к которым не относится, например, большинство равномерных.§ 1. Регулярность семейства распределенийПусть X1 , . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ , где θ ∈ Θ, а область Θ ⊂ R представляет собойконечный или бесконечный интервал. Пусть, как в главе II,(плотность fθ (y), если распределение абсолютно непрерывно,fθ (y) =Pθ (X1 = y),если распределение дискретно.Введём понятие носителя семейства распределений {Fθ , θ ∈ Θ}.О п р е д е л е н и е 14.
Носителем параметрического семейства распределений Fθ будем называть любое множество C ⊆ R такое, что при всех= Fθ .θ ∈ Θ выполняется равенство P(X1 ∈ C) = 1 для X1 ⊂З а м е ч а н и е 9. Мы ввели понятие носителя семейства мер в R, отличное от общепринятого (найти общепринятое!). Так, носитель в смысле данного нами определения не единствен, но все эти носители отличаются на множество нулевой вероятности.46ГЛАВА IV. ЭФФЕКТИВНЫЕ ОЦЕНКИСледующие два условия принято называть условиями регулярности.(R) Существует такой носительC семейства распределений Fθ , чтоpпри каждом y ∈ C функция fθ (y) непрерывно дифференцируема по θвсюду в области Θ.2∂ln fθ (X1 ) существует, поло(RR) Информация Фишера I(θ) = E∂θжительна и непрерывна по θ во всех точках θ ∈ Θ.П р и м е р 17 (р е г у л я р н о е с е м е й с т в о).
Рассмотрим показательное распределение Eα с параметром α > 0. Плотность этого распределения имеет вид((√pαe−αy , если y > 0,αe−αy/2 , если y > 0,fα (y) =fα (y) =0,если y 6 0,0,если y 6 0.В качестве множества C можно взять полупрямую (0, +∞), поскольку P(X1 > 0) = 1. pПри любом y ∈ C, т.
е. при y > 0, существует производная функции fα (y) по α, и эта производная непрерывна во всехточках α > 0 :√ y∂ p1fα (y) = √ e−αy/2 − α e−αy/2 .∂α2 α2Условие (RR) проверим непосредственным вычислением I(α) :1∂fα (X1 ) = α e−αX1 , ln fα (X1 ) = ln α − αX1 ,ln fα (X1 ) = − X1 ,∂αα2211∂ln fα (X1 ) = E X1 −= DX1 = 2 .I(α) = E∂αИтак, информация Фишера I(α) =α1α2αсуществует, положительна и непре-рывна по α при всех α > 0, т.
е. условие (RR) выполнено.П р и м е р 18 (н е р е г у л я р н о е с е м е й с т в о). Рассмотрим равномерное распределение U0, θ с параметром θ > 0. Плотность этого распределения имеет вид(1(1, если 0 6 y 6 θ,, если θ > y и y > 0,θ=fθ (y) = θ0, если y 6∈ [0, θ]0 иначе.Поскольку параметр θ может принимать любые положительные значения, никакой ограниченный интервал (0, x) не может быть носителем= U0, θ с паэтого семейства распределений: P(X1 ∈ (0, x)) < 1 при X1 ⊂раметром θ > x. Возьмём в качестве носителя луч C = (0, +∞) — он прилюбом θ > 0 обладает свойством P(X1 ∈ C) = 1.
Уменьшить существен-47§ 1. Условия регулярностино этот носитель не удастся — из него можно исключать лишь множестванулевой лебеговой меры.Покажем, что условие (R) pне выполнено: множество тех y ∈ C, прикаждом из которых функция fθ (y) дифференцируема по θ, абсолютнопусто. При фиксированном y > 0 изобразим функцию fθ (y) как функциюпеременной θ (рис. 5).Видим, что при любом y ∈ C функция fθ (y), равно как и корень изнеё, даже не является непрерывной по θ, а тем более дифференцируемой.Следовательно, условие (R) не выполнено.П р и м е р 19 (е щ ё о д н о н е р е г у л я р н о е с е м е й с т в о).
Рассмотрим смещённое показательное распределение с параметром сдвига θ ∈ Rи плотностью((θ−ye , если y > θ,eθ−y , если θ < y,=fθ (y) =0,если y 6 θ0,если θ > y.Поскольку при любом θ распределение сосредоточено на (θ, +∞), а параметр θ может принимать любые вещественные значения, то только C == R (плюс-минус множество меры нуль) таково, что при любом θ > 0выполвыполнено P(X1 ∈ C) = 1. Покажем, что условие (R) опять не pняется: множество тех y ∈ C, при каждом из которых функция fθ (y)дифференцируема по θ, столь же пусто, как и в примере 18.При фиксированном y ∈ R на рис. 6 приведён график функции fθ (y)(или корня из неё) как функции переменной θ. Независимо от выбора yфункция fθ (y) не является непрерывной по θ.
Тем более она не являетсядифференцируемой.6fθ (y)6fθ (y)--yРис. 5. Плотность в примере 18θθyРис. 6. Плотность в примере 19З а м е ч а н и е 10. Вместо непрерывной дифференцируемостиможно требовать того же от ln fθ (y).pfθ (y)48ГЛАВА IV. ЭФФЕКТИВНЫЕ ОЦЕНКИ§ 2. Неравенство Рао — КрамераПусть X1 , .
. . , Xn — выборка объёма n из параметрического семействараспределений Fθ , и семейство {Fθ , θ ∈ Θ} удовлетворяет условиям регулярности (R) и (RR).Справедливо следующее утверждение.Т е о р е м а 14 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой несмещённой оценки θ∗ ∈ K0 , дисперсия которой D θ∗ ограниченана любом компакте в области Θ, справедливо неравенствоD θ∗ = E (θ∗ − θ)2 >1.nI(θ)У п р а ж н е н и е . Проверить, что для показательного семейства распределений Eα с параметром α > 0 дисперсия DX1 не ограничена глобально при α > 0, но ограничена на любом компакте α ∈ K ⊂ (0, +∞).Неравенство сформулировано для класса несмещённых оценок.
В классе оценок с произвольным смещением b(θ) неравенство Рао — Крамеравыглядит следующим образом.Т е о р е м а 15 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой оценки θ∗ ∈ Kb(θ) , дисперсия которой D θ∗ ограничена на любомкомпакте в области Θ, справедливо неравенствоE (θ∗ − θ)2 >(1 + b0 (θ))2+ b2 (θ),nI(θ)т.
е.D θ∗ >(1 + b0 (θ))2.nI(θ)Для доказательства нам понадобится следующее утверждение.Л е м м а 2. При выполнении условий (R) и (RR) для любой стати~ дисперсия которой ограничена на компактах, имеетстики T = T (X),место равенство∂∂~ET = E T ·L(X; θ) ,∂θ∂θ~ θ) — логарифмическая функция правдоподобия.где L(X;У п р а ж н е н и е . Вспомнить, что такое функция правдоподобия~~ θ) (определеf (X; θ), логарифмическая функция правдоподобия L(X;ние 7, с. 27), как они связаны друг с другом, с плотностью распределения случайной величины X1 и плотностью совместного распределенияэлементов выборки.49§ 2. Неравенство Рао — КрамераД о к а з а т е л ь с т в о. Напомним, что математическое ожидание функции от нескольких случайных величин есть (многомерный) интеграл отэтой функции, помноженной на совместную плотность распределения этихслучайных величин. ПоэтомуZET (X1 , .
. . , Xn ) = T (y1 , . . . , yn ) · f (y1 , . . . , yn , θ) dy1 . . . dyn .RnВ следующей цепочке преобразований равенство, помеченное звёздочкой, мы доказывать не будем, поскольку его доказательство требует знания условий дифференцируемости интеграла по параметру. Это равенство — смена порядка дифференцирования и интегрирования — то единственное, ради чего введены условия регулярности (см. пример ниже).ZZ∂∂∂∗~ =ET (X)(T (~y ) f (~y ; θ)) d~y =T (~y ) f (~y ; θ) d~y =∂θ∂θZ∂θRnT (~y ) ·=∂f (~y ; θ) d~y =∂θRn∂f (~y ; θ) · f (~y ; θ) d~y =T (~y ) · ∂ θf (~y ; θ)RnZT (~y ) ·=ZRn∂~ · ∂ L(X;~ θ) .L(~y ; θ) · f (~y ; θ) d~y = E T (X)∂θ∂θRnЧерез ~y в интегралах обозначен вектор (y1 , .
. . , yn ).Д о к а з а т е л ь с т в о н е р а в е н с т в а Р а о — К р а м е р а. Мы докажем только неравенство для класса K0 — теорему 14. Необходимые изменения в доказательство для класса Kb читатель внесёт самостоятельно.~ разные функВоспользуемся леммой 2. Будем брать в качестве T (X)ции и получать забавные формулы, которые потом соберём вместе и используем в неравенстве Коши — Буняковского (в котором?).~ ≡ 1. Тогда математическое ожидание производной от лоПусть T (X)гарифмической функции правдоподобия равно нулю:0=∂∂~ θ).1 = E L(X;∂θ∂θXQ~~Далее, поскольку f (X; θ) = fθ (Xi ), то L(X; θ) =ln fθ (Xi ) иX ∂∂∂~0 = E L(X; θ) = Eln fθ (Xi ) = n · Eln fθ (X1 ).(11)∂θПоэтому E∂ln fθ (X1 ) = 0.∂θ∂θ∂θ50ГЛАВА IV. ЭФФЕКТИВНЫЕ ОЦЕНКИ~ = θ∗ ∈ K0 , т.
е. E θ∗ = θ. ТогдаПусть теперь T (X)∂∂∂~ θ).E θ∗ =θ = 1 = E θ∗ ·L(X;∂θ∂θ∂θ(12)Вспомним свойство коэффициента корреляцииp|cov(ξ, η)| = |E ξη − E ξE η| 6 D ξD η.Используя формулы (11) и (12), получаем∂∂∗∗ ∂~~~ θ) =L(X; θ) − E θ∗ E L(X;cov θ , L(X; θ) = E θ ·∂θ∂θ∂θr∂~ θ) = 1 6 D θ∗ · D ∂ L(X;~ θ).= E θ∗ ·L(X;(13)∂θНайдём D∂θ∂~ θ) с помощью равенства (11):L(X;∂θnX ∂∂∂~D L(X; θ) = Dln fθ (Xi ) = nD ln fθ (X1 ) =∂θ∂θ∂θi=1= nE2∂ln fθ (X1 ) = nI(θ).∂θПодставив дисперсию в неравенство (13), получим окончательно1 6 D θ∗ · nI(θ) или D θ∗ >1.nI(θ)Следующий пример показывает, что условие регулярности является существенным для выполнения равенства, помеченного ( ∗ ) в лемме 2.П р и м е р 20. Рассмотрим равномерное распределение U0, θ с параметром θ > 0.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
