1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 9

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 9)

Мы ввели понятие носителя семейства мер в R, отличное от общепринятого (найти общепринятое!). Так, носитель в смысле данного нами определения не единствен, но все эти носители отличаются на множество нулевой вероятности.46ГЛАВА IV. ЭФФЕКТИВНЫЕ ОЦЕНКИСледующие два условия принято называть условиями регулярности.(R) Существует такой носительC семейства распределений Fθ , что√при каждом y ∈ C функция fθ (y) непрерывно дифференцируема по θвсюду в области Θ.()2∂(RR) Информация Фишера I(θ) = Eln fθ (X1 )существует, по∂θложительна и непрерывна по θ во всех точках θ ∈ Θ.П р и м е р 17 (р е г у л я р н о е с е м е й с т в о).

Рассмотрим показательное распределение Eα с параметром α > 0. Плотность этого распределения имеет вид{{√√αe−αy , если y > 0,αe−αy/2 , если y > 0,fα (y) =fα (y) =0,если y ⩽ 0.0,если y ⩽ 0,В качестве множества C можно взять полупрямую (0, +∞), поскольку P(X1 > 0) = 1. √При любом y ∈ C, т. е. при y > 0, существует производная функции fα (y) по α, и эта производная непрерывна во всехточках α > 0 :√ y∂ √1fα (y) = √ e−αy/2 − α e−αy/2 .∂α2 α2Условие (RR) проверим непосредственным вычислением I(α) :∂1ln fα (X1 ) = − X1 ,fα (X1 ) = α e−αX1 , ln fα (X1 ) = ln α − αX1 ,∂αα()2()2∂11I(α) = Eln fα (X1 ) = E X1 −= DX1 = 2 .∂αИтак, информация Фишера I(α) =α1α2αсуществует, положительна и непре-рывна по α при всех α > 0, т.

е. условие (RR) выполнено.П р и м е р 18 (н е р е г у л я р н о е с е м е й с т в о). Рассмотрим равномерное распределение U0, θ с параметром θ > 0. Плотность этого распределения имеет вид{1{1, если 0 ⩽ y ⩽ θ,, если θ ⩾ y и y > 0,θfθ (y) = θ=0, если y ̸∈ [0, θ]0 иначе.Поскольку параметр θ может принимать любые положительные значения, никакой ограниченный интервал (0, x) не может быть носителем= U0, θ с паэтого семейства распределений: P(X1 ∈ (0, x)) < 1 при X1 ⊂раметром θ > x.

Возьмём в качестве носителя луч C = (0, +∞) — он прилюбом θ > 0 обладает свойством P(X1 ∈ C) = 1. Уменьшить существен-47§ 1. Условия регулярностино этот носитель не удастся — из него можно исключать лишь множестванулевой лебеговой меры.Покажем, что условие (R) √не выполнено: множество тех y ∈ C, прикаждом из которых функция fθ (y) дифференцируема по θ, абсолютнопусто.

При фиксированном y > 0 изобразим функцию fθ (y) как функцию переменной θ (рис. 5).Видим, что при любом y ∈ C функция fθ (y), равно как и корень изнеё, даже не является непрерывной по θ, а тем более дифференцируемой.Следовательно, условие (R) не выполнено.П р и м е р 19 (е щ ё о д н о н е р е г у л я р н о е с е м е й с т в о). Рассмотрим смещённое показательное распределение с параметром сдвига θ ∈ Rи плотностью{{eθ−y , если y > θ,eθ−y , если θ < y,fθ (y) ==0,если y ⩽ θ0,если θ ⩾ y.Поскольку при любом θ распределение сосредоточено на (θ, +∞), а параметр θ может принимать любые вещественные значения, то толькоC = R (плюс-минус множество меры нуль) таково, что при любом θ > 0выполнено P(X1 ∈ C) = 1. Покажем, что условие (R) опять не √выполняется: множество тех y ∈ C, при каждом из которых функция fθ (y)дифференцируема по θ, столь же пусто, как и в примере 18.При фиксированном y ∈ R на рис.

6 приведён график функции fθ (y)(или корня из неё) как функции переменной θ. Независимо от выбора yфункция fθ (y) не является непрерывной по θ. Тем более она не являетсядифференцируемой.6fθ (y)6fθ (y)-yРис. 5. Плотность в примере 18θ-yθРис. 6. Плотность в примере 19З а м е ч а н и е 10. Вместо непрерывной дифференцируемостиможно требовать того же от ln fθ (y).√fθ (y)48ГЛАВА IV.

ЭФФЕКТИВНЫЕ ОЦЕНКИ§ 2. Неравенство Рао — КрамераПусть X1 , . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ , и семейство {Fθ , θ ∈ Θ} удовлетворяет условиямрегулярности (R) и (RR).Справедливо следующее утверждение.Т е о р е м а 14 (н е р а в е н с т в о Р а о — К р а м е р а).

Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой несмещённой оценки θ∗ ∈ K0 , дисперсия которой D θ∗ ограниченана любом компакте в области Θ, справедливо неравенствоD θ∗ = E (θ∗ − θ)2 ⩾1.nI(θ)У п р а ж н е н и е . Проверить, что для показательного семейства распределений Eα с параметром α > 0 дисперсия DX1 не ограничена глобально при α > 0, но ограничена на любом компакте α ∈ K ⊂ (0, +∞).Неравенство сформулировано для класса несмещённых оценок. В классе оценок с произвольным смещением b(θ) неравенство Рао — Крамеравыглядит следующим образом.Т е о р е м а 15 (н е р а в е н с т в о Р а о — К р а м е р а). Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR).

Тогда длялюбой оценки θ∗ ∈ Kb(θ) , дисперсия которой D θ∗ ограничена на любомкомпакте в области Θ, справедливо неравенствоE (θ∗ − θ)2 ⩾(1 + b′ (θ))2+ b2 (θ),nI(θ)т. е.D θ∗ ⩾(1 + b′ (θ))2.nI(θ)Для доказательства нам понадобится следующее утверждение.Л е м м а 2. При выполнении условий (R) и (RR) для любой стати⃗ дисперсия которой ограничена на компактах, имеетстики T = T (X),место равенство()∂∂⃗ET = E T ·L(X; θ) ,∂θ∂θ⃗ θ) — логарифмическая функция правдоподобия.где L(X;У п р а ж н е н и е . Вспомнить, что такое функция правдоподобия⃗⃗ θ) (определеf (X; θ), логарифмическая функция правдоподобия L(X;ние 7, с. 27), как они связаны друг с другом, с плотностью распределенияслучайной величины X1 и плотностью совместного распределения элементов выборки.49§ 2.

Неравенство Рао — КрамераД о к а з а т е л ь с т в о. Напомним, что математическое ожиданиефункции от нескольких случайных величин есть (многомерный) интеграл от этой функции, помноженной на совместную плотностьраспределения этих случайных величин. Поэтому∫ET (X1 , . . . , Xn ) = T (y1 , .

. . , yn ) · f (y1 , . . . , yn , θ) dy1 . . . dyn .RnВ следующей цепочке преобразований равенство, помеченное звёздочкой, мы доказывать не будем, поскольку его доказательство требует знания условий дифференцируемости интеграла по параметру. Это равенство — смена порядка дифференцирования и интегрирования — то единственное, ради чего введены условия регулярности (см. пример ниже).∫∫∂∂∂∗⃗ =ET (X)T (⃗y ) f (⃗y ; θ) d⃗y =(T (⃗y ) f (⃗y ; θ)) d⃗y =∂θ∂θ∫RnT (⃗y ) ·=Rn∫T (⃗y ) ·=Rn∂f (⃗y ; θ) d⃗y =∂θ()∫RnRn∂θ∂f (⃗y ; θ) · f (⃗y ; θ) d⃗y =T (⃗y ) ·  ∂ θf (⃗y ; θ)()∂⃗ · ∂ L(X;⃗ θ) .L(⃗y ; θ) · f (⃗y ; θ) d⃗y = E T (X)∂θ∂θЧерез ⃗y в интегралах обозначен вектор (y1 , .

. . , yn ).Д о к а з а т е л ь с т в о н е р а в е н с т в а Р а о — К р а м е р а. Мы докажем только неравенство для класса K0 — теорему 14. Необходимые изменения в доказательство для класса Kb читатель внесёт самостоятельно.⃗ разные функВоспользуемся леммой 2. Будем брать в качестве T (X)ции и получать забавные формулы, которые потом соберём вместе и используем в неравенстве Коши — Буняковского (в котором?).⃗ ≡ 1. Тогда математическое ожидание производной от лоПусть T (X)гарифмической функции правдоподобия равно нулю:0=∂∂⃗ θ).1 = E L(X;∂θ∂θ∑⃗ θ) = ∏ fθ (Xi ), то L(X;⃗ θ) =Далее, поскольку f (X;ln fθ (Xi ) и∑ ∂∂∂⃗ θ) = E0 = E L(X;ln fθ (Xi ) = n · Eln fθ (X1 ).(11)∂θПоэтому E∂ln fθ (X1 ) = 0.∂θ∂θ∂θ50ГЛАВА IV.

ЭФФЕКТИВНЫЕ ОЦЕНКИ⃗ = θ∗ ∈ K0 , т. е. E θ∗ = θ. ТогдаПусть теперь T (X)∂∂∂⃗ θ).E θ∗ =θ = 1 = E θ∗ ·L(X;∂θ∂θ∂θ(12)Вспомним свойство коэффициента корреляции√|cov(ξ, η)| = |E ξη − E ξE η| ⩽ D ξD η.Используя формулы (11) и (12), получаем()()∂∂∗ ∂∗⃗⃗⃗ θ) =cov θ , L(X; θ) = E θ ·L(X; θ) − E θ∗ E L(X;∂θ∂θ∂θ√()∂⃗ θ) = 1 ⩽ D θ∗ · D ∂ L(X;⃗ θ).= E θ∗ ·L(X;(13)∂θНайдём D∂θ∂⃗ θ) с помощью равенства (11):L(X;∂θ∑ ∂∂∂⃗ θ) = DD L(X;ln fθ (Xi ) = nD ln fθ (X1 ) =∂θ∂θ∂θn()2∂ln fθ (X1 ) = nI(θ).∂θi=1= nEПодставив дисперсию в неравенство (13), получим окончательно1 ⩽ D θ∗ · nI(θ) или D θ∗ ⩾1.nI(θ)Следующий пример показывает, что условие регулярности являетсясущественным для выполнения равенства, помеченного ( ∗ ) в лемме 2.П р и м е р 20. Рассмотрим равномерное распределение U0, θ с параметром θ > 0. Выпишем при n = 1 какой-нибудь интеграл и сравнимпроизводную от него по параметру и интеграл от производной: скажем,для T (X1 ) = 1,∂∂ET (X1 ) =∂θ∂θ∫θ1∂dy =1 = 0;θ∂θ∫θно0∂ 11dy = − ̸= 0.∂θ θθ0Заметим, что и само утверждение неравенства Рао — Крамера для данного семейства распределений не выполнено: найдётся оценка, дисперсиякоторой ведёт себя как 1/n2 , а не как 1/n в неравенстве Рао — Крамера.У п р а ж н е н и е .

Проверить, что в качестве этой «выдающейся» изнеравенства Рао — Крамера оценки можно брать, скажем, смещённуюn+1X(n) .оценку X(n) или несмещённую оценкуn51§ 3. Проверка эффективности оценок§ 3. Проверка эффективности оценокСформулируем очевидное следствие из неравенства Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям регулярности (R) и (RR).С л е д с т в и е 1. Если для оценки θ∗ ∈ Kb(θ) достигается равенствов неравенстве Рао — Крамера(1 + b′ (θ))2E (θ − θ) =+ b2 (θ)nI(θ)∗2или(1 + b′ (θ))2Dθ =,nI(θ)∗то оценка θ∗ эффективна в классе Kb(θ) .Оценку для параметра θ регулярного семейства, для которой достигается равенство в неравенстве Рао — Крамера, иногда называютR -эффективной оценкой.

Характеристики

Список файлов книги