Н.И. Чернова - Математическая статистика (1115306), страница 7
Текст из файла (страница 7)
Отсюда — естественный способ сравнения асимптотически нормальных оценок:Определение 12. Пусть θ∗1 — АНО с коэффициентом σ21 (θ), θ∗2 — АНО с коэффициентом σ22 (θ). Говорят, что θ∗1 лучше, чем θ∗2 в смысле асимптотического подхода,если для любого θ ∈ Θσ21 (θ) 6 σ22 (θ),и хотя бы при одном θ это неравенство строгое.30Пример 13 (продолжение).Сравним между собой в асимптотическом смысле∗∗оценки в последовательности θ1 , θ2 , . .
. . Для θ∗k коэффициент асимптотической нормальности имеет вид σ2k (θ) = θ2 /(2k + 1). Коэффициент тем меньше, чем больше k,то есть каждая следующая оценка в этой последовательности лучше предыдущей.Оценка θ∗∞ , являющаяся «последней», могла бы быть лучше всех оценок в этойпоследовательности в смысле асимптотического подхода, если бы являлась асимптотически нормальной. Увы:Упражнение. См. задачу 7 (б) в разделе 1. Доказать, что θ∗k → X(n) п. н., тоесть для любого элементарного исхода ω при k → ∞vuuuktnP(k + 1) i=1Xki (ω)n→ max{X1 (ω), . .
. , Xn (ω)}.Еще раз обращаем внимание читателя, что оценка θ^ = X(n) оказывается лучшелюбой асимптотически нормальной оценки: «скорость» ее сходимости к параметру, какпоказывает (9), равна n−1 в отличие от n−1/2 для любой АНО.3.7. Вопросы и упражнения1. Пусть X1 , .
. . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ IR.Сравнить оценки θ^0 = X(n) − 5, θ^1 = X(1) из примера 10 в среднеквадратичном смысле.Сравнить с этими оценками оценку метода моментов θ∗ = X − 2,5.2. Для показательного распределения с rпараметром α оценка, полученная методом моментовk!. Сравнить оценки α∗k , k = 1, 2, . . . в смыслепо k-му моменту, имеет вид: α∗k = kXkасимптотического подхода. Доказать, что оценка α∗1 наилучшая.4. Эффективные оценкиВернемся к сравнению оценок в смысле среднеквадратического подхода. В классеодинаково смещенных оценок эффективной мы назвали оценку с наименьшим среднеквадратическим отклонением (или наименьшей дисперсией).
Но попарное сравнениеоценок — далеко не лучший способ отыскания эффективной оценки. Сегодня мы познакомимся с утверждением, позволяющим во многих случаях доказать эффективностьоценки (если, конечно, она на самом деле эффективна).Это утверждение называется неравенством Рао — Краме́ра и говорит о том, чтов любом классе Kb(θ) существует нижняя граница для среднеквадратического отклонения Eθ (θ∗ − θ)2 любой оценки.Таким образом, если найдется оценка, отклонение которой в точности равно этойнижней границе (самое маленькое), то данная оценка — эффективна, поскольку упрочих оценок отклонение меньше быть не может.К сожалению, данное неравенство верно лишь для так называемых «регулярных»семейств распределений, к которым не относится, например, большинство равномерных.4.1. Регулярность семейства распределенийПусть X1 , . .
. , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ. Пусть fθ (y) — плотность Fθ (в смысле определения 5). Введемпонятие носителя семейства распределений Fθ .Любое множество C ⊆ IR такое, что при всех θ ∈ Θ выполняетсяравенство Pθ (X1 ∈ C) = 1, назовем носителем семейства распределений Fθ .31Замечание 9. Мы ввели понятие носителя семейства мер в IR, отличное от общепринятого. Так, носитель в смысле данного нами определения не единственен, но всеэти носители отличаются на множество нулевой вероятности.Следующее условие назовем условием регулярности.(R) Существует такой носитель C семейства распределений Fθ , что при каждом y ∈ Cpфункция fθ (y) непрерывно дифференцируема по θ во всех точках θ ∈ Θ.4.2.
«Регулярные» и «нерегулярные» семейства распределенийПример 14 (регулярное семейство). Рассмотрим показательное распределение Eαс параметром α > 0. Плотность этого распределения имеет вид√qαe−αy , если y > 0,αe−αy/2 , если y > 0,fα (y) =fα (y) =0,если y 6 0,0,если y 6 0.В качестве множества C можно взять (0, +∞), поскольку Pα (X1 > 0) = 1. Приpлюбом y ∈ C, т. е. при y > 0, существует производная функции fα (y) по α, и этапроизводная непрерывна во всех точках α > 0:√ y1∂ qfα (y) = √ e−αy/2 − α e−αy/2 .∂α2 α2Пример 15 (нерегулярное семейство). Рассмотрим равномерное распределение U0,θс параметром θ > 0.
Плотность этого распределения имеет вид 1 , если 0 6 y 6 θ, 1 , если θ > y и y > 0,θfθ (y) = θ=0, если y 6∈ [0, θ]0иначе.Поскольку параметр θ может принимать любые положительные значения, то никакойограниченный интервал (0, x) не является носителем этого семейства распределений:Pθ (X1 ∈ (0, x)) < 1 при θ > x. Возьмем C = (0, +∞) — оно при любом θ > 0обладает свойством Pθ (X1 ∈ C) = 1. Так что носитель этого семейства распределений— вся положительная полуось (с точностью до множеств нулевой лебеговой меры).Покажем, что условие (R) не выполнено: множество тех y ∈ C, при каждом изpкоторых функция fθ (y) дифференцируема по θ, пусто.fθ (y)6-yθПри фиксированном y > 0 изобразим функцию fθ (y) (или ее корень — масштаб не соблюден) как функцию переменной θ.Видим, что какое бы y ∈ C мы ни взяли,fθ (y) даже не является непрерывной по θ, атем более дифференцируемой.
Следовательно,условие (R) не выполнено.Рис. 5: Пример 1532Пример 16 (нерегулярное семейство). Рассмотрим «смещенное» показательноераспределение с параметром сдвига θ ∈ IR и плотностьюeθ−y , если θ < y,eθ−y , если y > θ,=fθ (y) =0,если θ > y.0,если y 6 θПоскольку при любом θ распределение сосредоточено на (θ, +∞), а параметр θможет принимать любые вещественные значения, то только C = IR (плюс-минус множество меры нуль) таково, что при любом θ > 0 выполнено Pθ (X1 ∈ C) = 1.Покажем, что условие (R) опять не выполнено: множество тех y ∈ C, при каждом изpкоторых функция fθ (y) дифференцируема по θ, столь же пусто, как и в примере 15.f (y)6θ-yθПри фиксированном y ∈ IR на рисунке 6 изображена функция fθ (y) (а может быть, кореньиз нее) как функция переменной θ.Какое бы y ни было, fθ (y) даже не являетсянепрерывной по θ, а тем более дифференцируемой.Рис.
6: Пример 16Замечание 10. Вместо непрерывной дифференцируемостивать того же от ln fθ (y).pfθ (y) можно требо-4.3. Неравенство Рао — КрамераПусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ, и семейство Fθ удовлетворяет условию регулярности (R).Пусть, кроме того, выполнено условие(RR) «Информация Фишера»I(θ) = Eθ2∂ln fθ (X1 )∂θсуществует, положительна и непрерывна по θ во всех точках θ ∈ Θ.Справедливо следующее утверждение.Неравенство Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR).
Тогда длялюбой несмещенной оценки θ∗ ∈ K0 , дисперсия которой Dθ θ∗ ограничена на любомкомпакте в области Θ, справедливо неравенствоDθ θ∗ = Eθ (θ∗ − θ)2 >1.nI(θ)Упражнение. Проверить, что для показательного семейства распределений Eαс параметром α > 0 дисперсия Dα X1 не ограничена глобально при α > 0, но ограниченана компактах.33Неравенство сформулировано для класса несмещенных оценок.
В классе оценок спроизвольным смещением b(θ) неравенство Рао — Крамера выглядит так:Неравенство Рао — Крамера.Пусть семейство распределений Fθ удовлетворяет условиям (R) и (RR). Тогда длялюбой оценки θ∗ ∈ Kb(θ) , дисперсия которой Dθ θ∗ ограничена на любом компакте вобласти Θ, справедливо неравенствоEθ (θ∗ − θ)2 >(1 + b 0 (θ))2+ b2 (θ),nI(θ)Dθ θ∗ >т.
е.(1 + b 0 (θ))2.nI(θ)Для доказательства нам понадобится следующее утверждение.Лемма 1. При выполнении условий (R) и (RR) для любой статистики T = T (X),дисперсия которой ограничена на компактах, имеет место равенство∂Eθ T = Eθ∂θ∂L(X, θ) .∂θT·Упражнение. Вспомнить, что такое функция правдоподобия f(X, θ), логарифмическая функция правдоподобия L(X, θ) (определение 6), как они связаны друг с другом,с плотностью X1 и совместной плотностью выборки.Доказательство леммы 1.Напоминание: математическое ожидание функции от нескольких случайных величинесть (многомерный) интеграл от этой функции, помноженной на совместную плотностьэтих случайных величин.
ПоэтомуZEθ T (X1 , . . . , Xn ) =T (y1 , . . . , yn ) · f(y1 , . . . , yn , θ) dy1 . . . dyn .IRnВ следующей цепочке равенство, помеченное (∗), мы доказывать не будем, посколькуего доказательство требует знания условий дифференцируемости интеграла по параметру(тема, выходящая за пределы курса МА на ЭФ). Это равенство — смена порядкадифференцирования и интегрирования — то единственное, ради чего введены условиярегулярности (см. пример ниже).∂Eθ T (X)∂θ=∂∂θZT (y) · f(y, θ) dy∗=IRnZ=IR∂f(y, θ) dyT (y) ·∂θZT (y) ·=IRT (y) ·=IR∂T (y) · f(y, θ) dy∂θ=IRnnZZ∂∂θ f(y, θ)!f(y, θ)· f(y, θ) dy=n∂L(y, θ) · f(y, θ) dy∂θnЧерез y в интегралах обозначен вектор (y1 , .
. . , yn ).34=Eθ∂T (X) ·L(X, θ) .∂θДоказательство неравенства Рао — Крамера.Мы докажем только неравенство для класса K0 . Необходимые изменения в доказательстве для класса Kb читатель может внести самостоятельно.Воспользуемся леммой 1. Будем брать в качестве T (X) разные функции и получатьзабавные формулы, которые потом соберем вместе.1.
Пусть T (X) ≡ 1. Тогда∂∂1 = EθL(X, θ).∂θ∂θXQДалее, поскольку f(X, θ) =fθ (Xi ), то L(X, θ) =ln fθ (Xi ), и0=0 = EθX ∂∂∂L(X, θ) = Eθln fθ (Xi ) = n · Eθln fθ (X1 ).∂θ∂θ∂θ(10)2. Пусть T (X) = θ∗ ∈ K0 , т. е. Eθ θ∗ = θ. Тогда∂∂∂Eθ θ ∗ =θ = 1 = Eθ θ∗ ·L(X, θ).∂θ∂θ∂θ(11)Вспомним свойство коэффициента корреляции:cov(ξ, η) = E ξη − E ξE η 6pD ξD η.Используя свойства (10) и (11), имеем∂cov θ , L(X, θ) = Eθ∂θ∗= Eθ∂∂θ ·L(X, θ) − Eθ θ∗ EθL(X, θ) =∂θ∂θ∗∂L(X, θ) = 1 6θ∗ ·∂θsDθ θ∗ Dθ∂L(X, θ).∂θ(12)∂L(X, θ):∂θnX∂∂∂∂DθL(X, θ) = Dθln fθ (Xi ) = nDθln fθ (X1 ) = nEθ ( ln fθ (X1 ))2 = nI(θ).∂θ∂θ∂θ∂θНайдем Dθi=1Подставляя дисперсию в неравенство (12), получим1 6 Dθ θ∗ · nI(θ) или Dθ θ∗ >1,nI(θ)что и требовалось доказать.Следующий пример показывает, что условие регулярности является существеннымдля выполнения равенства, помеченного (∗) в лемме 1.Пример 17 (нерегулярное семейство).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
