Н.И. Чернова - Лекции по матстату (1115348), страница 6
Текст из файла (страница 6)
Увы:Упражнение. (См. задачу 8 к главе 1). Доказать, что θk∗ → X(n) (поточечно), то есть для любогоэлементарного исхода ω при k → ∞rPn kX (ω)k(k + 1) 1 i→ max{X1 (ω), . . . , Xn (ω)}.nУпражнение.∗ Можно ли придать некий смысл фразе: «оценка θb = X(n) асимптотически нормальнас коэффициентом 0»? Какой? И зачем?3.9Вопросы и упражнения1. Задачник [1], задачи 7.5, 4.4 – 4.7, 4.9.2.
Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ R. Сравнитьоценки θb0 = X(n) − 5, θb1 = X(1) (см. пример 9) в среднеквадратичном. Сравнить с этими оценкамиоценку метода моментов θ∗ = X − 2,5.233. Доказать, что в условиях предыдущей задачи оценка θ∗ асимптотически нормальна. Вычислить коэффициент. Доказать, что θb0 и θb1 АНО не являются.4. Для показательного распределенияс параметром α оценка, полученная методом моментов по k-муrk!k∗моменту, имеет вид: αk =(задача 5(г) после главы 2). Сравнить оценки αk∗ , k = 1, 2, .
. . вXkсмысле асимптотического подхода. Доказать, что оценка α1∗ наилучшая.244Э ФФЕКТИВНЫЕ ОЦЕНКИВернемся к сравнению оценок в смысле среднеквадратического подхода. Мы договорились в классеодинаково смещенных оценок называть эффективной оценку с наименьшим среднеквадратическим отклонением (или наименьшей дисперсией). Но попарное сравнение оценок — далеко не лучший способотыскания эффективной оценки. Сегодня мы познакомимся с утверждением, позволяющим доказатьэффективность оценки (если, конечно, она на самом деле эффективна).
Это утверждение называетсянеравенством Рао-Крамера и говорит о том, что в классе Kb существует нижняя граница для среднеквадратического отклонения Eθ (θ∗ − θ)2 любой оценки.Таким образом, если найдется оценка, отклонение которой в точности равно этой нижней границе (самое маленькое), то данная оценка — эффективна, поскольку у прочих оценок отклонение меньше быть неможет.К сожалению, данное неравенство верно не для всех распределений, а лишь для так называемых «регулярных» семейств распределений, к которым не относится, например, большинство равномерных.4.1Условия регулярностиПусть X1 , . . .
, Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ.Пусть fθ (y) — плотность Fθ (в смысле определения 5).Следующее условие назовем условием регулярности.(R)Для почти всех y ∈ R функцияθ ∈ Θ.pfθ (y) непрерывно дифференцируема по θ во всех точкахЗамечание 11. Термин «для почти всех y» означает «для всех y, за исключением (возможно) y ∈ A,где Pθ (X1 ∈ A) = 0». В частности, для дискретного распределения Бернулли Pθ (X1 ∈ A) = 0 для всехA, не содержащих 0 и 1. Термин «функция непрерывно дифференцируема по θ» означает, что функциянепрерывна и дифференцируема по θ, и ее производная (частная) также непрерывна по θ.4.2 «Регулярные» и «нерегулярные» семейства распределенийПример 13.
Регулярное семейство. Рассмотрим показательное распределение Eα с параметром α >0. Плотность этого распределения имеет вид −αy√pαe, если y > 0,αe−αy/2 , если y > 0,fα (y) =fα (y) =0,если y 6 0,0,если y 6 0.При любом y 6= 0 существует производная по α, и эта производная непрерывна во всех точках α > 0:(√ y1∂ p√ e−αy/2 − α e−αy/2 , если y > 0,fα (y) = 2 α2∂α0,если y < 0.Пример 14. Нерегулярное семейство. Рассмотрим равномерное распределение U0,θ с параметромθ > 0.
Плотность этого распределения имеет вид((11,если06y6θ,= θ , если θ > y и y > 0,fθ (y) = θ0, иначе.0, если y 6∈ [0, θ]При фиксированном y > 0 изобразим функцию fθ (y) (или ее корень — масштаб не соблюден) как функцию переменной θ.Видим, что какое бы y > 0 ни было, fθ (y) даже не является непрерывной по θ, а тем более дифференцируемой.25fθ (y)6fθ (y)6yyθРис. 4: Пример 15.θПример 14.Пример 15. Нерегулярное семейство. Рассмотрим «сдвинутое» показательное распределение с параметром сдвига θ ∈ R и плотностью θ−y, если y > θ, = eθ−y , если θ < y,fθ (y) = e0,если y 6 θ0,если θ > y.При фиксированном y ∈ R изобразим функцию fθ (y) (или ее корень) как функцию переменной θ.Видим, что какое бы y ни было, fθ (y) даже не является непрерывной по θ, а тем более дифференцируемой.Замечание 12.
Вместо непрерывной дифференцируемостиpfθ (y) можно требовать того же от ln fθ (y).4.3 Неравенство Рао-КрамераПусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ, исемейство Fθ удовлетворяет условию регулярности (R).Пусть, кроме того, выполнено условие(RR)def«Информация Фишера» I(θ) = Eθ2∂ln fθ (X1 ) существует, положительна и непре∂θрывна по θ во всех точках θ ∈ Θ.При выполнении условий (R) и (RR) справедливо следующее утверждение.Теорема 10 («Неравенство Рао-Крамера»).
Пусть θ∗ ∈ K0 , и Dθ θ∗ ограничена на компактах(то есть для любого компакта Θ0 ⊂ Θ найдется постоянная C такая, что Dθ θ∗ 6 C для всехθ ∈ Θ0 ). Тогда1Dθ θ∗ = Eθ (θ∗ − θ)2 >.nI(θ)Упражнение. Проверить, что для показательного семейства Eα с параметром α > 0 дисперсия Dα X1не ограничена глобально при α > 0, но ограничена на компактах.Неравенство сформулировано для класса несмещенных оценок. В классе оценок с ненулевым смещением b(θ) неравенство Рао-Крамера выглядит так:Теорема 11 («Неравенство Рао-Крамера»). Пусть θ∗ ∈ Kb и Dθ θ∗ ограничена на компактах.Тогда (при выполнении условий (R) и (RR))Eθ (θ∗ − θ)2 >(1 + b0 (θ))2(1 + b0 (θ))2+ b2 (θ) или Dθ θ∗ >.nI(θ)nI(θ)26Замечание 13.
Доказательство неравенства Рао-Крамера при первом, втором и третьем прочтенииможно опустить.Доказательство неравенства Рао-Крамера. Мы докажем только неравенство для класса K0(теорему 10). Необходимые изменения в доказательство для класса Kb читатель может внести самостоятельно.Нам понадобится следующее утверждение.~ дисперсияЛемма 5. При выполнении условий (R) и (RR) для любой статистики T = T (X),которой ограничена на компактах,∂∂~ θ).Eθ T = Eθ T ·L(X,∂θ∂θУпражнение.
Вспомнить, что такое функция правдоподобия (Ψ) (определение 6), логарифмическаяфункция правдоподобия (L) (определение 7) и как они связаны друг с другом, с плотностью X1 и совместной плотностью выборки.Доказательство леммы 5. Напоминание: математическое ожидание функции от нескольких случайных величин есть (многомерный) интеграл от этой функции помноженной на совместную плотностьэтих с.в.ZEθ T (X1 , .
. . , Xn ) = T (y1 , . . . , yn )Ψ(y1 , . . . , yn , θ) dy1 . . . dyn .RnВ следующей цепочке равенств равенство, помеченное (?), мы доказывать не будем, поскольку его доказательство требует несколько более основательных знаний математического анализа, нежели имеющиесяу студентов 2 курса ЭФ 1997 г. Это равенство — смена порядка дифференцирования и интегрирования— то единственное, ради которого и введены условия регулярности (см. пример ниже).Напоминание: ln f (x) — сложная функция (см.
правила дифференцирования суперпозиции).∂~Eθ T (X)∂θ===ZZ∂∂?T (~y )Ψ(~y , θ) d~y =T (~y )Ψ(~y , θ) d~y =∂θ∂θZ∂Ψ(~y , θ)T (~y ) ∂θ· Ψ(~y , θ) d~y =Ψ(~y , θ)Z∂~ · ∂ L(X,~ θ).T (~y ) L(~y , θ) · Ψ(~y , θ) d~y = Eθ T (X)∂θ∂θВоспользуемся леммой 5. Будем брать в качестве T разные функции и получать полезные формулы,которые потом соберем вместе.~ ≡ 1. Тогда1. Пусть T (X)∂∂~ θ).1 = Eθ L(X,∂θ∂θ~ θ) = Q fθ (Xi ), то L(X,~ θ) = P ln fθ (Xi ), иДалее, поскольку Ψ(X,0=0 = EθX∂~ θ) = EθL(X,ln fθ (Xi ) = nEθ ln fθ (X1 ).∂θ(7)∂∂∂~ θ).Eθ θ ∗ =θ = 1 = Eθ θ ∗ ·L(X,∂θ∂θ∂θ(8)~ = θ∗ ∈ K0 .
Тогда2. Пусть T (X)Вспомним свойство коэффициента корреляции:cov(ξ, η) = Eξη − EξEη 627pDξDη.Используя свойства (7) и (8), имеемcov(θ∗ ,∂~ θ)) = Eθ θ∗ · ∂ L(X,~ θ) − Eθ θ∗ Eθ ∂ L(X,~ θ) =L(X,∂θ∂θ∂θr∂∂∗~~ θ).= Eθ θ ·L(X, θ) = 1 6 Dθ θ∗ Dθ L(X,∂θ∂θ(9)∂~ θ):Найдем Dθ ∂θL(X,DθX ∂∂∂∂~ θ) = DθL(X,ln fθ (Xi ) = nDθ ln fθ (X1 ) = nEθ ( ln fθ (X1 ))2 = nI(θ).∂θ∂θ∂θ∂θПодставляя дисперсию в неравенство (9), получим1 6 Dθ θ∗ · nI(θ) или Dθ θ∗ >1,nI(θ)что и требовалось доказать.Следующий пример показывает, что условие регулярности является существенным для выполненияравенства, помеченного (?) в лемме 5.Пример 16. Нерегулярное семейство. Рассмотрим равномерное распределение U0,θ с параметромθ > 0. Выпишем при n = 1 какой-нибудь интеграл и сравним производную от него и интеграл от производной:ZθZθ∂1∂∂ 11dy =1 = 0;dy = − 6= 0.∂θθ∂θ∂θ θθ00Заметим, что и само утверждение неравенства Рао-Крамера для данного семейства распределений невыполнено: найдется оценка, дисперсия которой ведет себя как 1/n2 , а не 1/n, как в неравенстве РаоКрамера.Упражнение.
Проверить, что в качестве этой «выдающейся» из неравенства Рао-Крамера оценкиn+1X(n) ∈ K0 .можно брать X(n) , илиn4.4Неравенство Рао-Крамера как способ проверки эффективности оценокСформулируем очевидное следствие из неравенства Рао-Крамера.Следствие 1. Если семейство распределений Fθ удовлетворяет условиям регулярности (R) и(RR), и оценка θ∗ ∈ Kb такова, что в неравенстве Рао-Крамера достигается равенство:Eθ (θ∗ − θ)2 =(1 + b0 (θ))2(1 + b0 (θ))2+ b2 (θ) или Dθ θ∗ =,nI(θ)nI(θ)то оценка θ∗ эффективна в классе Kb .Пример 17. Для выборки X1 , . . . , Xn из распределения Пуассона Πλ оценка λ∗ = X эффективна (вклассе K0 ), так как для нее достигается равенство в неравенстве Рао-Крамера (см. [1], Пример на с.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
