Н.И. Чернова - Лекции по математической статистике, страница 7

... из 179НазадВо весь экранУйтиpВзглянем с этой точки зрения на оценку θ^ = X(n) в примере 12. Для нее (и длятех, кто справился с упражнениями)n(X(n) − θ) ⇒ ξ,Стр. 56pТаким образом, если θ∗ асимптотически нормальна, то θ∗ −→ θ, или θ∗ − θ −→ 0.Свойство асимптотической нормальности показывает, в частности, что скорость этой11сходимости имеет порядок √ , т. е. расстояние между θ∗ и θ ведет себя как √ :nn√pθ∗ − θ −→ 0, ноn(θ∗ − θ) ⇒ N0,σ2 (θ) .(9)где ξ — некоторая случайная величина. Иначе говоря, расстояние между θ^ и θ ведет1себя как .nУпражнение. Лучше это или хуже?3.5.ОглавлениеАсимптотическая нормальность ОММВ примере 12 мы видели, что для оценок типа 2X свойство асимптотической нормальности сразу следует из ЦПТ.Установим асимптотическую нормальность оценок более сложного вида, какимиобычно оказываются оценки метода моментов.Пусть функция g(y) такова, что 0 6= Dθ g(X1 ) < ∞.1Pg(Xi ) является асимптотически нормальной оценкойТогда статистика g(X) =nдля Eθ g(X1 ) с коэффициентом σ2 (θ) = Dθ g(X1 ):Свойство 5.JJIIJIНа стр.

... из 179Назад√ g(X) − Eθ g(X1 )n p⇒ N0,1 .Dθ g(X1 )Во весь экранУпражнение. Вспомнить ЦПТ и доказать свойство 5.УйтиСтр. 57Следующая теорема утверждает асимптотическую нормальность оценок вида!Pn∗1 g(Xi ).θ = H g(X) = HnТакие оценки получаются обычно найти примеры! при использовании метода моментов,при этом всегда θ = H (Eθ g(X1 )).Теорема 7. Пусть функция g(y) такова, что 0 6= Dθ g(X1 ) < ∞, а функция H(y)непрерывно дифференцируема в точке a = Eθ g(X1 ) и H 0 (a) = H 0 (y)y=a 6= 0.Тогда оценка θ∗ОглавлениеJJIIJIНа стр. ...

из 179= H g(X)является асимптотически нормальной оценкойдля θ = H (Eθ g(X1 )) = H(a) с коэффициентом σ2 (θ) = (H 0 (a))2 · Dθ g(X1 ).Доказательство теоремы 7.Согласно ЗБЧ последовательность g(X) стремится к a = Eθ g(X1 ) по вероятностис ростом n. Функция H(y) − H(a) , y =6 a,y−aG(y) = 0H (a),y=aНазадВо весь экранУйтипо условию непрерывна в точке a. Поскольку сходимость по вероятности сохраняетсяpпод действием непрерывной функции, получим, что G(g(X))−→ G(a)= H 0 (a).√ Заметим также, что по свойству 5 величина n g(X) − a слабо сходится кнормальному распределению N0,Dθ g(X1 ) .

Пусть ξ — случайная величина из этогораспределения. Тогда √ √ n H g(X) − H(a) = n g(X) − a · G g(X) ⇒ ξ · H 0 (a).⇓↓pξH 0 (a)Стр. 58pМы использовали свойство слабой сходимости: если ξn ⇒ ξ и ηn −→ c = const,то ξn ηn ⇒ cξ. Но ξ · H 0 (a) как раз и имеет распределение N0, (H 0 (a))2 ·Dθ g(X1 ) .Пример 13.

Пусть X1 , . . . , Xn — выборка объема n изqравномерного распределеkния U0,θ , где θ > 0. Проверим, являются ли оценки θ∗k = (k + 1)Xk , k = 1, 2, . . . ,полученные методом моментов в примере 4, асимптотически нормальными.√Пусть g(y) = (k + 1)yk , H(y) = k y. ТогдаОглавлениеθ∗kJJIIsPq=k(k +1)Xk=При этом(k + 1)Xki=HnqkEθ (k + 1)Xk1 =IНа стр.

... из 179НазадВо весь экранУйтиg(Xi ).nk(k + 1)θk.k+1Впрочем, иначе быть не могло по определению метода моментов. верно? Проверимдругие условия теоремы 7:θka = Eθ g(X1 ) = (k + 1)= θk ,k+12kk222 θ2kдисперсия Dθ g(X1 ) = Eθ (k+1)2 X2k−a=(k+1)−θ=θ2k12k + 12k + 1конечна и отлична от нуля. Функция H(y) непрерывно дифференцируема в точке a:1 1−k1y k , и H 0 (a) = H 0 (θk ) = θ1−k непрерывна при θ > 0.kk∗По теореме 7, оценка θk — АНО для θ с коэффициентомH 0 (y) =2σ2k (θ) = H 0 (a)Стр. 59Psθ = H (Eθ g(X1 )) =JkDθ g(X1 ) =1 2−2kk2θ22kθ·θ=.k22k + 12k + 1В том числе для θ∗1 = 2X имеем коэффициент σ21 (θ) =θ2(см.

пример 12).3Осталось понять, при чем тут сравнение оценок и что показывает коэффициентасимптотической нормальности.3.6.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 60Асимптотический подход к сравнению оценокВозьмем две случайные величины: ξ из нормального распределения N0,1 и 10 ξиз нормального распределения N0,100 . Если для ξ, например, 0, 9973.. = P (|ξ| < 3),то для 10 ξ уже 0, 9973.. = P (|ξ| < 30). Разброс значений величины 10 ξ гораздобольший, и дисперсия (показатель рассеяния) соответственно больше.Что показывает коэффициент асимптотической нормальности? Возьмем две АНОс коэффициентами 1 и 100:√√n(θ∗1 − θ∗ ) ⇒ N0,1 иn(θ∗2 − θ∗ ) ⇒ N0,100 .√При больших n разброс значений величины n(θ∗2 − θ∗ ) около нуля гораздо боль√ше, чем у величины n(θ∗1 − θ∗ ), поскольку больше предельная дисперсия (она жекоэффициент асимптотической нормальности).Но чем меньше отклонение оценки от параметра, тем лучше.

Отсюда — естественный способ сравнения асимптотически нормальных оценок:Определение 12. Пусть θ∗1 — АНО с коэффициентом σ21 (θ), θ∗2 — АНО с коэффициентом σ22 (θ). Говорят, что θ∗1 лучше, чем θ∗2 в смысле асимптотического подхода,если для любого θ ∈ Θσ21 (θ) 6 σ22 (θ),и хотя бы при одном θ это неравенство строгое.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранПример 13 (продолжение).Сравним между собой в асимптотическом смысле∗∗оценки в последовательности θ1 , θ2 , . .

. . Для θ∗k коэффициент асимптотической нормальности имеет вид σ2k (θ) = θ2 /(2k + 1). Коэффициент тем меньше, чем больше k,то есть каждая следующая оценка в этой последовательности лучше предыдущей.Оценка θ∗∞ , являющаяся «последней», могла бы быть лучше всех оценок в этойпоследовательности в смысле асимптотического подхода, если бы являлась асимптотически нормальной. Увы:Упражнение. См. задачу 7 (б) в разделе 1. Доказать, что θ∗k → X(n) п. н., тоесть для любого элементарного исхода ω при k → ∞vuuukt(k + 1)nPi=1Xki (ω)n→ max{X1 (ω), .

. . , Xn (ω)}.Еще раз обращаем внимание читателя, что оценка θ^ = X(n) оказывается лучшелюбой асимптотически нормальной оценки: «скорость» ее сходимости к параметру, какпоказывает (9), равна n−1 в отличие от n−1/2 для любой АНО.3.7. Вопросы и упражненияУйтиСтр. 611. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ IR.Сравнить оценки θ^0 = X(n) − 5, θ^1 = X(1) из примера 10 в среднеквадратичном смысле.Сравнить с этими оценками оценку метода моментов θ∗ = X − 2,5.2. Для показательного распределения с rпараметром α оценка, полученная методом моментовk!по k-му моменту, имеет вид: α∗k = k. Сравнить оценки α∗k , k = 1, 2, . . .

в смыслеXkасимптотического подхода. Доказать, что оценка α∗1 наилучшая.4.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранВернемся к сравнению оценок в смысле среднеквадратического подхода. В классеодинаково смещенных оценок эффективной мы назвали оценку с наименьшим среднеквадратическим отклонением (или наименьшей дисперсией). Но попарное сравнениеоценок — далеко не лучший способ отыскания эффективной оценки. Сегодня мы познакомимся с утверждением, позволяющим во многих случаях доказать эффективностьоценки (если, конечно, она на самом деле эффективна).Это утверждение называется неравенством Рао — Краме́ра и говорит о том, чтов любом классе Kb(θ) существует нижняя граница для среднеквадратического отклонения Eθ (θ∗ − θ)2 любой оценки.Таким образом, если найдется оценка, отклонение которой в точности равно этойнижней границе (самое маленькое), то данная оценка — эффективна, поскольку упрочих оценок отклонение меньше быть не может.К сожалению, данное неравенство верно лишь для так называемых «регулярных»семейств распределений, к которым не относится, например, большинство равномерных.4.1.УйтиСтр.

62Эффективные оценкиРегулярность семейства распределенийПусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ. Пусть fθ (y) — плотность Fθ (в смысле определения 5). Введемпонятие носителя семейства распределений Fθ .Любое множество C ⊆ IR такое, что при всех θ ∈ Θ выполняетсяравенство Pθ (X1 ∈ C) = 1, назовем носителем семейства распределений Fθ .ОглавлениеJJIIJIЗамечание 9. Мы ввели понятие носителя семейства мер в IR, отличное от общепринятого.

Так, носитель в смысле данного нами определения не единственен, но всеэти носители отличаются на множество нулевой вероятности.Следующее условие назовем условием регулярности.(R) Существует такой носитель C семейства распределений Fθ , что при каждом y ∈ Cpфункция fθ (y) непрерывно дифференцируема по θ во всех точках θ ∈ Θ.На стр. ... из 179НазадВо весь экранУйти4.2.«Регулярные» и «нерегулярные» семейства распределенийПример 14 (регулярное семейство). Рассмотрим показательное распределение Eαс параметром α > 0. Плотность этого распределения имеет вид√qαe−αy , если y > 0,αe−αy/2 , если y > 0,fα (y) =fα (y) =0,если y 6 0,0,если y 6 0.В качестве множества C можно взять (0, +∞), поскольку Pα (X1 > 0) = 1.

Приpлюбом y ∈ C, т. е. при y > 0, существует производная функции fα (y) по α, и этапроизводная непрерывна во всех точках α > 0:Стр. 63√ y1∂ qfα (y) = √ e−αy/2 − α e−αy/2 .∂α22 αОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранПример 15 (нерегулярное семейство). Рассмотрим равномерное распределение U0,θс параметром θ > 0. Плотность этого распределения имеет вид 1 , если 0 6 y 6 θ, 1 , если θ > y и y > 0,θfθ (y) = θ=0, если y 6∈ [0, θ]0иначе.Поскольку параметр θ может принимать любые положительные значения, то никакойограниченный интервал (0, x) не является носителем этого семейства распределений:Pθ (X1 ∈ (0, x)) < 1 при θ > x.

Возьмем C = (0, +∞) — оно при любом θ > 0обладает свойством Pθ (X1 ∈ C) = 1. Так что носитель этого семейства распределений— вся положительная полуось (с точностью до множеств нулевой лебеговой меры).Покажем, что условие (R) не выполнено: множество тех y ∈ C, при каждом изpкоторых функция fθ (y) дифференцируема по θ, пусто.fθ (y)6Уйти-yθРис.

5: Пример 15Стр. 64При фиксированном y > 0 изобразим функцию fθ (y) (или ее корень — масштаб не соблюден) как функцию переменной θ.Видим, что какое бы y ∈ C мы ни взяли,fθ (y) даже не является непрерывной по θ, атем более дифференцируемой. Следовательно,условие (R) не выполнено.ОглавлениеJJIIJIНа стр. ... из 179Пример 16 (нерегулярное семейство). Рассмотрим «смещенное» показательноераспределение с параметром сдвига θ ∈ IR и плотностьюeθ−y , если y > θ,eθ−y , если θ < y,=fθ (y) =0,если y 6 θ0,если θ > y.Поскольку при любом θ распределение сосредоточено на (θ, +∞), а параметр θможет принимать любые вещественные значения, то только C = IR (плюс-минус множество меры нуль) таково, что при любом θ > 0 выполнено Pθ (X1 ∈ C) = 1.Покажем, что условие (R) опять не выполнено: множество тех y ∈ C, при каждом изpкоторых функция fθ (y) дифференцируема по θ, столь же пусто, как и в примере 15.fθ (y)6НазадВо весь экранy-θПри фиксированном y ∈ IR на рисунке 6 изображена функция fθ (y) (а может быть, кореньиз нее) как функция переменной θ.Какое бы y ни было, fθ (y) даже не являетсянепрерывной по θ, а тем более дифференцируемой.УйтиРис.