Математическая статистика (PDF), страница 6

. . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ.ОглавлениеJJIIJIОпределение 8. Говорят, что оценка θ∗1 лучше оценки θ∗2 в смысле среднеквадратического подхода, если для любого θ ∈ ΘEθ (θ∗1 − θ)2 6 Eθ (θ∗2 − θ)2 ,и хотя бы при одном θ это неравенство строгое.На стр. ... из 179НазадВо весь экранУйтиСтр.

47Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик сразу ответит «нет». Покажем, что он прав. Предположим, что мыимеем дело с невырожденной задачей: ни для какой статистики θ∗ невозможно тождество: θ∗ = θ при любых θ ∈ Θ.Теорема 4. В классе всех возможных оценок наилучшей в смысле среднеквадратического подхода оценки не существует.Доказательство теоремы 4. Пусть, напротив, θ∗ — наилучшая, то есть для любой другой оценки θ∗1 , при любом θ ∈ Θ выполненоEθ (θ∗ − θ)2 6 Eθ (θ∗1 − θ)2 .Пусть θ1 — произвольная точка Θ. Рассмотрим статистику θ∗1 ≡ θ1 .

ТогдаEθ (θ∗ − θ)2 6 Eθ (θ1 − θ)2 при любом θ ∈ Θ.ОглавлениеJJIIJIНа стр. ... из 179НазадВ частности, при θ = θ1 получим Eθ1 (θ∗ − θ1 )2 6 Eθ1 (θ1 − θ1 )2 = 0.Поэтому Eθ1 (θ∗ − θ1 )2 = 0. Но, поскольку θ1 произвольно, при любом θ ∈ Θвыполняется Eθ (θ∗ − θ)2 = 0. А это возможно только если θ∗ ≡ θ (оценка в точностиотгадывает неизвестный параметр), т. е. для вырожденной с точки зрения математической статистики задачи.Вырожденными являются, например, следующие задачи:∗ для выборки из Iθ , θ ∈ IR, выполнено тождество X1 ≡ θ; ∗ для выборки из Uθ,θ+1 , θ ∈ Z, выполнено тождество X1 ≡ θ.Упражнение.

Объяснить словесно доказательство теоремы 4.Во весь экранЕсли в классе всех оценок наилучшей не существует, то, возможно, следует разбитькласс всех оценок на отдельные подклассы и в каждом искать наилучшую.Обычно рассматривают оценки, имеющие одинаковое смещениеУйтиb(θ) = Eθ θ∗ − θ.Обозначим через Kb = Kb(θ) класс оценок, имеющих смещение, равное заданнойфункции b(θ):Стр. 48Kb = {θ∗ : Eθ θ∗ = θ + b(θ)} ,Здесь K0 — класс несмещенных оценок.K0 = {θ∗ : Eθ θ∗ = θ} .Определение 9. Оценка θ∗ ∈ Kb называется эффективной оценкой в классе Kb , еслиона лучше (не хуже) всех других оценок класса Kb в смысле среднеквадратическогоподхода.

То есть для любой θ∗1 ∈ Kb , для любого θ ∈ ΘОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиEθ (θ∗ − θ)2 6 Eθ (θ∗1 − θ)2 .Определение 10. Эффективная оценка в классе K0 называется просто эффективной.Замечание 8. Для θ∗ ∈ K0 , по определению дисперсии,Eθ (θ∗ − θ)2 = Eθ (θ∗ − Eθ θ∗ )2 = Dθ θ∗ ,так что сравнение в среднеквадратичном несмещенных оценок — это сравнение ихдисперсий. Поэтому эффективную оценку (в классе K0 ) часто называют «несмещеннойоценкой с равномерно минимальной дисперсией».

Равномерность подразумевается повсем θ ∈ Θ. Для θ∗ ∈ KbEθ (θ∗ − θ)2 = Dθ (θ∗ − θ∗ ) + (Eθ θ∗ − θ)2 = Dθ θ∗ + b2 (θ),Стр. 49так что сравнение в среднеквадратичном оценок с одинаковым смещением — это такжесравнение их дисперсий.Упражнение.

Мы собираемся искать наилучшую оценку в классе Kb . Объясните,почему доказательство теоремы 4 не пройдет в классе Kb .3.2. Единственность эффективной оценки в классе с заданным смещениемТеорема 5. Если θ∗1 ∈ Kb и θ∗2 ∈ Kb — две эффективные оценки в классе Kb , то свероятностью 1 они совпадают: Pθ (θ∗1 = θ∗2 ) = 1.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранДоказательство теоремы 5.

Заметим сначала, что Eθ (θ∗1 − θ)2 = Eθ (θ∗2 − θ)2 . Действительно, так как θ∗1 эффективна в классе Kb , то она не хуже оценки θ∗2 , то естьEθ (θ∗1 − θ)2 6 Eθ (θ∗2 − θ)2 ,и наоборот. Поэтому Eθ (θ∗1 − θ)2 = Eθ (θ∗2 − θ)2 .θ∗ + θ∗2Рассмотрим оценку θ∗ = 1. Она также принадлежит классу Kb . доказать!2Вычислим ее среднеквадратическое отклонение. Заметим, чтоУйти2+a−b22=a2 + b 2.2(6)Положим a = θ∗1 − θ, b = θ∗2 − θ. Тогда (a + b)/2 = θ∗ − θ, a − b = θ∗1 − θ∗2 .Подставим эти выражения в (6) и возьмем математические ожидания обеих частей:∗2Eθ (θ − θ) + EθСтр.

50a+b2θ∗1 − θ∗222= Eθ(θ∗1 − θ)2 + (θ∗2 − θ)2=2= Eθ (θ∗1 − θ)2 = Eθ (θ∗2 − θ)2 . (7)Но оценка θ∗ принадлежит Kb , то есть она не лучше, например, эффективной оценки θ∗1 . ПоэтомуEθ (θ∗ − θ)2 > Eθ (θ∗1 − θ)2 .Сравнивая это неравенство с равенством (7), видим, чтоОглавлениеEθJJIIJIНа стр. ... из 179НазадВо весь экранУйтиθ∗1 − θ∗22Тогда почему?2=1Eθ (θ∗1 − θ∗2 )2 6 0 и, следовательно, Eθ (θ∗1 − θ∗2 )2 = 0.4Pθ (θ∗1 = θ∗2 ) = 1, что и требовалось доказать.Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценкипопарно между собой, наилучшей оценки в целом классе не найти, но выбрать лучшуюиз двух тоже полезно. А способами поиска наилучшей в целом классе мы тоже скорозаймемся.Пример 11. Пусть X1 , .

. . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0. В примерах 4 и 9 мы нашли ОМП θ^ = X(n) = max{X1 , . . . , Xn }и ОММ по первому моменту θ∗ = 2X. Сравним их в среднеквадратичном.Оценка θ∗ = 2X несмещенная, поэтомуEθ (θ∗ − θ)2 = Dθ θ∗ = Dθ 2X = 4Dθ X = 4Стр. 51Dθ X1θ2θ2=4=.n12n3nДля θ^ = X(n) = max{X1 , .

. . , Xn } имеемEθ (θ^ − θ)2 = Eθ θ^2 − 2θEθ θ^ + θ2 .ОглавлениеJJIIJIПосчитаем первый и второй момент случайной величины θ^ = X(n) . Найдем (полезно вспомнить, как это делалось в прошлом семестре!) функцию распределения и^плотность θ:0,y < 0, nyPθ (X(n) < y) = Pθ (X1 < y)n =, y ∈ [0, θ],nθ1,y > θ,На стр. ... из 179НазадEθ X(n)0,если y 6∈ [0, θ],n−1fX(n) (y) =n y, если y ∈ [0, θ].θnZθZθnnyn−1yn−12θ, Eθ X(n) = y2 n n dy =θ2 .= yn n dy =θn+1θn+200Во весь экранПоэтомуEθ (X(n) − θ)2 =Уйтиnn2θ2 − 2θ2 + θ2 =θ2 .n+2n+1(n + 1)(n + 2)При n = 1, 2 квадратические отклонения равны, а при n > 2Eθ (X(n) − θ)2 =Стр. 522θ2θ2<= Eθ (2X − θ)2 ,(n + 1)(n + 2)3nто есть X(n) лучше, чем 2X.

При этом Eθ (X(n) − θ)2 стремится к нулю со скоростью n−2 , тогда как Eθ (2X − θ)2 — со скоростью n−1 .Упражнение.1. Доказать, что X(n) ∈ Kb , где b(θ) = −θ.n+1n+1X(n) ∈ K0 (несмещенная).nn+13. Сравнить оценкиX(n) и X(n) в среднеквадратичном.n2. Доказать, чтоОглавлениеJJII3.3.Асимптотически нормальные оценки (АНО)qДля того, чтобы уметь сравнивать оценки вида θ∗k = (k + 1)Xk (см. пример 4),среднеквадратического подхода недостаточно: второй момент такой случайной величиныпосчитать вряд ли удастся. Оценки такого вида (функции от сумм) удается сравниватьс помощью асимптотического подхода. Более точно, этот подход применим к такназываемым «асимптотически нормальным» оценкам.Пусть X1 , .

. . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ.kJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 53Определение 11. Оценка θ∗ называется асимптотически нормальной оценкой параметра θ с коэффициентом σ2 (θ), если√√n(θ∗ − θ)∗n(θ − θ) ⇒ N0,σ2 (θ) ,или⇒ N0,1 .σ(θ)Пример 12. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0.

Проверим, являются ли оценки θ∗ = 2X и θ^ = X(n)асимптотически нормальными (АНО). По ЦПТ,ОглавлениеJJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 54Xi√√√ n(θ∗ − θ) = n(2X − θ) = n 2 i=1nnPIIJnP=i=1− θ =nPi=12Xi − nθ√=n2Xi − nEθ 2X1√⇒ N0,Dθ 2X1 = N0,4Dθ X1 .nТо есть оценка θ∗ = 2X асимптотически нормальна с коэффициентомσ2 (θ) = 4Dθ X1 = 4θ2 /12 = θ2 /3.Для оценки θ^ = X(n) имеем:√√n(θ^ − θ) = n(X(n) − θ) < 0 с вероятностью 1.(8)По определению, ξn ⇒ F, если для любой точки x, являющейся точкой непрерывностифункции распределения F, имеет место сходимость Fξn (x) = P (ξn < x) → F(x).√Но Pθ ( n(X(n) − θ) < 0) = 1, тогда как для нормального распределения N0,σ2 (θ)функция распределения всюду непрерывна, и в нуле равна Φ0,σ2 (θ) (0) = 0.5.

Но 1 не√сходится к 0.5 при n → ∞, поэтому слабая сходимость n(X(n) − θ) к N0,σ2 (θ) местане имеет.Таким образом, оценка θ^ = X(n) асимптотически нормальной не является. Осталось ответить на напрашивающиеся вопросы:√1) Куда все же сходится по распределению n(X(n) − θ)?√Упражнение. Доказать, что n(X(n) − θ) ⇒ 0.ОглавлениеJJIIJIНа стр. ... из 179Порядок действий: Выписать определение слабой сходимости.

Нарисовать функцию рас√пределения нуля. Найти по определению функцию распределения n(X(n) − θ). Убедиться,что она сходится к функции распределения нуля во всех точках непрерывности последней.Не забудьте о существовании замечательных пределов, логарифмов и ряда Тейлора.√2) Если n(X(n) − θ) ⇒ 0, то на какую степень n нужно попробовать умножить X(n) − θ,чтобы получить сходимость к величине, отличной от 0 и ∞?Упражнение. Доказать, что −n(X(n) − θ) ⇒ η, где случайная величина η имеет показательное распределение E1/θ .Порядок действий: прежний.n+1X(n) свойство (8) не выполнено. Может ли эта оценка быть АНО?nУпражнение.

Модифицировать рассуждения и доказать, что эта оценка тоже не являетсяасимптотически нормальной.3) Для оценкиНазадВо весь экран4) Плохо ли, что оценка θ^ = X(n) не асимптотически нормальна? Может быть, сходимостьn(X(n) − θ) ⇒ −η еще лучше?УйтиПопробуем ответить на последний вопрос.3.4. «Скорость» сходимости оценки к параметруТеорема 6. Если θ∗ — асимптотически нормальная оценка для θ, то θ∗ состоятельна.Стр.

55ОглавлениеJJIIJIДоказательство теоремы 6. Вспомним свойство слабой сходимости: произведениедвух последовательностей, одна из которых сходится (по вероятности) к постоянной, адругая слабо сходится к некоторой случайной величине, слабо сходится к произведениюпределов. Поэтому1 √θ∗ − θ = √ · n(θ∗ − θ) ⇒ 0 · ξ = 0,nгде ξ имеет нормальное распределение N0,σ2 (θ) . Но слабая сходимость к нулю влечетсходимость к нулю по вероятности.Упражнение. Верно ли утверждение теоремы 6, если предельная величина ξ имеетраспределение, отличное от нормального?На стр. ...

из 179НазадВо весь экранУйтиpВзглянем с этой точки зрения на оценку θ^ = X(n) в примере 12. Для нее (и длятех, кто справился с упражнениями)n(X(n) − θ) ⇒ ξ,Стр. 56pТаким образом, если θ∗ асимптотически нормальна, то θ∗ −→ θ, или θ∗ − θ −→ 0.Свойство асимптотической нормальности показывает, в частности, что скорость этой11сходимости имеет порядок √ , т. е.