1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 7

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 7)

Обычно рассматривают оценки, имеющие одинаковоесмещение b(θ) = E θ∗ − θ.Обозначим через Kb = Kb(θ) класс всех оценок со смещением, равнымзаданной функции b(θ):Kb = {θ∗ | E θ∗ = θ + b(θ)} ,K0 = {θ∗ | E θ∗ = θ} .Здесь K0 — класс несмещённых оценок.О п р е д е л е н и е 10. Оценка θ∗ ∈ Kb называется эффективной оценкой в классе Kb , если она лучше (не хуже) всех других оценок класса Kbв смысле среднеквадратического подхода, т. е. для любой θ∗1 ∈ Kb , длялюбого θ ∈ ΘE(θ∗ − θ)2 ⩽ E(θ∗1 − θ)2 .О п р е д е л е н и е 11. Эффективная оценка в классе K0 называетсяпросто эффективной.§ 1.

Среднеквадратический подход к сравнению оценок35З а м е ч а н и е 8. Для оценки θ∗ ∈ K0 по определению дисперсииE(θ∗ − θ)2 = E(θ∗ − E θ∗ )2 = D θ∗ ,т. е. сравнение в среднеквадратичном несмещённых оценок есть просто сравнение их дисперсий. Поэтому эффективную оценку ещё называют «несмещённой оценкой с равномерно минимальной дисперсией»(«н. о.

р. м. д.»). Равномерность имеется в виду по всем θ ∈ Θ.Для смещённых оценок θ∗ ∈ KbE(θ∗ − θ)2 = D(θ∗ − θ) + (E θ∗ − θ)2 = D θ∗ + b2 (θ),т. е. сравнение в среднеквадратичном оценок с одинаковым смещениемтакже приводит к сравнению их дисперсий.У п р а ж н е н и е . Мы хотим найти наилучшую оценку в классе Kb .Объясните, почему доказательство теоремы 10 не пройдет в классе Kb .Следующее утверждение показывает, что в классе оценок с одинаковым смещением не может существовать двух различных эффективныхоценок: если эффективная оценка существует, она единственна.Т е о р е м а 11.

Если θ∗1 ∈ Kb и θ∗2 ∈ Kb — две эффективные оценкив классе Kb , то с вероятностью 1 они совпадают: θ∗1 = θ∗2 п. н.Д о к а з а т е л ь с т в о. Заметим сначала, что E(θ∗1 − θ)2 = E(θ∗2 − θ)2 .Действительно, так как θ∗1 эффективна в классе Kb , то она не хуже оценки θ∗2 , т. е. E(θ∗1 − θ)2 ⩽ E(θ∗2 − θ)2 и наоборот.θ∗ + θ∗Рассмотрим оценку θ∗ = 1 2 . Она также принадлежит классу2Kb (доказать).

Вычислим её среднеквадратическое отклонение. Запишем()()a+b 2a−b 2a2 + b2+=(7)2и положим в этом равенстве a =2θ∗1a+b= θ∗ − θ,22− θ, b =θ∗2− θ. Тогдаa − b = θ∗1 − θ∗2 .Подставим эти выражения в (7) и вычислим математические ожиданияобеих частей:( ∗ ∗ )2(θ∗ − θ)2 + (θ∗2 − θ)2θ −θ∗2=E 1= E(θ∗1 − θ)2 . (8)E(θ − θ) + E 1 222Но оценка θ∗ принадлежит Kb , т. е. она не лучше, например, эффективной оценки θ∗1 . ПоэтомуE(θ∗ − θ)2 ⩾ E(θ∗1 − θ)2 .36ГЛАВА III.

СРАВНЕНИЕ ОЦЕНОКСравнивая это неравенство с равенством (8), видим, что( ∗ ∗ )2θ −θ1= E(θ∗1 − θ∗2 )2 ⩽ 0 и, следовательно, E(θ∗1 − θ∗2 )2 = 0.E 1 224Тогда (почему?) θ∗1 = θ∗2 п. н., что и требовалось доказать.Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценки попарно между собой, наилучшей оценки в целом классе ненайти, но выбрать лучшую из двух тоже полезно. Поиску наилучшей оценки в целом классе посвящена следующая глава.П р и м е р 13. Пусть X1 , .

. . , Xn — выборка объёма n из равномерного распределения U0, θ , где θ > 0. В примерах 4 и 10 мы нашли ОМПθ̂ = X(n) = max{X1 , . . . , Xn } и ОММ по первому моменту θ∗ = 2X.Сравним их в среднеквадратичном.Оценка θ∗ = 2X несмещённая, поэтомуE(θ∗ − θ)2 = D θ∗ = D2X = 4 · DX = 4DX1θ2θ2=4·=.n12n3nДля θ̂ = X(n) = max{X1 , . .

. , Xn } имеем E(θ̂ − θ)2 = E θ̂2 − 2θ E θ̂ + θ2 .Найдём функцию и плотность распределения случайной величины θ̂ :y < 0,0,P(X(n) < y) = P(X1 < y, . . . , Xn < y) = P n (X1 < y) =0,fX(n) (y) =n yynθn1,, y ∈ [0, θ],y > θ,если y ̸∈ [0, θ],n−1θn, если y ∈ [0, θ].Посчитаем первый и второй моменты случайной величины θ̂ = X(n) :∫θEX(n) = yny n−1θnndy =θ,n+10∫θ2EX(n)2= y ny n−1θndy =nθ2 .n+20ПоэтомуE(X(n) − θ)2 =nn2θ2 − 2θ2 + θ2 =θ2 .n+2n+1(n + 1)(n + 2)При n = 1, 2 квадратические отклонения оценок θ∗ и θ̂ равны: ни однаиз этих оценок не лучше другой в среднеквадратическом смысле, а при37§ 2. Асимптотический подход к сравнению оценокn > 2 оценка X(n) оказывается лучше, чем 2X :E(X(n) − θ)2 =θ22θ2<= E(2X − θ)2 .(n + 1)(n + 2)3nПри этом E(X(n) − θ)2 стремится к нулю со скоростью n−2 , тогда какE(2X − θ)2 — всего лишь со скоростью n−1 .§ 2.

Асимптотический подход к сравнению оценокАсимптотически нормальные оценки. Среднеквадратический подходк сравнению оценок имеет существенный недостаток: не всегда возможно вычислить моменты величины θ∗ − θ. Например,√ не удастся сравнить в среднеквадратичном смысле оценки θ∗k =(k + 1)X k из примера 4 (с. 24). Оценки такого вида (нелинейные функции от сумм) можносравнивать с помощью асимптотического подхода. Этот подход применимк асимптотически нормальным оценкам.Пусть X1 , .

. . , Xn — выборка объёма n из параметрического семейства распределений Fθ , θ ∈ Θ.О п р е д е л е н и е 12. Оценка θ∗ называется асимптотически нормальной оценкой (АНО) параметра θ с коэффициентом σ2 (θ), если длялюбого θ ∈ Θ имеет место слабая сходимость при n → ∞√ θ∗ − θ√ ∗n(θ − θ) ⇒ N0, σ2 (θ) или, что то же самое,n⇒ N0, 1 .kσ(θ)Асимптотическая нормальность оценок является важным свойствомпоследовательностей оценок. В дальнейшем мы увидим, что это свойствоиспользуется не только для сравнения оценок между собой, но и при построении доверительных интервалов для неизвестных параметров и в задачах проверки гипотез о значениях этих параметров.П р и м е р 14. Пусть X1 , .

. . , Xn — выборка объёма n из равномерного распределения U0, θ с параметром θ > 0. Проверим, являются лиоценки θ∗ = 2X и θ̂ = X(n) асимптотически нормальными. По ЦПТ,n∑( ∑)(2Xi ) − nθ√√√ ∗Xii=1√n(θ − θ) =n(2X − θ) = n 2−θ ==nn∑=n(2Xi ) − nE(2X1 )√⇒ N0, D(2X1 ) = N0, 4DX1 .ni=138ГЛАВА III. СРАВНЕНИЕ ОЦЕНОКИтак, оценка θ∗ = 2X асимптотически нормальна с коэффициентомθ2θ2σ2 (θ) = 4DX1 = 4 ·= .123Для проверки асимптотической нормальности оценки θ̂ = X(n) воспользуемся определением слабой сходимости.

По определению, ξn ⇒ F,если для любой точки x, являющейся точкой непрерывности функциираспределения F, имеет место сходимостьP(ξn < x) → F (x) при n → ∞.√Слабая сходимость n (X(n) − θ) к N0, σ2 имеет место, если для любогоx ∈ R (почему для любого?)√P( n(X(n) − θ) < x) → Φ0, σ2 (x) при n → ∞.√Но в точке x = 0 функция распределения величины n (X(n) − θ)равна единице. Действительно,√√n(θ̂ − θ) = n (X(n) − θ) < 0 п.

н.,(9)√поэтому Pθ ( n (X(n) − θ) < 0) = 1. А для нормального распределенияN0, σ2 (θ) функция распределения в нуле равна Φ0, σ2 (θ) (0) = 0,5. Но 1 не√сходится к 0,5 при n → ∞, поэтому слабая сходимость n (X(n) − θ)к N0, σ2 (θ) места не имеет и оценка θ̂ = X(n) асимптотически нормальнойне является.Осталось ответить на напрашивающиеся вопросы.√В о п р о с 1. Куда всё же сходится по распределению n(X(n) − θ) ?√У п р а ж н е н и е. Доказать, что n(X(n) − θ) ⇒ 0.П о р я д о к д е й с т в и й: Выписать определение слабой сходимости.Нарисовать функцию√ распределения нуля.

Найти по определению функцию распределения n(X(n) − θ). Убедиться, что она сходится к функциираспределения нуля во всех точках непрерывности последней. Не забытьо существовании замечательных пределов, логарифмов и ряда Тейлора.√В о п р о с 2. Если n(X(n) − θ) ⇒ 0, то на какую степень n нужнопопробовать умножить X(n) − θ, чтобы получить сходимость к величине,отличной от нуля и от бесконечности?У п р а ж н е н и е. Доказать, что −n(X(n) − θ) ⇒ η, где случайная величина η имеет показательное распределение E1/θ .П о р я д о к д е й с т в и й: прежний.39§ 2. Асимптотический подход к сравнению оценокn+1В о п р о с 3. Для оценкиX(n) свойство (9) не выполнено.

Можетnли эта оценка быть АНО?У п р а ж н е н и е. Модифицировать рассуждения и доказать, что этаоценка тоже не является асимптотически нормальной.В о п р о с п о с л е д н и й. Плохо ли, что оценка θ̂ = X(n) не асимптотически нормальна? Может быть, сходимость n(X(n) − θ) ⇒ −η ещё лучше(особенно из-за множителя n при разности (X(n) и θ)?«Скорость» сходимости оценки к параметру. Попробуем ответить√напоследний вопрос и заодно объясним себе, о чём говорит множитель nв определении асимптотической нормальности оценок.Т е о р е м а 12.

Если θ∗ — асимптотически нормальная оценка дляпараметра θ, то она состоятельна.Д о к а з а т е л ь с т в о. Вспомним свойство слабой сходимости: произведение двух последовательностей, одна из которых сходится по вероятности к постоянной, а другая слабо сходится к некоторой случайной величине, слабо сходится к произведению пределов. Поэтому√1θ∗ − θ = √ · n(θ∗ − θ) ⇒ 0 · ξ = 0,nгде ξ имеет нормальное распределение N0, σ2 (θ) . Но слабая сходимостьк нулю влечет сходимость к нулю по вероятности.У п р а ж н е н и е . Верно ли утверждение теоремы 12, если предельнаявеличина ξ имеет распределение, отличное от нормального?ppИтак, если θ∗ асимптотически нормальна, то θ∗ −→ θ, т. е. θ∗ −θ −→ 0.Свойство асимптотической нормальности показывает, в частности, что1скорость этой сходимости имеет порядок √ .

Действительно, расстояниемежду√на n :θ∗nи θ сходится к нулю, но перестаёт это делать после умноженияpθ∗ − θ −→ 0, но√ ∗n(θ − θ) ⇒ N0,σ2 (θ) .Взглянем с этой точки зрения на оценку θ̂ = X(n) в примере 14. Дляэтой оценки (и для тех, кто справился с упражнениями)n(X(n) − θ) ⇒ ξ,(10)где ξ — некоторая случайная величина. Здесь расстояние между θ̂ и θ1ведёт себя как .

Оценка быстрее сходится к параметру.nУ п р а ж н е н и е . Лучше это или хуже?40ГЛАВА III. СРАВНЕНИЕ ОЦЕНОКСделаем вывод из предыдущих рассуждений. Асимптотическая нормальность представляет собой типичное, ничем не выдающееся качествооценок. Асимптотически нормальные оценки сближаются с параметром1со скоростью √ .

Остутствие такого качества может означать, чтоnоценка быстрее сходится к параметру, нежели любая асимптотически нормальная оценка. Примером такой «выдающейся» оценки может служитьОМП для параметра θ равномерного распределения на отрезке [0, θ],не являющаяся асимптотически нормальной. Она так быстро сходитсяк параметру, как не умеет ни одна АНО. Таким образом, отсутствие свойства АНО не делает эту оценку хуже. Скорее наоборот.Асимптотическая нормальность ОММ. Продолжим рассмотрениеасимптотически нормальных оценок. В примере 14 мы видели, что дляоценки 2X свойство асимптотической нормальности сразу следует изЦПТ. Установим асимптотическую нормальность оценок более сложноговида, какими обычно оказываются оценки метода моментов.Л е м м а 1.

Пусть функция g(y) такова, что 0 ̸= Dg(X1 ) < ∞. Тогда статистика g(X) является асимптотически нормальной оценкойдля Eg(X1 ) с коэффициентом σ2 (θ) = Dg(X1 ) :√ g(X) − Eg(X1 )⇒ N0,1 .n √Dg(X1 )У п р а ж н е н и е . Вспомнить ЦПТ и доказать лемму 1.Следующая теорема утверждает асимптотическую нормальность оценок вида()()g(X1 ) + . . . + g(Xn )∗θ = H g(X) = H.nТакие оценки получаются обычно (найти примеры) при использованииметода моментов, при этом всегда θ = H (Eg(X1 )) .Т е о р е м а 13.

Характеристики

Список файлов книги