Н.И. Чернова - Математическая статистика (1119916), страница 7
Текст из файла (страница 7)
р. м. д.»). Равномерность имеется в виду по всем θ ∈ Θ.Для смещённых оценок θ∗ ∈ KbE(θ∗ − θ)2 = D(θ∗ − θ) + (E θ∗ − θ)2 = D θ∗ + b2 (θ),т. е. сравнение в среднеквадратичном оценок с одинаковым смещением также приводит к сравнению их дисперсий.У п р а ж н е н и е .
Мы хотим найти наилучшую оценку в классе Kb .Объясните, почему доказательство теоремы 10 не пройдет в классе Kb .Следующее утверждение показывает, что в классе оценок с одинаковымсмещением не может существовать двух различных эффективных оценок:если эффективная оценка существует, она единственна.Т е о р е м а 11. Если θ∗1 ∈ Kb и θ∗2 ∈ Kb — две эффективные оценкив классе Kb , то с вероятностью 1 они совпадают: θ∗1 = θ∗2 п. н.Д о к а з а т е л ь с т в о. Заметим сначала, что E(θ∗1 − θ)2 = E(θ∗2 − θ)2 .Действительно, так как θ∗1 эффективна в классе Kb , то она не хуже оценки θ∗2 , т. е.
E(θ∗1 − θ)2 6 E(θ∗2 − θ)2 и наоборот.θ∗ + θ∗Рассмотрим оценку θ∗ = 1 2 . Она также принадлежит классу2Kb (доказать). Вычислим её среднеквадратическое отклонение. Запишемa+b 2a−b 2a2 + b 2+=(7)222и положим в этом равенстве a = θ∗1 − θ, b = θ∗2 − θ. Тогдаa+b= θ∗ − θ,2a − b = θ∗1 − θ∗2 .Подставим эти выражения в (7) и вычислим математические ожиданияобеих частей: ∗ ∗ 2θ −θ(θ∗ − θ)2 + (θ∗2 − θ)2∗2E(θ − θ) + E 1 2=E 1= E(θ∗1 − θ)2 .(8)22Но оценка θ∗ принадлежит Kb , т. е. она не лучше, например, эффективной оценки θ∗1 .
ПоэтомуE(θ∗ − θ)2 > E(θ∗1 − θ)2 .36ГЛАВА III. СРАВНЕНИЕ ОЦЕНОКСравнивая это неравенство с равенством (8), видим, что ∗ ∗ 2θ −θ1= E(θ∗1 − θ∗2 )2 6 0 и, следовательно, E(θ∗1 − θ∗2 )2 = 0.E 1 224Тогда (почему?) θ∗1 = θ∗2 п. н., что и требовалось доказать.Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценки попарно между собой, наилучшей оценки в целом классе ненайти, но выбрать лучшую из двух тоже полезно. Поиску наилучшей оценки в целом классе посвящена следующая глава.П р и м е р 13. Пусть X1 , .
. . , Xn — выборка объёма n из равномерного распределения U0, θ , где θ > 0. В примерах 4 и 10 мы нашли ОМПθ̂ = X(n) = max{X1 , . . . , Xn } и ОММ по первому моменту θ∗ = 2X.Сравним их в среднеквадратичном.Оценка θ∗ = 2X несмещённая, поэтомуE(θ∗ − θ)2 = D θ∗ = D2X = 4 · DX = 4DX1θ2θ2=4·=.n12n3nДля θ̂ = X(n) = max{X1 , . .
. , Xn } имеем E(θ̂ − θ)2 = E θ̂2 − 2θ E θ̂ + θ2 .Найдём функцию и плотность распределения случайной величины θ̂ :0,n y < 0,yP(X(n) < y) = P(X1 < y, . . . , Xn < y) = P n (X1 < y) =n , y ∈ [0, θ],θ1,y > θ,fX(n) (y) =0,nесли y 6∈ [0, θ],y n−1θn, если y ∈ [0, θ].Посчитаем первый и второй моменты случайной величины θ̂ = X(n) :ZθEX(n) = yny n−1θnndy =θ,n+10Zθ2EX(n)= y2ny n−1θndy =nθ2 .n+20ПоэтомуE(X(n) − θ)2 =nn2θ2 − 2θ2 + θ2 =θ2 .n+2n+1(n + 1)(n + 2)При n = 1, 2 квадратические отклонения оценок θ∗ и θ̂ равны: ни однаиз этих оценок не лучше другой в среднеквадратическом смысле, а при37§ 2. Асимптотический подход к сравнению оценокn > 2 оценка X(n) оказывается лучше, чем 2X :E(X(n) − θ)2 =2θ2θ2<= E(2X − θ)2 .(n + 1)(n + 2)3nПри этом E(X(n) − θ)2 стремится к нулю со скоростью n−2 , тогда какE(2X − θ)2 — всего лишь со скоростью n−1 .§ 2.
Асимптотический подход к сравнению оценокАсимптотически нормальные оценки. Среднеквадратический подходк сравнению оценок имеет существенный недостаток: не всегда возможно вычислить моменты величины θ∗ − θ. Например,не удастся сравqkнить в среднеквадратичном смысле оценки θ∗k = (k + 1)X k из примера 4 (с. 24).
Оценки такого вида (нелинейные функции от сумм) можносравнивать с помощью асимптотического подхода. Этот подход применимк асимптотически нормальным оценкам.Пусть X1 , . . . , Xn — выборка объёма n из параметрического семействараспределений Fθ , θ ∈ Θ.О п р е д е л е н и е 12. Оценка θ∗ называется асимптотически нормальной оценкой (АНО) параметра θ с коэффициентом σ2 (θ), если длялюбого θ ∈ Θ имеет место слабая сходимость при n → ∞√ ∗√ θ∗ − θ⇒ N0, 1 .n(θ − θ) ⇒ N0, σ2 (θ) или, что то же самое,nσ(θ)Асимптотическая нормальность оценок является важным свойством последовательностей оценок.
В дальнейшем мы увидим, что это свойство используется не только для сравнения оценок между собой, но и при построении доверительных интервалов для неизвестных параметров и в задачахпроверки гипотез о значениях этих параметров.П р и м е р 14.
Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения U0, θ с параметром θ > 0. Проверим, являются лиоценки θ∗ = 2X и θ̂ = X(n) асимптотически нормальными. По ЦПТ,nP P(2Xi ) − nθ√ ∗√√Xii=1√−θ ==n(θ − θ) =n(2X − θ) = n 2nnP=n(2Xi ) − nE(2X1 )√⇒ N0, D(2X1 ) = N0, 4DX1 .ni=138ГЛАВА III. СРАВНЕНИЕ ОЦЕНОКИтак, оценка θ∗ = 2X асимптотически нормальна с коэффициентомσ2 (θ) = 4DX1 = 4 ·θ212=θ23.Для проверки асимптотической нормальности оценки θ̂ = X(n) воспользуемся определением слабой сходимости. По определению, ξn ⇒ F,если для любой точки x, являющейся точкой непрерывности функциираспределения F, имеет место сходимостьP(ξn < x) → F (x) при n → ∞.√Слабая сходимость n (X(n) − θ) к N0, σ2 имеет место, если для любогоx ∈ R (почему для любого?)√P( n(X(n) − θ) < x) → Φ0, σ2 (x) при n → ∞.√Но в точке x = 0 функция распределения величины n (X(n) − θ)равна единице.
Действительно,√√n(θ̂ − θ) = n (X(n) − θ) < 0 п. н.,(9)√поэтому Pθ ( n (X(n) − θ) < 0) = 1. А для нормального распределенияN0, σ2 (θ) функция распределения в нуле равна Φ0, σ2 (θ) (0) = 0,5. Но 1 не√сходится к 0,5 при n → ∞, поэтому слабая сходимость n (X(n) − θ)к N0, σ2 (θ) места не имеет и оценка θ̂ = X(n) асимптотически нормальнойне является.Осталось ответить на напрашивающиеся вопросы.√В о п р о с 1. Куда всё же сходится по распределению n(X(n) − θ) ?√У п р а ж н е н и е. Доказать, что n(X(n) − θ) ⇒ 0.П о р я д о к д е й с т в и й: Выписать определение слабой сходимости.
Нарисовать функцию√ распределения нуля. Найти по определению функциюраспределения n(X(n) − θ). Убедиться, что она сходится к функции распределения нуля во всех точках непрерывности последней. Не забыть осуществовании замечательных пределов, логарифмов и ряда Тейлора.√В о п р о с 2. Если n(X(n) − θ) ⇒ 0, то на какую степень n нужнопопробовать умножить X(n) − θ, чтобы получить сходимость к величине,отличной от нуля и от бесконечности?У п р а ж н е н и е. Доказать, что −n(X(n) − θ) ⇒ η, где случайная величина η имеет показательное распределение E1/θ .П о р я д о к д е й с т в и й: прежний.§ 2.
Асимптотический подход к сравнению оценок39n+1В о п р о с 3. Для оценкиX(n) свойство (9) не выполнено. Можетnли эта оценка быть АНО?У п р а ж н е н и е. Модифицировать рассуждения и доказать, что этаоценка тоже не является асимптотически нормальной.В о п р о с п о с л е д н и й. Плохо ли, что оценка θ̂ = X(n) не асимптотически нормальна? Может быть, сходимость n(X(n) − θ) ⇒ −η ещё лучше(особенно из-за множителя n при разности (X(n) и θ)?«Скорость» сходимости оценки к параметру.
Попробуем ответить√напоследний вопрос и заодно объясним себе, о чём говорит множитель nв определении асимптотической нормальности оценок.Т е о р е м а 12. Если θ∗ — асимптотически нормальная оценка дляпараметра θ, то она состоятельна.Д о к а з а т е л ь с т в о.
Вспомним свойство слабой сходимости: произведение двух последовательностей, одна из которых сходится по вероятностик постоянной, а другая слабо сходится к некоторой случайной величине,слабо сходится к произведению пределов. Поэтому√1θ∗ − θ = √ · n(θ∗ − θ) ⇒ 0 · ξ = 0,nгде ξ имеет нормальное распределение N0, σ2 (θ) . Но слабая сходимостьк нулю влечет сходимость к нулю по вероятности.У п р а ж н е н и е . Верно ли утверждение теоремы 12, если предельнаявеличина ξ имеет распределение, отличное от нормального?ppИтак, если θ∗ асимптотически нормальна, то θ∗ −→ θ, т. е. θ∗ − θ −→0.
Свойство асимптотической нормальности показывает, в частности, что1скорость этой сходимости имеет порядок √ . Действительно, расстояниеn∗между√ θ и θ сходится к нулю, но перестаёт это делать после умноженияна n :√ ∗pθ∗ − θ −→ 0, ноn(θ − θ) ⇒ N0,σ2 (θ) .Взглянем с этой точки зрения на оценку θ̂ = X(n) в примере 14. Дляэтой оценки (и для тех, кто справился с упражнениями)n(X(n) − θ) ⇒ ξ,(10)где ξ — некоторая случайная величина.
Здесь расстояние между θ̂ и θ1ведёт себя как . Оценка быстрее сходится к параметру.nУ п р а ж н е н и е . Лучше это или хуже?40ГЛАВА III. СРАВНЕНИЕ ОЦЕНОКСделаем вывод из предыдущих рассуждений. Асимптотическая нормальность представляет собой типичное, ничем не выдающееся качествооценок. Асимптотически нормальные оценки сближаются с параметром со1скоростью √ . Остутствие такого качества может означать, что оценкаnбыстрее сходится к параметру, нежели любая асимптотически нормальная оценка.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
