Н.И. Чернова - Лекции по матстату (1115348), страница 5
Текст из файла (страница 5)
Заметим сначала, что Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 . Действительно,так как θ1∗ эффективна в классе Kb , то она не хуже оценки θ2∗ , то естьEθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2и наоборот. Поэтому Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 .θ∗ + θ2∗Рассмотрим оценку θ∗ = 1∈ Kb (доказать!). Вычислим ее среднеквадратическое отклонение.2Заметим, что2 2a+ba−ba2 + b2+=.(4)222Положим a = θ1∗ − θ, b = θ2∗ − θ. Тогда (a + b)/2 = θ∗ − θ, a − b = θ1∗ − θ2∗ . Подставим эти выражения в(4) и возьмем математические ожидания обеих частей: ∗2θ1 − θ2∗(θ∗ − θ)2 + (θ2∗ − θ)2∗2Eθ (θ − θ) + Eθ= Eθ 1= Eθ (θ1∗ − θ)2 = Eθ (θ2∗ − θ)2 .(5)2218Но оценка θ∗ принадлежит Kb , то есть она не лучше, например, эффективной оценки θ1∗ .
ПоэтомуEθ (θ∗ − θ)2 > Eθ (θ1∗ − θ)2 .Сравнивая это неравенство с равенством (5), видим, чтоEθθ1∗ − θ2∗22=1Eθ (θ1∗ − θ2∗ )2 6 04|=⇒Eθ (θ1∗ − θ2∗ )2 = 0.Тогда (почему?) Pθ (θ1∗ = θ2∗ ) = 1, что и требовалось доказать.Для примера рассмотрим сравнение двух оценок. Разумеется, сравнивая оценки попарно между собой, наилучшей оценки в целом классе не найти, но выбрать лучшую из двух тоже полезно.
А способамипоиска наилучшей в целом классе мы тоже скоро займемся.Пример 10. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0.Тогда θb = X(n) = max{X1 , . . . , Xn } — оценка максимального правдоподобия, а θ∗ = 2X — оценкаметода моментов, полученная по первому моменту. Сравним их в среднеквадратичном.
Оценка θ∗ = 2Xнесмещенная (см. пример 4), поэтомуEθ (θ∗ − θ)2 = Dθ θ∗ = Dθ 2X = 4Dθ X = 4Dθ X 1θ2θ2=4=.n12n3nДля θb = X(n) = max{X1 , . . . , Xn } имеемEθ (θb − θ)2 = Eθ θb2 − 2θEθ θb + θ2 .Посчитаем первый и второй момент случайной величины θb = X(n) . Найдем (полезно вспомнить, как этоbделалось в прошлом семестре!) функцию распределения и плотность θ:Pθ (X(n) 0, n y<0yn< y) = Pθ (X1 < y) =, y ∈ [0, θ] θn1,y > θ,Eθ X(n) =Zθy n−1nyn n dy =θ,θn+12Eθ X(n)fX(n) (y) ==0Zθy2 n(0,y 6∈ [0, θ].y n−1n n , y ∈ [0, θ]θy n−1n 2dy =θ .θnn+20ПоэтомуEθ (X(n) − θ)2 =n 2n 22θ −2θ + θ2 =θ2 .n+2n+1(n + 1)(n + 2)При n = 1 квадратические отклонения равны, а при n > 1Eθ (X(n) − θ)2 =2θ2θ2<= Eθ (2X − θ)2 ,(n + 1)(n + 2)3nто есть X(n) лучше, чем 2X.
При этом Eθ (X(n) − θ)2 → 0 со скоростью n−2 , тогда как Eθ (2X − θ)2 → 0со скоростью n−1 .Упражнение.1. Доказать, что X(n) ∈ Kb , где b(θ) = −θ.n+1n+1X(n) ∈ K0 (несмещенная).nn+13. Сравнить оценкиX(n) и X(n) в среднеквадратичном.n2. Доказать, что193.4Асимптотически нормальные оценки (АНО)qkДля того, чтобы уметь сравнивать оценки вида θk∗ = (k + 1)X k (см. пример 4), среднеквадратического подхода недостаточно: второй момент такой случайной величины посчитать вряд ли удастся.
Оценкитакого вида (функции от сумм) удается сравнивать с помощью асимптотического подхода. Более точно,этот подход применим к так называемым «асимптотически нормальным» оценкам.Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ.Определение 11. Оценка θ∗ называется асимптотически нормальной оценкой параметра θ с коэффициентом σ 2 (θ), если√ ∗√ ∗n(θ − θ)n(θ − θ) ⇒ N0,σ2 (θ) ,или⇒ N0,1 .σ(θ)Пример 11. Пусть X1 , . . .
, Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0.Проверим, являются ли оценки θ∗ = 2X и θb = X(n) асимптотически нормальными (АНО). По ЦПТ, PnnPXi2X − nθ i=1 i√ ∗√√ i=1=√n(θ − θ) = n(2X − θ) = n 2−θ=nn=nPi=12Xi − nEθ 2X1√n⇒ N0,D 2Xθ1= N0,4Dθ X1 .То есть оценка θ∗ = 2X асимптотически нормальна с коэффициентом σ 2 (θ) = 4Dθ X1 = 4θ2 /12 = θ2 /3.Для оценки θb = X(n) имеем:√n(θb − θ) =√n(X(n) − θ) < 0 с вероятностью 1.(6)По определению, ξn ⇒ ξ, если для любой точки x, являющейся точкой непрерывности функции распределения√Fξ , имеет место сходимость Fξn (x) = P(ξn < x) → Fξ (x) = P(ξ < x).Но Pθ ( n(X(n) − θ) < 0) = 1, тогда как для ξ ⊂= N0,σ2 (θ) функция распределения в нуле равнаΦ0,σ2 (θ) (0) = P(ξ < 0) = 0.5, то есть слабая сходимость места не имеет.Таким образом, оценка θb = X(n) асимптотически нормальной не является.Осталось ответить на напрашивающиеся вопросы:√1) Куда все же сходится по распределению n(X(n) − θ)?√Упражнение.
Доказать, что n(X(n) − θ) ⇒ 0.Порядок действий: Выписать определение слабой сходимости.√ Нарисовать функцию распределения нуля. Найти по определению функцию распределения n(X(n) − θ). Убедиться, что онасходится к ф.р. нуля во всех точках непрерывности последней. Не забудьте о существовании замечательных пределов, логарифмов и ряда Тейлора.√2) Если n(X(n) − θ) ⇒ 0, то на какую степень n нужно попробовать умножить, чтобы получитьсходимость к величине, отличной от 0 и ∞?Упражнение.
Доказать, что n(X(n) − θ)деление E1/θ .⇒ η, причем величина −η имеет показательное распре-Порядок действий: прежний.3)n+1X(n) свойство (6) не выполнено. Может ли эта оценка быть АНО?nУпражнение. Модифицировать рассуждения и доказать, что эта оценка тоже не является асимптотически нормальной.Для оценки204)θ)Плохо ли, что оценка θb = X(n) не асимптотически нормальна? Может быть, сходимость n(X(n) −⇒ η еще лучше?Попробуем ответить на последний вопрос.3.5 «Скорость» сходимости оценки к параметруТеорема 8. Если θ∗ — асимптотически нормальная оценка параметра θ, то θ∗ состоятельна.Доказательство теоремы√ 8.√Заметим (доказать!), что если n(θ∗ − θ) ⇒ ξ ⊂= N0,σ2 (θ) , то n|θ∗ − θ| ⇒ |ξ|.Поэтому при n → ∞√√√Pθ (|θ∗ − θ| < ε) = Pθ ( n|θ∗ − θ| < nε) ∼ P(|ξ| < nε) −→ P(|ξ| < ∞) = 1.Упражнение. Верно ли утверждение теоремы 8, если предельная величина ξ имеет распределение,отличное от нормального?ppТаким образом, если θ∗ асимптотически нормальна, то θ∗ −→ θ, или θ∗ − θ −→ 0.
Свойство асим1птотической нормальности показывает, в частности, что скорость этой сходимости имеет порядок √n1∗(расстояние между θ и θ ведет себя как √ ):npθ∗ − θ −→ 0, но√n(θ∗ − θ)⇒ ξ ⊂= N0,σ (θ) .2Взглянем с этой точки зрения на оценку θb = X(n) в примере 11. Для нее (и для тех, кто справился супражнениями)n(X(n) − θ) ⇒ η,1где η — некоторая случайная величина. Иначе говоря, расстояние между θb и θ ведет себя как .nУпражнение. Лучше это или хуже?3.6 Асимптотическая нормальность и ЦПТВ примере 11 мы видели, что для оценок типа 2X свойство асимптотической нормальности сразу следует из ЦПТ (см. также задачу 6 к лекции 1).Установим асимптотическую нормальность оценок более сложного вида (функций от сумм Xi и суммфункций от Xi ).Png(Xi )nявляется асимптотически нормальной оценкой для Eθ g(X1 ) с коэффициентом σ 2 (θ) = Dθ g(X1 ):Лемма 4. Пусть функция g такова, что 0 6= Dθ g(X1 ) < ∞.
Тогда оценка g(X) =√ g(X) − Eθ g(X1 )n pDθ g(X1 )⇒ N0,1 .Упражнение. Вспомнить ЦПТ и доказать лемму 4.Упражнение. Получить решение задачи 6 (после главы 1) в качестве следствия леммы 4.2113.7Асимптотическая нормальность оценок вида H(g(X))Следующая теорема утверждает асимптотическую нормальность оценок вида Pn1 g(Xi )θ∗ = H(g(X)) = H.nТакие оценки получаются обычно (найти примеры!) при использовании метода моментов, при этом всегдаθ = H(Eθ g(X1 )).Теорема 9.
Пусть функция g такова, что 0 6= Dθ g(X1 ) < ∞, функция H непрерывно дифференцируема в точке a = Eθ g(X1 ), и H 0 (a) 6= 0. Тогда оценка θ∗ = H(g(X)) является асимптотически нормальной оценкой для θ = H(Eθ g(X1 )) = H(a) с коэффициентом σ 2 (θ) = (H 0 (a))2 Dθ g(X1 ).Доказательство теоремы 9. Разложим H(g(X)) в ряд Тейлора в точке a:H(g(X)) − H(a) = H 0 (a)(g(X) − a) + δn ,pгде δn = O((g(X) − a)2 ) −→ 0 при n → ∞.
Последнее верно, так как по ЗБЧ при n → ∞Png(Xi ) pg(X) = 1−→ Eθ g(X1 ) = a.n1)2)Вспомним свойства слабой сходимости:pесли ξn ⇒ ξ и ηn −→ c =const, то ξn ηn ⇒ cξ;pесли ξn ⇒ ξ и ηn −→ c =const, то ξn + ηn ⇒ ξ + c.По лемме 4,√n g(X) − a√⇒ ξ ⊂= N0,D g(X ) , и по свойству (1) слабой сходимости1θ√pnδn = O( n(g(X) − a)(g(X) − a)) −→ 0 · ξ = 0.Отсюда (и по свойству (2) слабой сходимости) √ √√n H(g(X)) − H(a) = nH 0 (a) g(X) − a + nδn⇒ N0,(H (a))02Dθ g(X1 ) ,что и требовалось доказать.Пример 12. Пусть X1 , . . . , Xn —qвыборка объема n из равномерного распределения U0,θ , где θ > 0.Проверим, являются ли оценки θk∗ = (k + 1)X k , k = 1, 2, . . ., полученные методом моментов, асимптотически нормальными.√Пусть g(x) = (k + 1)xk , H(y) = k y. Тогдаr Pn Pnqkkk∗1 g(Xi )1 (k + 1)Xiθk = (k + 1)X k ==H.nnkПри этомθ = H(Eθ g(X1 )) =qkEθ (k + 1)X1k =sk(k + 1)θk.k+1Впрочем, иначе быть не могло по определению метода моментов (верно?).
Проверим другие условиятеоремы 9:θka = Eθ g(X1 ) = (k + 1)= θk ,k+1θ2kk2− θ2k =θ2k2k + 12k + 1конечна и отлична от нуля. Функция H(y) непрерывно дифференцируема в точке a:Dθ g(X1 ) = Eθ (k + 1)2 X12k − a2 = (k + 1)2H 0 (y) =1 1−k1y k , H 0 (a) = H 0 (θk ) = θ1−k непрерывна для θ > 0.kk22По теореме 9, оценка θk∗ — АНО для θ с коэффициентомσk2 (θ) = (H 0 (a))2 Dθ g(X1 ) =k2θ21 2−2kθ·θ2k =.2k2k + 12k + 1В том числе для θ1∗ = 2X имеем коэффициент σ12 (θ) =θ2(см. пример 11).3Осталось понять, при чем тут сравнение оценок и что показывает коэффициент асимптотической нормальности.3.8 Асимптотический подход к сравнению оценокВозьмем две случайные величины: ξ ⊂= N0,1 и 10 ξ ⊂= N0,100 .
Если для ξ, например, 0, 997 = P(|ξ| < 3),то для 10 ξ уже 0, 997 = P(|ξ| < 30). Разброс значений величины 10 ξ гораздо больший, и дисперсия(показатель рассеяния) соответственно больше.Что показывает коэффициент асимптотической нормальности? Возьмем две АНО с коэффициентами1 и 100:√√ ∗n(θ1 − θ∗ ) ⇒ N0,1 и n(θ2∗ − θ∗ ) ⇒ N0,100 .√Приn разброс значений величины n(θ2∗ − θ∗ ) около нуля гораздо больше, чем у величины√ большихn(θ1∗ − θ∗ ), поскольку больше предельная дисперсия (она же коэффициент асимптотической нормальности).Но чем меньше отклонение оценки от параметра, тем лучше. Отсюда — естественный способ сравнения асимптотически нормальных оценок:Определение 12.
Пусть θ1∗ — АНО с коэффициентом σ12 (θ), θ2∗ — АНО с коэффициентом σ22 (θ).Говорят, что θ1∗ лучше, чем θ2∗ в смысле асимптотического подхода, если для любого θ ∈ Θσ12 (θ) 6 σ22 (θ),и хотя бы при одном θ это неравенство строгое.Пример 12 (продолжение). Сравним между собой оценки в последовательности θ1∗ , θ2∗ , . . .. Для θk∗коэффициент асимптотической нормальности имеет видσk2 (θ) =θ2→ 0 при k → ∞.2k + 1Коэффициент тем меньше, чем больше k, то есть каждая следующая оценка в этой последовательностилучше предыдущей.∗Оценка θ∞, являющаяся «последней», могла бы быть лучше всех оценок в этой последовательностив смысле асимптотического подхода, если бы являлась асимптотически нормальной.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
