С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 15
Текст из файла (страница 15)
В более общей ситуации можетоказаться возможным построение асимптотического доверительногоинтервала (множества). Асимптотические доверительные интервалыопределяются сходным образом: вместо выполнения неравенства (3.1)следует потребовать выполнение предельного соотношенияlimN →∞ Pθ (hθ, θi 3 θ) ≥ 1 − ε.(3.2)Доверительные множества указывают погрешность, с которой можно повыборке найти приближенное значение функционала θ при заданномуровне доверия 1 − ε (к этой погрешности).Аналогичноосновнымхарактеристикамточечныхоценок(состоятельность, несмещенность, эффективность) можно ввестихарактеристики доверительных интервалов или множеств. Мыограничимся интервалами.Будем говорить, что доверительный интервал состоятелен, если обаего конца, θ и θ, сходятся по вероятности к оцениваемому функционалу(равносильная формулировка: θ − θ → 0 по вероятности).Назовем доверительный интервал несмещенным, еслиEθ [θ + θ] = 2θ(т.е.
если его центр — несмещенная точечная оценка).Эффективностьдоверительныхинтерваловхарактеризовать величинойестественноEθ (θ − θ)2 .Так же, как и в случае точечных оценок, доверительные интервалымогут оказаться в этом смысле несравнимыми.Доверительные интервалы87Поскольку задача построения доверительных интервалов значительносложнее задачи построения точечных оценок, свойствам оптимальностина практике редко уделяется большое внимание — чаще довольствуютсяинтервалами, которые удается построить.Перейдем теперь к описанию того, как можно строить доверительныеинтервалы в конкретных ситуациях. Прежде всего отметим, что ужев самом определении идет речь о событии нетривиальной вероятности(т.е. не равной ни 0, ни 1).
Подсчитывать ее следует (см. определение)по теоретическому распределению, что довольно проблематично —в каждой задаче фигурирует целое семейство априори допустимыхраспределений. Рассмотрим простой учебный (малореалистичный сточки зрения практики) пример — нормальное распределение N(a, 1).Будем строить доверительный интервал для параметра a, отталкиваясьот известной нам точечной оценки â = X̄. Как следует из параграфа 1.6,X̄ ∈ N(a, 1/N ). Стандартизуем эту величину, написавX̄ − a √p= N (X̄ − a) ∈ N(0, 1).1/NСтандартное нормальное распределение является одним из ходовыхшаблонных распределений — для него много десятилетий назад былисоставлены подробные таблицы.
Воспользовавшись, например, правилом"пяти процентов", мы получим, что√Pa (| N (X̄ − a)| < 1.96) ≈ 0.95(приблизительное равенство, поскольку мы округляем табличноезначение до сотых). Решая неравенство, фигурирующее под знакомвероятности, мы получаем равносильное соотношениеµ¿À¶1.961.96PX̄ − √ , X̄ + √3 a ≈ 0.95,NN√ , X̄ + 1.96√ i — доверительный интервал, отвечающийтак что hX̄ − 1.96NNдоверительной вероятности 0.95. Подчеркнем, что к успеху в этомпостроении нас привело шаблонное распределение N(0, 1). Дальше вэтой главе мы познакомимся еще с несколькими подобными примерами,уже более полезными с точки зрения практического использования.Тем не менее, стоит сразу подчеркнуть, что более распространеннымявляется появление шаблона в качестве предельного распределения.
Приэтом строится только асимптотический доверительный интервал.88Глава 3Проиллюстрируем построение асимптотических доверительныхинтервалов двумя примерами, а затем сформулируем и некоторыйобщий подход.Пример 1. Доверительный интервал (асимптотический) длявероятности успеха.Этот пример уже вкратце обсуждался в параграфе 1.4.Асимптотический шаблон дает нам предельная теорема МуавраЛапласа:N X̄ − N pp≈ N(0, 1).N p(1 − p)Шаблоном снова является стандартное нормальное распределение.Выбирая (по доверительной вероятности 1 − ε) z = zε из таблицынормального распределения, получаем¯Ã¯!¯ N X̄ − N p ¯¯¯P ¯p¯ < z ≈ 1 − ε.¯ N p(1 − p) ¯Остается решить это неравенство относительно p:¯¯¯ N X̄ − N p ¯¯¯¯<z¯p¯ N p(1 − p) ¯⇐⇒ (1 + z 2 /N )p2 − (2X̄ + z 2 /N )p + X̄ 2 < 0⇐⇒ p− < p < p+ ,гдеp±=2X̄ +z2Nq2± 4X̄ 2 + 4 zN X̄ +2(1 +z4N2− 4X̄ 4 (1 +z2N)=X̄ +z2Nq±z2N)z2N X̄(121 + zN− X̄) +z44N 2.Оставляя в последнем выражении главные члены разложения пообратным степеням N , получимqzp± = X̄ ± √X̄(1 − X̄) + O(1/N ).NДоверительные интервалы89Оставлять следующие члены разложения, обратно пропорциональныеN , вряд ли целесообразно, т.к.
они пренебрежимо малы по сравнениюс погрешностью, возникающей от нормальной аппроксимации, т.е. отприменения теоремы Муавра-Лапласа.Таким образом, асимптотический доверительный интервал для pимеет вид¿ÀqqzzX̄ − √X̄(1 − X̄), X̄ + √X̄(1 − X̄) .NNПример 3. Доверительный интервал (асимптотический) для параметраa нормального распределения N(a, σ 2 ) с неизвестным σ.Здесь снова можно воспользоваться стандартным нормальнымраспределением N(0, 1) в качестве шаблона:X̄ ∈ N(a, σ 2 /N ),X̄ − aq∈ N(0, 1).σ2NТеперь остается избавиться от мешающего параметра σ 2 .
Для этого2заменим σ 2 на точечную оценку σ̂ 2 = Sиспр.и получим√ X̄ − aN≈∈ N(0, 1).σ̂Отсюда получаем асимптотический доверительный интервалÀ¿σ̂σ̂,X̄ − z √ , X̄ + z √NNгде z = zε , как и в предыдущем примере, находится из таблицстандартного нормального распределения. В параграфе 3.3 мы построимточный доверительный интервал для этого примера и сравним его столько что найденным асимптотическим.Обобщая рассуждения этих двух примеров, можно сказать,что для получения асимптотического доверительного интерваласледует исходить из функции от выборки и параметров, имеющейасимптотически шаблонное распределение.
Из таблиц этогораспределения определяется некоторое множество, из которого истроится доверительный интервал (в рассмотренных примерах этопостроение сводилось к решению неравенств). Мешающие параметры,если таковые имеются, заменяются состоятельными точечнымиоценками.90Глава 3В параграфе 2.8 приведен результат об асимптотическойнормальности оценок максимального правдоподобия, которым можновоспользоваться в нашем построении:pN i(θ)(θ̂M L − θ) ≈∈ N(0, 1).Решая неравенство видаp| N i(θ)(θ̂M L − θ)| < zотносительно θ, мы получим доверительное множество.
Скорее всего, оноокажется интервалом.В разобранных примерах доверительные интервалы оказываютсясостоятельными и, можно подозревать, асимптотически эффективными.Мы не останавливаемся на этом более детально.3.2Лемма ФишераДля нормально распределенных выборок имеется точная (а неасимптотическая) теория доверительных интервалов, даже при наличиимешающего параметра. В этом параграфе излагается базис этой теории.В формулировке приводимой ниже леммы Фишера участвуетраспределение хи-квадрат, уже обсуждавшееся в параграфах 1.5и 1.6. Напомним, что сумма квадратов n независимых величин,распределенных по стандартному нормальному закону N(0, 1), имеетраспределение χ2n , при этом индекс n называется числом степенейсвободы.~ — выборка, имеющая нормальноеТеорема (лемма Фишера).
Пусть Xраспределение N(a, σ 2 ). Тогда1. X̄ и S 2 независимы;2.N S2σ2∈ χ2N −1 .Доказательство леммы Фишера чрезвычайно важно как образец,поскольку подобные рассуждения неоднократно будут появляться далее,в эконометрических главах, и мы будем ссылаться на аналогию спростейшим случаем — только что сформулированной теоремой.Перейдем непосредственно к доказательству. Прежде всего заметим,что достаточно доказать теорему в случае a = 0, σ = 1. Действительно,Доверительные интервалы91рассмотрим преобразованную выборкуXi0 =Xi − a∈ N(0, 1).σЯсно, чтоX0 =и2S0 =X̄σS2.σ2Поэтому достаточно доказать, что1)0 независимы X 0 и S 0 2 ;2)0 N S 0 2 ∈ χ2N −1 .Эти два утверждения как раз и составляют упомянутый частныйслучай.Итак, далее считаем X1 , . .
. , XN ∈ N(0, 1). Величина N S 2 ,разумеется, является суммой квадратов нормально распределенныхвеличин Xi − X̄, но величины эти зависимые:NX(Xi − X̄) = 0,i=1а к тому же и с неправильной (6= 1) дисперсией. Зависимость, какмы увидим, уменьшает на единицу число степеней свободы (подобныесоображения на эвристическом уровне иногда очень полезны, см. главу6), а дисперсия "подправляется"сама собой.Основная идея доказательства — воспользоваться инвариантностьюраспределения выборки при вращениях. Опишем эту инвариантностьболее точно.
Для начала запишем плотность совместного распределениявыборки в видеN−N/2p(~x) = (2π)1X 21xi } = (2π)−N/2 exp{− ~x0~x}.exp{−2 i=12Напомним, что ~x понимается как вектор-столбец, а штрих — знактранспонирования.Вращениями (этот геометрический термин не обязателен, хотя и оченьнагляден) мы называем ортогональные линейные преобразования вида~y = A~x.92Глава 3Матрица A, как известно, называется ортогональной, если A−1 = A0(обратная совпадает с транспонированной).
Для таких матриц det A =±1. При сделанном преобразовании~y 0~y = (A~x)0 A~x = ~x0 A0 A~x = ~x0~x(сумма квадратов координат — квадрат расстояния до началакоординат; мы доказали, что он сохраняется, это оправдывает термин"вращение"). Из доказанного соотношения вытекает, что p(~x) = p(~y ) —инвариантность плотности при вращениях.Рассмотрим теперь ортогональное преобразование выборки:~Y~ = AXи докажем, что p(~y ) — плотность распределения случайного вектора Y~ .Для этого возьмем (измеримое) множество B ⊂ RN и запишемZ−1~ ∈ B) = P(X~ ∈ A B) =P(Y~ ∈ B) = P(AXp(~x)d~x.A−1 BСделаем теперь замену переменных ~y = A~x и воспользуемсяинвариантностью плотности при этом преобразовании (p(~x) = p(~y )), атакже инвариантностью элемента объема: d~y = | det A|d~x = d~x.
Послеуказанной замены получимZP(Y~ ∈ B) =p(~y )d~y ,Bтак что случайный вектор Y~ имеет ту же плотность p, что и~ Другими словами, величины Y1 , . . . , YN независимыисходный вектор X.и распределены по стандартному нормальному закону N(0, 1).Выберем теперь ортогональную матрицу A специальным образом— чтобы ее первая строка состояла из одинаковых элементов √1N .Докажем, что такая матрица существует. Для этого заметим, что условиеортогональности AA0 = 1 означает, что строки матрицы A, как векторы,ортогональны и нормированы (скалярное произведение i-й строки Aи j-го столбца A0 есть δij , т.е. равно 1 при i = j и 0 в остальныхслучаях).
Иначе можно сказать, что строки ортогональной матрицыобразуют ортогональный нормированный базис пространства векторовстрок размерности N .Доверительные интервалы93Отметим теперь, что вектор (у нас — вектор-строка) из элементовнормирован:¶2N µX1√= 1.Nj=1√1NДополним этот вектор-строку произвольным образом до ортогональногонормированного базиса (это, очевидно, возможно) и составим матрицуA из полученных таким образом строк.
Получим искомую матрицу.~ найдемДействуя построенной матрицей A на выборку X,NX√1√ Xj = N X̄.Y1 =Nj=1Кроме того,~ 0X~ = X12 + · · · + XN2 ,Y12 + · · · + YN2 = Y~ 0 Y~ = Xоткуда√Y22 + · · · + YN2 = X12 + · · · + XN2 − ( N X̄)2· 2¸X1 + · · · + XN2=N− X̄ 2 = N S 2 .NОстается сделать необходимые выводы, опираясь на установленныеранее свойства величин Yi — независимость и N(0, 1)-распределенность.Во-первых, из формулY1X̄ = √ ,NN S 2 = Y22 + · · · + YN2с очевидностью следует независимость X̄ и S 2 .
Во-вторых, изпредставления N S 2 с такой же очевидностью следует, что эта величинаимеет распределение χ2N −1 .Лемма Фишера доказана.3.3Точныедоверительныеинтервалыпараметров нормального распределениядляРассмотрим сначала математическое ожидание a (при неизвестном σ) —пример, уже обсуждавшийся на асимптотическом уровне в параграфе94Глава 31. Нам потребуется новый шаблон — распределение Стьюдента tn .Символически оно определяется формулойtn =√ N(0, 1)n p.χ2nПонимать ее следует так. Подставляем в знаменатель вместо символаχ2n случайную величину, имеющую это распределение χ2n , а в числительвместо символа нормального распределения N(0, 1) — случайнуювеличину, имеющую это нормальное распределение и не зависящую отвеличины, подставленной в знаменатель.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
