С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 7
Текст из файла (страница 7)
приложение A. В том жеприложении объясняются формулы для моментов гамма-распределения:EX =pp, VX = 2 ,ααE(X k ) = α−k p(p + 1) · · · (p + k − 1).Частным случаем гамма-распределения при pпоказательное распределение с плотностью=1 являетсяp(x) = αe−αx , x > 0.Другой частный случай —Γ(1/2, n/2)— называется распределением хи-квадрат с n степенями свободы иобозначается χ2n . Это распределение обычно возникает в качествешаблонного.Иногда бывает полезно включить в определение гамма-семейства вкачестве третьего параметра сдвиг.III. Семейство бета-распределений B(p1 , p2 ).Основания статистики27Плотность бета-распределения сосредоточена на промежутке h0, 1i изадается формулойp(x) =Γ(p1 , p2 ) p1 −1x(1 − x)p2 −1 , 0 < x < 1.Γ(p1 )Γ(p2 )Оба параметра p1 и p2 предполагаются положительными.
Значенияплотности в концевых точках 0 и 1 не имеют значения (плотность всегдаопределяется с точностью до почти всюду), поэтому мы обозначилипромежуток треугольными скобками, не уточняя, включены ли в негоконцы.Формулы для моментов бета-распределенияp1p1 p2, VX =EX =2p1 + p2(p1 + p2 ) (p1 + p2 + 1)также обсуждаются в приложении A.Частным случаем бета-распределения при p1 = p2 = 1 являетсяравномерное распределение с плотностьюp(x) = 1, 0 < x < 1.Это семейство можно расширить, делая сдвиг и масштабноепреобразование. В частности, так получается двухпараметрическоесемейство равномерных распределений на ha, bi:p(x) =1, a < x < b.b−a2(b−a)Для него EX = a+b2 , VX =12 .IV.Семейство распределений Бернулли Bn (p).(n = 1, 2, .
. . ; 0 ≤ p ≤ 1).Распределение Bn (p), известное также и под названиембиномиального, дискретно и сосредоточено в точках 0, 1, . . . n.Соответствующие вероятности задаются формулой Бернулли:Pn (k, p) = Cnk pk (1 − p)n−k , k = 0, 1, . . . n.При p = 0 и p = 1 получаем вырожденные распределения в точках 0 иn соответственно.Как известно, число успехов Sn в n испытаниях Бернулли свероятностью успеха p имеет распределение Bn (p), при этомESn = np, VSn = np(1 − p).28Глава 1V. Семейство распределений Пуассона Π(λ) (λ ≥ 0).Распределение Π(λ) дискретно и сосредоточено на множестве Z+ ={0, 1, .
. . } целых неотрицательных чисел. Соответствующие вероятностизадаются формулойλkpk = e−λ , k = 0, 1, . . .k!При λ = 0 получаем вырожденное распределение в точке 0.Теорема Пуассона утверждает, что распределение Бернулли Bn (p)превращается в распределение Пуассона Π(λ), если n → ∞ и p → 0,причем np → λ. Это отчасти объясняет, почему пуассоновская случайнаявеличина имеет математическое ожидание и дисперсию, равные λ.VI. Семейство логнормальных распределений.Говорят, что случайная величина X имеет логнормальноераспределение, если ln X имеет нормальное распределение. Плотностьлогнормального распределения имеет видf (x) =1p(ln x), x > 0,xгде p(·) — плотность нормального распределения.
Соответствующеематематическое ожидание равноσ2EX = exp(a + ).2Формулу для дисперсии мы не приводим.Логарифмическое преобразование часто используется в связи сдисконтированием денежных потоков.Многомерное нормальное распределение обсуждается в ПриложенииB, а многомерный аналог распределения Бернулли — полиномиальноераспределение — в параграфе 4.7.1.6Свертки распределений и их роль в статистикеПусть X1 и X2 — независимые случайные величины, имеющиераспределения P1 и P2 соответственно. Тогда распределение их суммыX1 + X2 называется сверткой распределений P1 и P2 и обозначаетсяP1 ∗ P 2 .Если распределения P1 и P2 непрерывны и заданы своимиплотностями p1 и p2 , то их свертка — также непрерывное распределение,Основания статистики29имеющее плотностьZZp(z) = (p1 ∗ p2 )(z) =p1 (z − y)p2 (y)dy =Rp1 (x)p2 (z − x)dx.RАналогичная формула справедлива и для дискретных величин.Выпишем ее в наиболее существенном случае, когда X1 и X2 —целочисленные величины:XP(X1 + X2 = n) =P(X1 = k)P(X2 = n − k).kРоль сверток в статистике определяется двумя взаимосвязаннымиобстоятельствами.
Во-первых, суммирование независимых величин,образующих выборку, или как-то связанных с ней, — операция,постоянно присутствующая в большинстве рассуждений. Во-вторых,некоторые основные параметрические семейства распределений"выдерживают"свертку, воспроизводятся при сложении независимыхвеличин(точныеформулировкиприведеныниже).Такаявоспроизводимость сильно облегчает изучение многих классическихстатистических моделей и уменьшает количество возникающих приэтом шаблонов.Начнем с нормального распределения, которое воспроизводится пообоим параметрам:N(a1 , σ12 ) ∗ N(a2 , σ22 ) = N(a1 + a2 , σ12 + σ22 ).Средние значения и дисперсии, как всегда при сложении независимыхвеличин, складываются, а потому главным новым обстоятельством здесьявляется воспроизведение свойства нормальности.Перейдем теперь к гамма-семейству.
Для него имеется толькочастичная воспроизводимость — воспроизводимость по параметруформы p:Γ(α, p1 ) ∗ Γ(α, p2 ) = Γ(α, p1 + p2 ).В частности,χ2n1 ∗ χ2n2 = χ2n1 +n2 .Отсюда, как мы сейчас увидим, вытекает, что χ2n — распределение суммыквадратов n независимых величин, распределенных по стандартномунормальному закону: если X1 , . . . , Xn ∈ N(0, 1) — независимыеслучайные величины, то X12 + · · · + Xn2 ∈ χ2n . Ввиду свойства30Глава 1воспроизводимости, это следствие достаточно доказать при n = 1, чтоделается прямым счетом: при z > 0√√√√P(X12 < z) = P(− z < X1 < z) = Φ( z) − Φ(− z),так что плотность величины X12 записывается как√√d1 √1(Φ( z) − Φ(− z)) = √ φ( z) = √ z −1/2 e−z/2 .dzz2πПоследнее выражение является плотностью распределенияΓ(1/2, 1/2) = χ21 ,правда, записанной без использования гамма-функции.Центральная предельная теорема в форме Леви́ (см. предыдущийпараграф), примененная к указанной выше последовательностиX12 , X22 , .
. . , утверждает, что центрированное и нормированноераспределение χ2n слабо сходится при n → ∞ к стандартномунормальному закону. Это свойство можно символически записать ввиде аппроксимацииχ2n ≈ N(n, 2n).Аналогично, при больших pΓ(α, p) ≈ N(p/α, p/α2 ).Заметим, впрочем, что в литературе приводятся и другие, какутверждается, более точные, способы аппроксимации χ2n нормальнымзаконом, например,√√P(χ2n < x) ≈ Φ( 2x − 2n − 1).(см.
[1], [19])Для распределений Бернулли и Пуассона также имеется частичнаявоспроизводимость:Bn1 (p) ∗ Bn2 (p) = Bn1 +n2 (p),Π(λ1 ) ∗ Π(λ2 ) = Π(λ1 + λ2 )(первую из этих формул легко истолковать в терминах испытанийБернулли).Глава 2Теория оцениванияМы начинаем главу с краткого описания основных понятий и разборапростейших примеров. Во второй части главы излагаются более сложныевопросы, включая теорию достаточных статистик и асимптотическуюэффективность.2.1Точечные оценки. Состоятельностьи эффективностьКак уже упоминалось в параграфе 1.2, оцениванию подлежат параметрытеоретического распределения вероятностей. В параметрическоймодели описание теоретического распределения включает некоторый(конечный) набор "базисных"параметров, задание которых однозначноопределяет это распределение.
Оценивать при этом можно как самиэти базисные параметры, так и функции от них (это зависит отцели исследования). В непараметрической модели параметром (лучшесказать, оцениваемым функционалом) можно считать любую числовуюхарактеристикутеоретическогораспределения,интересующуюстатистика.Во всех случаях точечной оценкой (estimator) некоторого параметраили функционала θ может быть объявлена статистика, т.е. функция отвыборки, предлагаемая в качестве правила вычисления приближенногозначения этого параметра.
Разумеется, не любая статистика пригоднадля этого. Простейшее требование к оценке — состоятельность —формулируется на асимптотическом языке.Оценка θ̂ параметра θ называется состоятельной, если онастремится к нему по вероятности при N → ∞.3132Глава 2Это определение требует некоторых разъяснений.
Прежде всегоотметим, что θ̂ следует понимать как функцию с довольно сложнойобластью определения — выборку призвольного объема N статистикаθ̂ "перерабатывает"в приближенное значение параметра. Поэтомуее область определения (как функции от выборки) состоит из"одномерной"части, на которой задана функция одного аргументаθ̂1 (X1 ), "двумерной"части, на которой задана функция двух аргументовθ̂2 (X1 , X2 ) и т.д. (кавычки поставлены по той причине, что саминаблюдения могут быть и многомерными).Кроме того, оценку, как функцию от случайных величин, можнопонимать и как случайную величину (суперпозицию функции, о которойшла речь в предыдущем абзаце, и выборки).С учетом сделанного разъяснения определение состоятельностиозначает, что последовательность случайных величинθ̂1 = θ̂1 (X1 ), θ̂2 = θ̂2 (X1 , X2 ), · · ·по вероятности сходится к θ. Остается уточнить, по какой вероятности,или, точнее, по каким вероятностям.
Предварительный разговороб этом уже шел в параграфе 1.4. Имеется в виду следующее.Каждому значению функционала θ в рассматриваемой модели отвечаетнекоторая совокупность априори допустимых (в качестве теоретическогораспределения) вероятностных мер, имеющих именно это значениепараметра. Состоятельность означает, что θ̂N → θ по каждой из этихвероятностей.Приведем полезный пример (статистика X̄), которому можно придатькак параметрическую, так и непараметрическую форму.Первый параметрический вариант. Для выборки, имеющейраспределение Пуассона Π(λ), статистика X̄ (выборочное среднеезначение) является состоятельной оценкой параметра λ. Этоутверждение вытекает из закона больших чисел Хинчина (см.
параграф1.4). При этом каждому значению λ отвечает единственная априоридопустимая мера, порожденная указанным распределением ПуассонаΠ(λ) (произведение распределений Пуассона, отвечающих отдельнымнаблюдениям1 ), и X̄ → λ по ней.Второй параметрический вариант. Для выборки, имеющейнормальное распределение N(a, σ 2 ) с неизвестными параметрами,1Поскольку объем выборки N растет до бесконечности, удобно рассматривать априоридопустимые меры на сигма-алгебре, порожденной бесконечной последовательностью наблюдений.Нам не потребуются детали их определения.Теория оценивания33статистика X̄ (снова по теореме Хинчина) является состоятельнойоценкой параметра a. При этом каждому значению a отвечаетоднопараметрическое семейство априори допустимых мер, порожденныхнормальными распределениями с этим a и различными дисперсиями σ 2 .По каждой из этих вероятностей X̄ стремится к a.Непараметрический вариант. Для выборки с конечнымматематическим ожиданием E статистика X̄ (все по той же теоремеХинчина) является состоятельной оценкой математического ожидания.При этом каждому значению математического ожидания отвечаетобширное (непараметрическое) семейство априори допустимыхмер — всевозможные распределения вероятностей P (произведенияраспределений P отдельных наблюдений2 ), дающие это математическоеожидание (EP = E).
По отношению к каждой из нихPX̄ −→ E.Таким образом, свойство состоятельности означает, что рассматриваемаяоценка "приспособлена"именно к тому параметру (функционалу),который мы желаем с ее помощью оценивать.Иногда оказывается полезным несколько более узкое определение.Оценка θ̂ называется сильно состоятельной, если она сходитсяк оцениваемому параметру с вероятностью 1. Все приведенныевыше комментарии к определению состоятельности переносятся сминимальными изменениями и на случай сильной состоятельности.Закон больших чисел является одним из основных способовпроверки состоятельности той или иной оценки. Проиллюстрируем егоиспользование на более сложном примере эмпирической (=выборочной)дисперсии S 2 повторной выборки.
Точнее, докажем, что S 2 —состоятельная оценка дисперсии теоретического распределения (каприори допустимым при этом относятся только произведенияодинаковых распределений с конечной дисперсией). Для этого заметим,чтоN1 X 22S =Xi − X̄ 2N i=1(эта формула является специализацией на случай эмпирическогораспределения PN∗ общей формулы VX = E(X 2 ) − (EX)2 ). Первое2См. предыдущую сноску.34Глава 2слагаемоеN1 X 2XN i=1 iсходится по вероятности к общему значению вторых моментов E(Xi2 )(теорема Хинчина для последовательности квадратов X12 , X22 ,. . . ).В то же время X̄ сходится по вероятности к общему значениюматематических ожиданий EXi .
Пользуясь стандартными формуламидля предела произведения и разности (в случае предела по вероятностиони справедливы, хотя и нуждаются в специальном доказательстве),заключаем, что S 2 сходится по вероятности к общему значениювыражений E(Xi2 ) − (EXi )2 = VXi . Это и есть состоятельностьэмпирической дисперсии.Ниже сформулирован еще один полезный результат, позволяющийустанавливать состоятельность, не используя прямо исходноеопределение. Для его формулировки нам потребуется одно важноепонятие, которое в дальнейшем будет многократно использоваться.Оценка θ̂ параметра или функционала θ называется несмещенной,если Eθ̂ = θ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
