Н.И. Чернова - Математическая статистика (1115306), страница 3
Текст из файла (страница 3)
. . , Xn ) — выборка объема n изнеизвестного распределения F с функцией распределения F. Пусть F∗n — эмпирическаяфункция распределения, построенная по этой выборке. Тогдаpsup F∗n (y) − F(y) −→ 0приy∈IRn → ∞.Замечание 3. Более того, в условиях теорем 1 и Гливенко — Кантелли имеет местосходимость не только по вероятности, но и почти наверное.8Если функция распределения F непрерывна, то скорость сходимости к нулю в тео√реме Гливенко — Кантелли имеет порядок 1/ n:Теорема Колмогорова. Пусть X = (X1 , .
. . , Xn ) — выборка объема n из неизвестногораспределения F с непрерывной функцией распределения F, а F∗n — эмпирическаяфункция распределения. Тогда√n sup F∗n (y) − F(y) ⇒ ηприy∈IRn → ∞,где случайная величина η имеет распределение Колмогорова с непрерывной функциейраспределенияK(x) =∞X2 x2(−1)j e−2jпри x > 0,K(x) = 0 при x < 0.j=−∞Следующие свойства эмпирической функции распределения — это хорошо знакомые нам свойства среднего арифметического n независимых слагаемых, имеющих, к тому же, распределение Бернулли.В первых двух пунктах утверждается, что случайная величина F∗n (y) имеет маF(y)(1 − F(y)), которая убывает как 1/n.тематическое ожидание F(y) и дисперсиюn√∗Третий пункт показывает, что Fn (y) сходится к F(y) со скоростью 1/ n.Свойство 1.
Для любого y ∈ IR1) E F∗n (y) = F(y), т. е. F∗n (y) — «несмещенная» оценка для F(y);2) D F∗n (y) =F(y)(1 − F(y));n√3) если 0 < F(y) < 1, то n(F∗n (y) − F(y)) ⇒ N0,F(y)(1−F(y)) , т. е. F∗n (y)— «асимптотически нормальная» оценка для F(y);4) случайная величина n · F∗n (y) имеет биномиальное распределение Bn,F(y) .Доказательство свойства 1.нулли BF(y) , поэтомуЗаметим снова, что I(X1 < y) имеет распределение Бер-E I(X1 < y) = F(y)иD I(X1 < y) = F(y)(1 − F(y)).1) Случайные величины I(X1 < y), I(X2 < y), . . . одинаково распределены, поэтомугде используется одинаковая распределенность?nPE F∗n (y)=EnPI(Xi < y)i=1n=E I(Xi < y)i=1n9=nE I(X1 < y)= F(y).n2) Случайные величины I(X1 < y), I(X2 < y), .
. . независимы и одинаково распределены, поэтому где используется независимость?nPD F∗n (y)=DnPI(Xi < y)i=1=nD I(Xi < y)i=1nD I(X1 < y)F(y)(1 − F(y))=.2nn=n23) Воспользуемся ЦПТ Ляпунова: а что это такое?√n(F∗n (y)I(Xi < y)√ i=1− F(y)) = n − F(y) =nnP=nPi=1nPi=1!I(Xi < y) − nF(y)√n=!I(Xi < y) − nE I(X1 < y)√n⇒ N0,D I(X1 <y) = N0,F(y)(1−F(y)) .4) Поскольку I(X1 < y) (число успехов в одном испытании) имеет распределение БерnPнулли BF(y) , почему? то n·F∗n (y) =I(Xi < y) имеет биномиальное распределениеi=1Bn,F(y) .почему?а что такое устойчивость по суммированию?Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2.
Но смысл этих терминов должен быть вполне понятен уже сейчас.1.5.2. Свойства гистограммыПусть распределение F абсолютно непрерывно, f — его истинная плотность. Пусть,кроме того, число k интервалов группировки не зависит от n. Случай, когда k = k(n),отмечен в замечании 1.СправедливаТеорема 2. При n → ∞ для любого j = 1, . . . , klj · fj =νj p−→ P (X1 ∈ Aj ) =nZf(x) dx.AjУпражнение. Доказать теорему 2, используя (1) и ЗБЧ.Теорема утверждает, что площадь столбца гистограммы, построенного над интервалом группировки, с ростом объема выборки сближается с площадью области подграфиком плотности над этим же интервалом.101.5.3.
Свойства выборочных моментовВыборочное среднее X является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического среднего (математического ожидания):Свойство 2.1) Если E |X1 | < ∞, то E X = E X1 = a.p2) Если E |X1 | < ∞, то X −→ E X1 = a при n → ∞.3) Если D X1 < ∞ и не равна нулю, то√ n X − E X1 ⇒ N0,D X1 .Доказательство свойства 2.1) E X =n1 P1E Xi = · nE X1 = E X1 = a.n i=1n2) Согласно ЗБЧ в форме Хинчина, X =3) Согласно ЦПТ,n1 PpXi −→ E X1 = a.n i=1nP√ n X − E X1 =i=1Xi − nE X1√⇒ N0,D X1 .nВыборочный k-й момент Xk является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического k-го момента:Свойство 3.1) Если E |X1 |k < ∞, то E Xk = E Xk1 = mk .p2) Если E |X1 |k < ∞, то Xk −→ E Xk1 = mk при n → ∞.3) Если D Xk1 < ∞ и не равна нулю, то√ kn X − E Xk1 ⇒ N0,D Xk .1Упражнение. Доказать свойство 3.В дальнейшем мы не будем оговаривать существование соответствующих моментов.В частности, в первых двух пунктах следующего утверждения предполагается наличиевторого момента у случайных величин Xi , а в третьем пункте — четвертого (дисперсиивеличины X21 ).11Свойство 4.1) Выборочные дисперсии S2 и S20 являются состоятельными оценками для истиннойppдисперсии: S2 −→ D X1 = σ2 , S20 −→ D X1 = σ2 .2) Величина S2 — смещенная, а S20 — несмещенная оценка дисперсии:E S2 =n−1n−1 2D X1 =σ 6= σ2 ,nnE S20 = D X1 = σ2 .2 и S2 являются асимптотически нормальными оценками3) Выборочные дисперсии S0√истинной дисперсии: n S2 − D X1 ⇒ N0,D (X1 −E X1 )2 .Доказательство свойства 4.1) Во первых, раскрыв скобки, полезно убедиться в том, что1X(Xi − X)2 = X2 − (X)2 .nnS2 =(2)i=1pИз (2) и ЗБЧ следует, что S2 = X2 − (X)2 −→ E X21 − (E X1 )2 = σ2 .nnpКроме того,→ 1, так что S20 =S2 −→ σ2 .n−1n−12) Воспользуемся формулой (2):E S2 = E X2 − (X)2 = E X2 − E (X)2 = (по лемме 3) = E X21 − E (X)2 =n1X 2222Xi == E X1 − (E X) + D (X) = E X1 − (E X1 ) − Dni=1E S201σ2n−1 2= σ2 − 2 nD X1 = σ2 −=σ , откуда сразу следуетnnnn=E S2 = σ2 .n−13) Выборочную дисперсию можно представить в следующем виде:221 X1X(Xi − X)2 =Xi − a − (X − a) = (X − a)2 − X − a .S =nnnni=1i=12 √2√ 2n S − σ2 = n (X − a)2 − X − a − σ2 =Тогда= √ 2√ n (X − a)2 − E (X1 − a)2 − n X − a =nP(Xi − a)2 − nE (X1 − a)2 √ √− X − a · n X − a ⇒ N0, D (X1 −a)2 ,= i=1nпоскольку первое слагаемое слабо сходится к N0, D (X1 −a)2 по ЦПТ, а второе сла √ гаемое X − a · n X − a слабо сходится к нулю как произведение сходящейсяк нулю по вероятности последовательности и последовательности, слабо сходящейсяк N0,D X1 .
какое свойство слабой сходимости использовано дважды?121.6. Группированные данные (некоторые вводные понятия к эконометрии)Если объем выборки очень велик, часто работают не с элементами выборки, ас группированными данными. Приведем ряд понятий, связанных с группировкой.Для простоты будем делить область выборочных данных на k одинаковых интерваловA1 , .
. . , Ak длины ∆:A1 = [a0 , a1 ), . . . , Ak = [ak−1 , ak ),aj − aj−1 = ∆.Как прежде, пусть νj — число элементов выборки, попавших в интервал Aj , и wj —частота попадания в интервал Aj (оценка вероятности попадания в интервал):νj = { число Xi ∈ Aj } =nXI(Xi ∈ Aj ),wj =i=1νj.nwjи получаютНа каждом из интервалов Aj строят прямоугольник с высотой fj =∆гистограмму.Рассмотрим середины интервалов: aj = aj−1 + ∆/2 — середина Aj . Наборa ,...,a ,| 1 {z }1ν1 раз...,ak , .
. . , ak| {z }νk разможно считать «огрубленной» выборкой, в которой все Xi , попадающие в интервал Aj ,заменены на aj . По этой выборке можно построить такие же (но более грубые) выборочные характеристики, что и по исходной (обозначим их так же), например выборочноесреднееkkX1XX=aj νj =aj wjnj=1j=1или выборочную дисперсиюS2 =X1X(aj − X)2 wj .(aj − X)2 νj =nkkj=1j=1Кривая, соединяющая точки (a0 , 0), (a1 , f1 ), .
. . , (ak , fk ), (ak , 0), называетсяполигоном (частот). В отличие от гистограммы полигон — непрерывная функция(ломаная).1.7. Вопросы и упражнения1. Можно ли по эмпирической функции распределения, приведенной на рис. 1, восстановитьвыборку X1 , . . . , Xn , если n известно? А вариационный ряд? Как это сделать? А если nнеизвестно?2. Существует ли выборка (X1 , . . . , X6 ) объёма 6 с нарисованной справа эмпирической функцией распределения? А выборка (X1 , . . .
, X12 ) объёма 12? Если «да», то записать ееи нарисовать эмпирическую функцию распределения выборки(2X1 , . . . , 2X12 ).F∗n (y)1 61234563. Можно ли по гистограмме, приведенной на рис. 2, восстановить выборку X1 , . . . , Xn ?4. Нарисовать эмпирическую функцию распределения, соответствующую выборке объема n израспределения Бернулли Bp . Использовать выборочное среднее X. Доказать непосредственно, что выполнена теорема Гливенко — Кантелли: psup F∗n (y) − F(y) −→ 0 при n → ∞.y∈IR13y5. Вспомнить, как найти по функции распределения величины X1 функцию распределения первой и последней порядковой статистики: X(1) = min{X1 , . . . , Xn }, X(n) = max{X1 , . .
. , Xn }.Выписать выражения для плотности этих порядковых статистик через функцию распределения и плотность величины X1 .6. Доказать (или вспомнить), что функция распределения k-й порядковой статистики X(k)имеет вид:P (X(k) < y) = P (хотя бы k элементов выборки < y) =nXCin F(y)i (1 − F(y))n−i ,i=kгде F(y) — функция распределения величины X1 .7. Из курса «Эконометрика»: доказать, что среднее степенноеv!un k1u 1XkktkXi=Xni=1а) стремится к X(1) при k → −∞ б) стремится к X(n) при k → +∞Имеется в виду сходимость для любого набора чисел X1 , .
. . , Xn , такого, что среднее степенное определено, т. е. сходимость п. н.Указание. Вынести X(1) (или X(n) ) из-под корня, воспользоваться леммой о двух милици√√kонерах и свойствами: k k → 1 при k → +∞,1 → 1 при k → +∞, и т.д.8. В условиях предыдущей задачи доказать, что последовательностьv!unqu 1XkkXki , k = 1, 2, 3, . . .E (ξ∗ )k = tni=1не убывает по k. Указание. Воспользоваться неравенством Йенсена.2. Точечное оценивание2.1. Параметрические семейства распределенийПредположим, что имеется выборка объема n, элементы которой X1 , . . . , Xnнезависимы, одинаково распределены и имеют распределение Fθ , известным образомзависящее от неизвестного параметра θ.Здесь Fθ — некий класс распределений, целиком определяющихся значением скалярного или векторного параметра θ.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
