Математическая статистика (PDF), страница 3

... из 179НазадВерен более общий результат, показывающий, что сходимость эмпирической функции распределения к теоретической имеет «равномерный» характер.Во весь экранУйтиТеорема Гливенко — Кантелли. Пусть X = (X1 , . . . , Xn ) — выборка объема n изнеизвестного распределения F с функцией распределения F. Пусть F∗n — эмпирическаяфункция распределения, построенная по этой выборке. Тогдаpsup F∗n (y) − F(y) −→ 0y∈IRСтр. 16приn → ∞.Замечание 3.

Более того, в условиях теорем 1 и Гливенко — Кантелли имеет местосходимость не только по вероятности, но и почти наверное.Если функция распределения F непрерывна, то скорость сходимости к нулю в тео√реме Гливенко — Кантелли имеет порядок 1/ n:ОглавлениеТеорема Колмогорова. Пусть X = (X1 , .

. . , Xn ) — выборка объема n из неизвестногораспределения F с непрерывной функцией распределения F, а F∗n — эмпирическаяфункция распределения. Тогда√JJIIJIy∈IRприn → ∞,где случайная величина η имеет распределение Колмогорова с непрерывной функциейраспределенияНа стр. ... из 179Назадn sup F∗n (y) − F(y) ⇒ ηK(x) =∞X2 x2(−1)j e−2jпри x > 0,K(x) = 0 при x < 0.j=−∞Во весь экранУйтиСтр. 17Следующие свойства эмпирической функции распределения — это хорошо знакомые нам свойства среднего арифметического n независимых слагаемых, имеющих, к тому же, распределение Бернулли.В первых двух пунктах утверждается, что случайная величина F∗n (y) имеет маF(y)(1 − F(y)), которая убывает как 1/n.тематическое ожидание F(y) и дисперсиюn√Третий пункт показывает, что F∗n (y) сходится к F(y) со скоростью 1/ n.Свойство 1. Для любого y ∈ IR1) E F∗n (y) = F(y), т.

е. F∗n (y) — «несмещенная» оценка для F(y);ОглавлениеJJIIJI2) D F∗n (y) =F(y)(1 − F(y));n√3) если 0 < F(y) < 1, то n(F∗n (y) − F(y)) ⇒ N0,F(y)(1−F(y)) , т. е. F∗n (y)— «асимптотически нормальная» оценка для F(y);4) случайная величина n · F∗n (y) имеет биномиальное распределение Bn,F(y) .На стр. ... из 179НазадВо весь экранДоказательство свойства 1.нулли BF(y) , поэтомуЗаметим снова, что I(X1 < y) имеет распределение Бер-E I(X1 < y) = F(y)УйтииD I(X1 < y) = F(y)(1 − F(y)).1) Случайные величины I(X1 < y), I(X2 < y), . .

. одинаково распределены, поэтомугде используется одинаковая распределенность?nPE F∗n (y) = E i=1Стр. 18nPI(Xi < y)n=E I(Xi < y)i=1n=nE I(X1 < y)= F(y).n2) Случайные величины I(X1 < y), I(X2 < y), . . . независимы и одинаково распределены, поэтому где используется независимость?nPОглавлениеD F∗n (y)=DnPI(Xi < y)i=1n=D I(Xi < y)i=1=n2nD I(X1 < y)F(y)(1 − F(y))=.2nn3) Воспользуемся ЦПТ Ляпунова: а что это такое?JJII√JIn(F∗n (y)nPI(Xi < y)√  i=1− F(y)) = n − F(y) =nnPi=1!I(Xi < y) − nF(y)√n=На стр. ...

из 179nPНазадВо весь экранУйти=i=1!I(Xi < y) − nE I(X1 < y)√n4) Поскольку I(X1 < y) (число успехов в одном испытании) имеет распределение БерnPнулли BF(y) , почему? то n·F∗n (y) =I(Xi < y) имеет биномиальное распределениеi=1Bn,F(y) . почему?Стр. 19⇒ N0,D I(X1 <y) = N0,F(y)(1−F(y)) .а что такое устойчивость по суммированию?Замечание 4. Все определения, как то: «оценка», «несмещенность», «состоятельность», «асимптотическая нормальность» будут даны в главе 2.

Но смысл этих терминов должен быть вполне понятен уже сейчас.1.5.2. Свойства гистограммыПусть распределение F абсолютно непрерывно, f — его истинная плотность. Пусть,кроме того, число k интервалов группировки не зависит от n. Случай, когда k = k(n),отмечен в замечании 1.ОглавлениеСправедливаJJIIJIТеорема 2. При n → ∞ для любого j = 1, .

. . , kl j · fj =На стр. ... из 179νj p−→ P (X1 ∈ Aj ) =nZf(x) dx.AjНазадВо весь экранУпражнение. Доказать теорему 2, используя (1) и ЗБЧ.УйтиСтр. 20Теорема утверждает, что площадь столбца гистограммы, построенного над интервалом группировки, с ростом объема выборки сближается с площадью области подграфиком плотности над этим же интервалом.1.5.3. Свойства выборочных моментовВыборочное среднее X является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического среднего (математического ожидания):ОглавлениеСвойство 2.1) Если E |X1 | < ∞, то E X = E X1 = a.pJJII2) Если E |X1 | < ∞, то X −→ E X1 = a при n → ∞.JI3) Если D X1 < ∞ и не равна нулю, то√ n X − E X1 ⇒ N0,D X1 .На стр. ... из 179НазадВо весь экранДоказательство свойства 2.1) E X =Уйтиn11 PE Xi = · nE X1 = E X1 = a.n i=1n2) Согласно ЗБЧ в форме Хинчина, X =3) Согласно ЦПТ,nP√ Стр.

21n1 PpXi −→ E X1 = a.n i=1n X − E X1 =i=1Xi − nE X1√⇒ N0,D X1 .nВыборочный k-й момент Xk является несмещенной, состоятельной и асимптотически нормальной оценкой для теоретического k-го момента:ОглавлениеСвойство 3.1) Если E |X1 |k < ∞, то E Xk = E Xk1 = mk .pJJII2) Если E |X1 |k < ∞, то Xk −→ E Xk1 = mk при n → ∞.I3) Если D Xk1 < ∞ и не равна нулю, тоJ√ kn X − E Xk1 ⇒ N0,D Xk .1На стр. ... из 179НазадУпражнение.

Доказать свойство 3.Во весь экранУйтиСтр. 22В дальнейшем мы не будем оговаривать существование соответствующих моментов.В частности, в первых двух пунктах следующего утверждения предполагается наличиевторого момента у случайных величин Xi , а в третьем пункте — четвертого (дисперсиивеличины X21 ).Свойство 4.Оглавление1) Выборочные дисперсии S2 и S20 являются состоятельными оценками для истиннойppдисперсии: S2 −→ D X1 = σ2 , S20 −→ D X1 = σ2 .2) Величина S2 — смещенная, а S20 — несмещенная оценка дисперсии:JJIIJIНа стр.

... из 179E S2 =n−1n−1 2D X1 =σ 6= σ2 ,nnE S20 = D X1 = σ2 .2 и S2 являются асимптотически нормальными оценками3) Выборочные дисперсии S0√2истинной дисперсии: n S − D X1 ⇒ N0,D (X1 −E X1 )2 .НазадВо весь экранДоказательство свойства 4.1) Во первых, раскрыв скобки, полезно убедиться в том, чтоУйти1X(Xi − X)2 = X2 − (X)2 .nnS2 =(2)i=1pСтр. 23Из (2) и ЗБЧ следует, что S2 = X2 − (X)2 −→ E X21 − (E X1 )2 = σ2 .nnpКроме того,→ 1, так что S20 =S2 −→ σ2 .n−1n−12) Воспользуемся формулой (2):E S2 = E X2 − (X)2 = E X2 − E (X)2 = (по лемме 3) = E X21 − E (X)2 =Оглавление1X = E X21 − (E X)2 + D (X) = E X21 − (E X1 )2 − D Xi =nJJIIσ2n−1 21=σ , откуда сразу следует= σ − 2 nD X1 = σ2 −nnnnE S2 = σ2 .=n−1JIni=12На стр.

... из 179E S203) Выборочную дисперсию можно представить в следующем виде:221X1 X(Xi − X)2 =Xi − a − (X − a) = (X − a)2 − X − a .S =nnnni=1i=12НазадВо весь экранТогда √ 2√ 2222n S − σ = n (X − a) − X − a − σ ==nPУйти=Стр. 24 √ 2√ n (X − a)2 − E (X1 − a)2 − n X − a =(Xi − a)2 − nE (X1 − a)2 √ √− X − a · n X − a ⇒ N0, D (X1 −a)2 ,ni=1поскольку первое слагаемое слабо сходится к N0, D (X1 −a)2 по ЦПТ, а второе сла √ гаемое X − a · n X − a слабо сходится к нулю как произведение сходящейсяк нулю по вероятности последовательности и последовательности, слабо сходящейсяк N0,D X1 .

какое свойство слабой сходимости использовано дважды?1.6. Группированные данные (некоторые вводные понятия к эконометрии)ОглавлениеЕсли объем выборки очень велик, часто работают не с элементами выборки, ас группированными данными.

Приведем ряд понятий, связанных с группировкой.Для простоты будем делить область выборочных данных на k одинаковых интерваловA1 , . . . , Ak длины ∆:A1 = [a0 , a1 ), . . . , Ak = [ak−1 , ak ),JJIIJIНа стр. ... из 179НазадВо весь экранКак прежде, пусть νj — число элементов выборки, попавших в интервал Aj , и wj —частота попадания в интервал Aj (оценка вероятности попадания в интервал):νj = { число Xi ∈ Aj } =Стр. 25nXI(Xi ∈ Aj ),i=1wj =νj.nwjНа каждом из интервалов Aj строят прямоугольник с высотой fj =и получают∆гистограмму.Рассмотрим середины интервалов: aj = aj−1 + ∆/2 — середина Aj .

Наборa1 , . . . , a1 ,| {z }Уйтиaj − aj−1 = ∆.ν1 раз...,ak , . . . , ak| {z }νk разможно считать «огрубленной» выборкой, в которой все Xi , попадающие в интервал Aj ,заменены на aj . По этой выборке можно построить такие же (но более грубые) выборочные характеристики, что и по исходной (обозначим их так же), например выборочноесреднееkkX1XX=aj ν j =aj w jnj=1j=1или выборочную дисперсиюS2 =ОглавлениеJJIIJIНа стр.

... из 179НазадВо весь экранX1X(aj − X)2 νj =(aj − X)2 wj .nkkj=1j=1Кривая, соединяющая точки (a0 , 0), (a1 , f1 ), . . . , (ak , fk ), (ak , 0), называетсяполигоном (частот). В отличие от гистограммы полигон — непрерывная функция(ломаная).1.7.Вопросы и упражнения1. Можно ли по эмпирической функции распределения, приведенной на рис. 1, восстановитьвыборку X1 , .

. . , Xn , если n известно? А вариационный ряд? Как это сделать? А если nнеизвестно?2. Существует ли выборка (X1 , . . . , X6 ) объёма 6 с нарисованной справа эмпирической функцией распределения? А выборка (X1 , . . . , X12 ) объёма 12? Если «да», то записать ееи нарисовать эмпирическую функцию распределения выборки(2X1 , .

. . , 2X12 ).F∗n (y)1 61Уйти234563. Можно ли по гистограмме, приведенной на рис. 2, восстановить выборку X1 , . . . , Xn ?Стр. 264. Нарисовать эмпирическую функцию распределения, соответствующую выборке объема n израспределения Бернулли Bp . Использовать выборочное среднее X. Доказать непосредственно, что выполнена теорема Гливенко — Кантелли: psup F∗n (y) − F(y) −→ 0 при n → ∞.y∈IRy5.

Вспомнить, как найти по функции распределения величины X1 функцию распределения первой и последней порядковой статистики: X(1) = min{X1 , . . . , Xn }, X(n) = max{X1 , . . . , Xn }.Выписать выражения для плотности этих порядковых статистик через функцию распределения и плотность величины X1 .Оглавление6. Доказать (или вспомнить), что функция распределения k-й порядковой статистики X(k)имеет вид:P (X(k) < y) = P (хотя бы k элементов выборки < y) =JJIIJInXCin F(y)i (1 − F(y))n−i ,i=kгде F(y) — функция распределения величины X1 .На стр.