Ульянов (новое издание) (1115355), страница 21
Текст из файла (страница 21)
. , xn ), где xi = 0, 1. Если вероятность p успеха известна, то вероятностноймоделью является набор (Ω, A, P), где Ω = {ω : ω = (x1 , . . . , xn ), xi = 0, 1}, A —совокупность всех подмножеств Ω и вероятностью P:PP(w) = pPxi n− xiq.Предположим теперь, что вероятность успеха не известна. Обозначим ее за θ, и мыможем только сказать, что θ ∈ [0, 1]. Таким Pобразом семейсводопустимых вероятPxin− xiностей имеет вид P = {Pθ , θ ∈ Θ}, где Pθ = θ(1 − θ).Нашей задачей будет сузить класс P.Исходные статистические данные — результат наблюдения конечной совокупности случайных величин X = (X1 , . . . , Xn ). При этом говорят, что экспериментсостоит в проведении n испытаний, в которых результат i - го испытания описывается случайной величиной Xi .
Совокупность X = (X1 , . . . , Xn ) называют выборкой,величины Xi — элементами выборки, а их число n — объемом выборки.Реализации выборки X будем обозначать x = (x1 , . . . , xn ).Пусть X = {x} — множество не котором задано распределение случайного вектора X, т.е. множество всех возможных значений выборки X. F - класс допустимыхраспределений случайной величины X, заданных на X . Таким образом под статистической моделью эксперимента будем понимать набор (X , F).101Следовательно, с каждой выборкой X свяжем ее функцию распределения FX (x):FX (x1 , . .
. , xn ) = P(X1 < x1 , . . . , Xn < xn ).Мы будем рассматривать случай, когда все компоненты выборки независимыи распределены так же, как и некоторая случайная величина ξ. Такую выборкумы будем называть повторной. Этот случай соответствует эксперименту, в которомпроводятся повторные независимые наблюдения над случайной величиной ξ. ТогдаFX (x) = Fξ (x1 ) . . . Fξ (xn ). И говорят, что X = (X1 , . . . , Xn ) — выборка из распределения случайной величины ξ. Иногда множество возможностых значений ξ называютгенеральной совокупностью, а величину X — выборкой из этой совокупности.Если функции распределения из класс F заданы с точностью до значений некоторого параметра θ c множеством допустимых значений Θ, то такая модель F ={F (x, θ), θ ∈ Θ} называется параметрической. В этом случае известен тип распределения, но не известен параметр, от которого зависит распределение.13.2Эмпирическая функция распределенияДалее нам потребуется понятие эмпирической функции распределения.Определение 13.1.
Эмпирической функцией распределения, построенной по случайной выборке (X1 , . . . , Xn ), называется случайная функцияn1XFn (x) =I(Xi < x).n i=1Для конкретной реализации x выборки X и фиксированного числа x величинаFn (x) равна доле тех значений xi , которые меньше x.Cледующая теорема показывает, что функция Fn (x) является хорошей оценкойдля теоретической функции распределения F (x).Теорема 13.1. Пусть (X1 , . . . , Xn ) — повторная выборка значений случаной величины X, имеющей функцию распределения F (x). Тогда для любого x ∈ RP ( lim Fn (x) = F (x)) = 1.n→∞Доказательство.
Обозначим Yi = I(Xi < x). Случайные величины Y1 , . . . , Yn —независимые и одинаково распределенные.Из определения Yi следует, что EYi = P(Xi < x) = F (x) и DYi = EYi2 − (EYi )2 =F (x)(1 − F (x)) < ∞. Следовательно применим усиленный закон больших чисел иFn (x) =Y1 + . . . + Yn п. н.−−→ F (y).nВесьма замечательно, что имеет место более сильный результат о том, что сходимость в теореме равномерна по x.Теорема 13.2. Пусть выполняются условия предыдущей теоремы. ТогдаP ( lim sup |Fn (x) − F (x)| = 0) = 1.n→∞ x∈RДоказательство этого результата приведено например в книге А.Н. Ширяева "Вероятность - 1".10213.3Эмпирические или выборочные моментыПусть (X1 , . . . , Xn ) — выборка из распределения L(X) и F (x) и Fn (x) - соответсвенно теоретическая и эмпирическая функции распределения. Точно так же, как F (x)ставится в соответсвие Fn (x), любой теоретической характеристике можно поставитьв соответствие эмпирическую характеристику.Дадим определение эмпирического момента.Определение 13.2.
Эмпирическим (выборочным) моментом называется моментслучайной величины, имеющей эмпирическую функцию распределения в качествефункции распределения.Обозначим выборочный момент X. Из выше сказанного заключаем, чтоZn1XX = x dFn (x) =Xi .n i=1RВообще, если g =Rg(x) dF (x) - некоторая теоретическая характеристика распре-Rделения F (x), то ей можно поставить в соответствие эмпирическую характеристикупо формулеZn1XG = g(x) dFn (x) =g(Xi ).n i=1RЕсли g(x) = xk , то G — выборочный момент k-го порядка и он равенn1X kX .Ak = Ak (X) =n i=1 iВыборочным центральным моментом k-го порядка называют случайную величинуn1XMk = Mk (X) =(Xi − X)k .n i=1При k = 2 величину Mk называют выборочной дисперсией и обозначают символомS 2 = S 2 (X):n1X2S =(Xi − X)2 .n i=1Между эмпирическими моментами сохраняются те же соотношения, что и междусоответсвующими теоретическими моментами.Так как эмпирическая характеристика G является с свою очередь случайнойвеличиной, то мы можем говорить о ее распределении и различных характеристиках.Вычислим математическое ожидание и дисперсию выборочного среднего и выборочной дисперсии.
Так как все Xi независимы и распределены так же как и наблюдаемая случайная величина X, то для выборочного среднего имеемnEX =DX =1XEXi = EX,n i=1DX1 + . . . + DXnDX=.2nn103Вычислим теперь математическое ожидание выборочной дисперсии. Заметим,что выборочная дисперсия инварианта относительно сдвига. Действительно¶2n µ1X(X1 + c) + . .
. + (Xn + c)2S (X1 + c, . . . , Xn + c) =Xi + c −n i=1nn1X=(Xi − X)2 = S 2 (X).n i=1Пусть EX1 = m, DX1 = σ 2 . Положим, Yi = Xi − m. В силу инвариантностиотносительно сдвига имеем S 2 (X) = S 2 (Y) иnn1X1X 22(Yi − Y )2 =(Yi − 2Y Yi + Y )S =n i=1n i=12n=n1 X 2 2n 2 n 21X 22Yi − Yi + Yi =Yi − Yi .n i=1nnn i=1(1)Используя тот факт, что EYi = 0, и то, что математическое ожидание произведения независимых случайных величин равно произведению математических ожиданий, получимà n!2à n!XXX11Yi= 2 EYi2 + 2Yi YjEY = 2 Enni=1i=1i<jà n!nX1 X1 Xσ22= 2EYi + 2EYi EYj = 2EYi2 = .nn i=1ni=1i<j2Теперь, применяя (1), получимES 2 (X) = ES 2 (Y)n1Xσ2n−1 2222=EYi − EY = σ −=σ .n i=1nnЗамечание. Часто используют другое определение выборочной дисперсии:nS 2 (X) =1 X(X − X)2 .n − 1 i=1Оно лучше тем, что ES 2 (X) = σ 2 .
Чтобы отличать от выборочной дисперсии введен22(X) и называть= Sreной ранее, такую выборочную дисперсию будем обозначать Sreисправленной выборочной дисперсией.Введем еще одно определение, которое нам понадобится в будущем.Определение 13.3. Последовательно случайных величин {Yn } — асимпототически нормальна с параметрами (an , bn ), если для любого z½PYn − an<zbn¾1→ Φ(z) = √2π104Zzu2e− 2 du,−∞n → ∞.Теорема 13.3. Последовательность X n — асимптотически нормальна.σДоказательство. Возьмем an = a, bn = √ . Тогда в силу центральной предельnной теоремыXn − aX1 + .
. . + Xn − na d√→− N (0, 1).=bnσ nЗамечание. Теорема остается справедливой для выборочных моментов любого порядка k.13.4Порядковые статистики и вариационные рядыКаждой реализации x выборки X можно поставить в соответствие упорядоченнуюпоследовательность:x(1) 6 x(2) 6 . . . 6 x(n) .Обозначим через X(k) случайную величину, которая для каждой реализации x выборки X принимает значение x(k) . Таким образом мы по выборке X = (X1 , .
. . , Xn )определили новую последовательность случайных величин X(1) , . . . , X(n) , называемых порядковыми статистиками. X(k) — k-ая порядковая статистика. X(1) , X(n) —экстремальные значения выборки.Очевидно, что порядковые статистики удовлетворяют неравенствамX(1) 6 X(2) 6 . . . 6 X(n) .(2)Последовательность (2) называется вариационным рядом.Интересно поставить вопрос о распределение X(k) .Для X(n) и X(1) имеемÃn!n\YP(X(n) < z) = P{Xi < z} =P(Xi < z) = F n (z).i=1ÃP(X(1) < z) = 1 − P((X(1) > z) = 1 − Pi=1n\!{Xi > z}= 1 − (1 − F (z))n .i=1Лемма 13.1.P(X(k) < z) =nXCni F i (z)(1 − F (z))n−i .i=kДоказательство.
Обозначим через µn (z) — число событий {j : Xj < z}. Есливспомнить определение эмпирической функции распределения, тоFn (z) =µn (z).nИз равенства {Xk < z} = {µn (z) > k}, доказательство справедливости которого мыпредоставляем читателю, вытекает, чтоÃn!\P(X(k) < z) = P(µn (z) > k) = P(µn (z) = i) .i=k105События {µn (z) = i} несовместы, и µn (z) = i означает, что из n случайных величинровно i меньше z, а остальные не меньше z. СледовательноP(X(k) < z) =nXP(µn (z) = i).i=kТак как µn (z) имеет биноминальное распределение с параметрам n и p = P(X <z) = F (z), то доказательство леммы окончено.13.5Статистические оценкиС этим понятием мы уже сталкивались выше, когда говорили, что эмпирическаяфункция распределения являетя оценкой для теоретической функции распределения или выборочная характеристика является оценкой теоретической характеристики.
При этом использование понятия "оценка"основалось на том, что при достаточно большом объеме выборки, большие отклонения эмпирической характерестики оттеоретической маловероятны.При применение статистической теории на практике, часто приходится строитьоценки теоретических характеристик при ограниченных объемах выборки. Мы изложим некоторые общие методы решения подобных задач.Пусть у нас есть параметрическая статистическая модель F = {F (x, θ), θ ∈ Θ}и выборка X = (X1 , . . . , Xn ) из распределения L(X) ∈ F.Априорная информация о наблюдаемой случайной величине X состоит в том,что ее функция распределения F (x) принадлежит некоторому заданному параметрическому семейству F, т.е. имеет известную функциональную форму, но зависитот некоторого неизвестного параметра θ, который принадлежит параметрическомумножеству Θ.
Таким образом имеем задачу: по выборке X сделать статистическиевыводы об истинном значении неизвестного параметра θ.Определение 13.4. Статистикой называется любая случайная величина, являющаяся функцией лишь от выборки X.При точечном оценивании ищут статистику T = T (X), которую при заданнойреализации x выборки X принимают за приближенное значение параметра θ.Для оценивания θ можно использовать различные оценки. Но чтобы выбратьлучшую из них нужно иметь критерии качества оценок. В разных случаях мерыкачества различны.Введем понятие несмещенной и состоятельной оценки.Определение 13.5.
Оценка T = T (X) является несмещенной оценкой неизвестного параметра θ, еслиET = θ.Замечание. Иногда требуется найти несмещенную оценку не самого неизвестногопараметра θ, а некоторой функции τ (θ) от него. В этом случае оценка T = T (X)является несмещенной оценкой τ (θ), еслиET = τ (θ).Определение 13.6. Оценка T = T (X) является состоятельной оценкой неизвестного параметра θ, если при неограниченном увеличении объема выборкиpT −→θ10613.5.1Свойства несмещенных оценок1◦ .
Несмещенные оценки не единственны.К примеру в качестве несмещенной оценки для математического ожидания EXмогут выступать EX1 или EX.2◦ . Несмещенные оценки могут не существовать.Пример. Пусть L(X) — пуассоновское распределение с параметром θ. Производитсяодно наблюдение X над пуассоновской случайной величиной. Требуется оценить1параметрическую функцию τ (θ) = . Пусть T (X) — несмещенная оценка для τ (θ),θт.е.∞XT (x)e−θx=0∞Xx=0−θ θT (x)eθx1= ,x!θx+1x!θ=e =или∞Xθrr=0r!.Очевидно, что не существует функции T (X), удовлетворяющей этому соотношениюи не зависящей от θ.3◦ .
Несмещенные оценки могут существовать, но быть бессмысленными.Пример. Пусть L(X) — отрицательное биномиальное распределение с параметрами1 и θ. Производится одно наблюдение X. Требуется оценить параметр θ . Пусть T (X)— несмещенная оценка для θ, т.е.∞X∞XθT (x)θ ==θr ,1−θx=0r=1x∀θ ∈ (0, 1).Приравнивая коэффициенты при одинаковых степенях θ, получаем, что единственной несмещенной оценкой является статистика(0, при X = 0,T (X) =1, при X > 1.Но значения этой статистики не принадлежат параметрическому множеству Θ =(0, 1).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
