Лекции по теории вероятностей (Б.И.Волков, 2006) (1134037), страница 7

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 7)

. , n таков, что ẽi ∈ Lk , если i = 1, . . . , k, ẽi ∈ Lm , если i = k+1, . . . , k+m, ẽi ∈ Ls , если i = k+m+1, . . . , n.Тогда ||Πk ξ||2 = σ 2 χ2k , ||Πm ξ||2 = σ 2 χ2m и независимы.Определение 3. Пусть ξ ∼ N(0, 1) и χ2m независимы. Тогда сл. величинаtm = q ξχ2 контролируется распределением Стьюдента (В.С.Госсета) с m стеmmпенями свободы.Свойства.

Плотность:) 1Γ( m+12√ptm (x) =mΓ( 2 ) πmМоменты:17tm = 0, tm =µx21+m¶− m+12, x > 0.m.m−2Вывод соответствующих формул см. в учебнике Пытьева, Шишмарева, стр. 97 102.30Конспект лекций по теории вероятностей 2006Следствие 3. Обозначим e = ( √1n , . . . , √1n ), L1 одномерное подпространство, определенное вектором e, Π1 ортогональный проектор на L 1 ,nnnPPPΠ1 ξ = (e, ξ)e = ( √1nξi )e = ( √1nξi , .

. . , √1nξi ).i=12i=1i=1Пусть ξ ∼ N(0, σ I), тогда1k(I[ n−1(ξ, e)= tn−1− Π1 )ξk2 ]1/2(20)распределение Стьюдента с n − 1 степенью свободы.Доказательство. Перейдем от базиса {ei } к базису {e, ẽ1 , . . . , ẽn−1 }, так чтоL = L(e), L⊥ = L(ẽ1 , . . . , ẽn−1 ). Тогда координаты в этом новом базисе независимы и распределены как N(0, σ 2 ), а k(I − Π1 )ξk2 = σ 2 χ2n−1 и по определению 3получаем (20).Перепишем (20) еще раз(ξ, e)=1[ n−1 k(I − Π1 )ξk2 ]1/21n=1[ n(n−1)nPk=1√1n1[ n−1nPnPk=1nPξii=1(ξk −1nnP=ξi )2 ]1/2i=1ξii=1(ξk −1nnP.ξi )2 ]1/2i=1Если ξ ∼ N(µ̄, σ 2 I), где µ̄ = (µ, . . .

, µ), то последнюю формулу можно заменить наnP1(ξi − µ)nµ̂ − µi=1=qtn−1 =,(21)nnPP1 21121/2σ̂[ n(n−1)(ξk − nξi ) ]ni=1k=1где µ̂ =1nnPξi ,σ̂ 2 =i=11n−1nPk=1(ξk −1nnPi=1ξi ) 2 =1k(In−1− Π1 )ξk2 .Интервальные оценки нормального распределения.Пусть {ξi }, i = 1.2. . . . последовательность независимых нормально распределенных N(µ, σ 2 ) сл. величин (независимых измерений). Требуется оценитьзначения неизвестных параметров µ и σ 2 .

Рассмотрим четыре случая.1. Оценивание µ при известном σ 2 .Очевидно,ТогдаnP(ξi −µ)√nσ 2i=1∼ N(0, 1).¯¯ n¯¯P¯¯¯ i=1(ξi − µ) ¯¯ < ε = α(ε) = 1 − 2Φ(−ε),¯P ¯ √¯nσ 2 ¯¯¯¯Конспект лекций по теории вероятностей 200631или, преобразуя неравенство, получаемÃr !rσ2σ2< µ < µ̂ + εP µ̂ − ε= α(ε) = 1 − 2Φ(−ε),nnгде µ̂ =1nnPξi середина интервала, шириной 2εi=1qσ2,nкоторому с вероятно-стью 1 − α(ε) = 1 − 2Φ(−ε) принадлежит неизвестный параметр µ.2.

Оценивание σ 2 при известном µ. Из определения 1 следует, чтоnPi=1(ξi −µ)2σ2∼ χ2n , поэтомуP ε1 <илиnPnPi=12(ξi − µ)2σ2 i=1(ξi − µ)< σ2 <Pε2< ε2  = 1 − α(ε1 , ε2 ),nPi=12(ξi − µ)  = 1 − α(ε1 , ε2 ),ε1причем обычно ε1 и ε2 выбирают так, чтобы P (χ2n < ε1 ) = P (χ2n > ε2 ). Интервал, которому удовлетворяет σ 2 с вероятностью 1 − α, называется интервальнойоценкой σ 2 .3. Оценивание µ при неизвестном σ 2 .Воспользуемся формулой (21)¯¯¯¯¯ µ̂ − µ ¯¯ < ε = 1 − α(ε)P (|tn−1 | < ε) = P ¯¯ q¯12¯σ̂ ¯nи получаем выражение, аналогичное пункту 1:Ãrr !σ̂ 2σ̂ 2= 1 − αn−1 (ε),P µ̂ − ε< µ < µ̂ + εnnно с тем отличием, что вместо σ 2 стоит σ̂ 2 и 1 − αn−1 (ε) соответствует распределению Стьюдента с n − 1 степенями свободы.4.

Оценивание σ 2 при неизвестном µ.Здесь по аналогии с пунктом 2 получаем nnPP22(ξ−µ̂)(ξ−µ̂)i i=1 ii=12 = 1 − αn−1 (ε1 , ε2 ),P<σ<ε2ε1где αn−1 (ε1 , ε2 ) вычисляется по распределению χ2n−1 с n − 1 степенями свободы.32Конспект лекций по теории вероятностей 2006Точечные оценки.Лекц. 10Пусть {ξi }, i = 1, 2, . . .

, n независимая выборка из распределения P (x, θ),где θ неизвестный параметр. Нас интересует оценка t(ξ) величины τ (θ) (здесьτ (·) известная функция), роль которой играет некоторая статистика t(ξ).Терминология: X выборочное пространство, n объем выборки, всякаяизмеримая функция t от выборки ξ называется статистикой, следовательно поопределению любая точечная оценка статистика.Желательные свойства оценок:1.

Несмещенность t(ξ) = τ (θ). (Гарантирует от накопления систематических ошибок).P2. Состоятельность tn (ξ) −→ τ (θ).n→∞3. Минимальность дисперсии (если оценка несмещенная) качество оценки при фиксированном объеме выборкиПримеры.nPНесмещенность µ̂ = n1ξi очевидна. Состоятельность µ̂ утверждениеi=1З.Б.Ч.Если ξi ∼ N(µ, σ 2 ), то σ̂ 2 =1n−1nPk=1(ξk − µ̂)2несмещенная и со-1стоятельная оценка. Действительно, при этом σ̂ 2 = n−1σ 2 χ2n−1 , σ̂ 2 = σ 2 ,44σσа σ̂ 2 = (n−1)χ2n−1 = (n−1)22 2(n − 1) и по неравенству Чебышёва42σ−→ 0. Если ξ не является нормальной, то несмеP {|σ̂ 2 − σ 2 | > ε} < ε2 (n−1)n→∞щенность оценки сохраняется:XX(ξi − µ̂)2 =[(ξi − µ)2 − 2(ξi − µ)(µ̂ − µ) + (µ̂ − µ)2 ] ===[X[X(ξi − µ)2 − 2(µ̂ − µ)(ξi − µ)2 −X(ξi − µ) +X(µ̂ − µ)2 ] =XX2Xn X(ξi − µ)(ξi − µ)] =(ξi − µ)(ξi − µ) + 2nn= nσ 2 − 2σ 2 + σ 2 = (n − 1)σ 2 ,а состоятельность нет (вообще говоря).Минимальность дисперсии желательное свойство, однако заметим, чтосмещение может уменьшить ср.

кв. уклонение. Например, задачаX(k(ξi − µ̂)2 − σ 2 )2 ∼ mink1имеет решение для ξi ∼ N(µ, σ 2 ) при k = n+1. (Доказать).Рассмотрим специально несмещенные оценки минимальной дисперсии(НОМД).Лемма. Если существует НОМД, то она единственна (с вер.

1).Доказательство. Пусть t1 (ξ) и t2 (ξ) НОМД, т.е. t i (ξ) = τ (θ), ti (ξ) = δ,i = 1, 2.Рассмотрим t3 = 12 (t1 + t2 ). Тогда t3 =p√111 √= ( t1 + 2covt1 t2 + t2 ) 6 ( t1 + 2t1 t2 + t2 ) = ( δ + δ)2 = δ,444Конспект лекций по теории вероятностей 200633ноt3>δ, т.е. возможно лишь равенство, откуда следует, чтоt1 (ξ) − τ (θ) = k(θ)(t2 (ξ) − τ (θ)) с вер. 1 (k 2 = 1), и далее, из covt1 t2 = δполучаем k = 1.Определение. Назовем статистику t(ξ), удовлетворяющую условию(t(ξ))2 < +∞, гильбертовой.Теорема. Пусть ξ = (ξ1 , .

. . , ξn ) выборка из распределения P (x, θ). Длятого, чтобы гильбертова статистика t(ξ) была НОМД, необходимо и достаточно,чтобы для всякой центрированной гильбертовой статистики η = s(ξ) (такой, чтоη = 0), выполнялось t(ξ)η = 0.Доказательство. Пусть t(ξ) гильбертова несмещенная оценка τ (θ). Тогда t(ξ) + λη тоже гильбертова несмещенная оценка τ (θ) для всех λ. Обозначимϕλ = (t(ξ) − τ (θ) + λη)2 .µ¶[ tη]2tη2min ϕλ = (t − τ ) −приλ = λ∗ = − 2 .λη2η(Необходимость).

Если последнее слагаемое не равно нулю, то существуетнесмещенная статистика с дисперсией, меньшей, чем у статистики t(ξ).(Достаточность). Если последнее слагаемое при любых η, η = 0 равнонулю, то статистика t(ξ) имеет наименьшую дисперсию среди всех гильбертовых несмещенных оценок типа t(ξ) + λη, а следовательно, всех гильбертовых несмещенных оценок, поскольку любую гильбертову несмещенную оценкуможно представить в таком виде.Иногда качество оценки можно оценить, зная минимально возможное значение ее дисперсии (неравенство Рао-Крамера).Определение.

Функцией правдоподобия для некоторого распределенияP (x, θ) называется L(x, θ) = f (x1 , θ)f (x2 , θ) . . . f (xn , θ), где f (xi , θ) либоплотность распределения pξ (x, θ) сл. величины ξ, либо Pθ {ξ = x}18 .Теорема Рао-Крамера. Пусть L(x, θ) функция правдоподобия, θ ∈ R 1 ивыполнены условия:1. t(ξ) несмещенная оценка τ (θ).2. Функции L(x, θ) и τ (θ) дифференцируемы по θ.3. Можнество тех x, для которых L(x, θ) > 0 не зависит от θ иZZddL(x, θ)dxL(x, θ)dx =dθdθиddθТогдаZt(x)L(x, θ)dx =t(ξ) >18Zt(x)dL(x, θ)dx.dθ|τ 0 (θ)|2hi2 ,(22)∂ ln(ξ,θ)∂θОбычно фукнция правдоподобия рассматривается как функция от θ, а значенияx1 , x2 , .

. . , xn (выборка) параметры.34Конспект лекций по теории вероятностей 2006причем знак равенства имеет место тогда и только тогда, когда∂ ln(ξ, θ)= a(θ)[t(ξ) − τ (θ)]∂θ(23)с вероятностью единица для некоторого a(θ).RДоказательство.ДифференцируятождестваL(x, θ)dx=Rt(x)L(x, θ)dx = τ (θ), получимZZd ln L(x, θ)d ln L(x, θ)L(x, θ)dx = 0, t(x)L(x, θ)dx = τ 0 (θ)dθdθили1 иd ln L(x, θ)L(x, θ)dx = τ 0 (θ)dθи отсюда по неравенству Коши-Буняковского получаем (22).Если в условиях теоремы Рао-Крамера имеет место равенство, то справедливо (23) с вероятностью единица. В этом случае оценка называется эффектив0 (θ)|ной и ее дисперсия равна t(ξ) = |τ|a(θ)|.К таким оценкам, например, приводят распределения, плотности которыхможно представить в видеZ[t(x) − τ (θ)]f (x, θ) = exp{a(θ)b(x) + c(θ) + d(x)}, x ∈ R1 , θ ∈ R1 .(Они называются экспоненциальными семействами.) ТогдаXXL(x, θ) = exp{a(θ)b(xi ) + nc(θ) +d(xi )}и∂ ln(ξ, θ)= a0 (θ)n∂θ¾½ X1c0 (θ)b(xi ) + 0.na (θ)Пусть условия теоремы Рао-Крамера выполнены, тогда t(ξ) =0есть эффективная оценка τ (θ) = − ac 0(θ)с дисперсией(θ)¯¯ 0¯ τ (θ) ¯¯¯¯ na0 (θ) ¯ .1nPb(xi )Экспоненциальному семейству принадлежат многие важные для практики распределения: нормальное, Пуассона, Бернулли (биномиальное), гаммараспределение и другие.К сожалению, класс эффективных оценок весьма узок: если такая оценкасуществует для функции τ (θ), то она не существует ни для какой функции, отличной от c1 τ (θ) + c2 .Оценки максимального правдоподобия.

Значение параметра θ = θ̂, прикотором функция правдоподобия имеет максимум, называется оценкой максимального правдоподобия. Она, к сожалению, не связана с каким-либо принципом оптимальности и не обладает, например, свойством несмещенности, однаколегко находится и имеет хорошие асимптотические свойства (состоятельность).Конспект лекций по теории вероятностей 2006Лекц. 1135Теорема Гаусса-Маркова.Предположим, что наблюдению доступны лишь линейные комбинации неизвестных величин (наблюдения косвенные)ξi =kX(24)aij αj + νi , i = 1, 2, .

. . , n.j=1Здесь ξi измеренные величины с аддитивными погрешностями ν i , aij известные коэффициенты, αj неизвестные величины, требующие определения,i = 1, . . . , n, j = 1, . . . , k.Требуется оценить αj , j = 1, 2, . . . , k, точнее, найти линейные несмещенныеоценки α̂j с минимальной дисперсией и матрицу ковариаций величины α̂ j .Запишем (24) в видеkXξ=aj αj + ν,(25)j=1гдеξ=ξ1ξ2...ξnили в виде,ν=ξ = Aα + ν,ν1ν2...νn,aj = α=α1α2...αka1ja2j...anj ∈ Rk ,j = 1, . . . , k,A = ||aij ||,(26)причем будем считать для простоты, что n > k, векторы-столбцы aj линейнонезависимы, ν = 0, νν ∗ = σ 2 I.nP1. (Линейность) Будем искать оценку αj в виде α̂j =bij ξi = (bj , ξ),i=1b1jb2j...bj = bnj.2.

Характеристики

Список файлов лекций