Лекции по теории вероятностей (Б.И.Волков, 2006), страница 7

. . , ẽn−1 ). Тогда координаты в этом новом базисе независимы и распределены как N(0, σ 2 ), а k(I − Π1 )ξk2 = σ 2 χ2n−1 и по определению 3получаем (20).Перепишем (20) еще раз(ξ, e)=1[ n−1 k(I − Π1 )ξk2 ]1/21n=1[ n(n−1)nPk=1√1n1[ n−1nPnPk=1nPξii=1(ξk −1nnP=ξi )2 ]1/2i=1ξii=1(ξk −1nnP.ξi )2 ]1/2i=1Если ξ ∼ N(µ̄, σ 2 I), где µ̄ = (µ, . . . , µ), то последнюю формулу можно заменить наnP1(ξi − µ)nµ̂ − µi=1=qtn−1 =,(21)nnPP1 21121/2σ̂[ n(n−1)(ξk − nξi ) ]ni=1k=1где µ̂ =1nnPξi ,σ̂ 2 =i=11n−1nPk=1(ξk −1nnPi=1ξi ) 2 =1k(In−1− Π1 )ξk2 .Интервальные оценки нормального распределения.Пусть {ξi }, i = 1.2. .

. . последовательность независимых нормально распределенных N(µ, σ 2 ) сл. величин (независимых измерений). Требуется оценитьзначения неизвестных параметров µ и σ 2 . Рассмотрим четыре случая.1. Оценивание µ при известном σ 2 .Очевидно,ТогдаnP(ξi −µ)√nσ 2i=1∼ N(0, 1).¯¯ n¯¯P¯¯¯ i=1(ξi − µ) ¯¯ < ε = α(ε) = 1 − 2Φ(−ε),¯P ¯ √¯nσ 2 ¯¯¯¯Конспект лекций по теории вероятностей 200631или, преобразуя неравенство, получаемÃr !rσ2σ2< µ < µ̂ + εP µ̂ − ε= α(ε) = 1 − 2Φ(−ε),nnгде µ̂ =1nnPξi середина интервала, шириной 2εi=1qσ2,nкоторому с вероятно-стью 1 − α(ε) = 1 − 2Φ(−ε) принадлежит неизвестный параметр µ.2. Оценивание σ 2 при известном µ. Из определения 1 следует, чтоnPi=1(ξi −µ)2σ2∼ χ2n , поэтомуP ε1 <илиnPnPi=12(ξi − µ)2σ2 i=1(ξi − µ)< σ2 <Pε2< ε2  = 1 − α(ε1 , ε2 ),nPi=12(ξi − µ)  = 1 − α(ε1 , ε2 ),ε1причем обычно ε1 и ε2 выбирают так, чтобы P (χ2n < ε1 ) = P (χ2n > ε2 ).

Интервал, которому удовлетворяет σ 2 с вероятностью 1 − α, называется интервальнойоценкой σ 2 .3. Оценивание µ при неизвестном σ 2 .Воспользуемся формулой (21)¯¯¯¯¯ µ̂ − µ ¯¯ < ε = 1 − α(ε)P (|tn−1 | < ε) = P ¯¯ q¯12¯σ̂ ¯nи получаем выражение, аналогичное пункту 1:Ãrr !σ̂ 2σ̂ 2= 1 − αn−1 (ε),P µ̂ − ε< µ < µ̂ + εnnно с тем отличием, что вместо σ 2 стоит σ̂ 2 и 1 − αn−1 (ε) соответствует распределению Стьюдента с n − 1 степенями свободы.4. Оценивание σ 2 при неизвестном µ.Здесь по аналогии с пунктом 2 получаем nnPP22(ξ−µ̂)(ξ−µ̂)i i=1 ii=12 = 1 − αn−1 (ε1 , ε2 ),P<σ<ε2ε1где αn−1 (ε1 , ε2 ) вычисляется по распределению χ2n−1 с n − 1 степенями свободы.32Конспект лекций по теории вероятностей 2006Точечные оценки.Лекц.

10Пусть {ξi }, i = 1, 2, . . . , n независимая выборка из распределения P (x, θ),где θ неизвестный параметр. Нас интересует оценка t(ξ) величины τ (θ) (здесьτ (·) известная функция), роль которой играет некоторая статистика t(ξ).Терминология: X выборочное пространство, n объем выборки, всякаяизмеримая функция t от выборки ξ называется статистикой, следовательно поопределению любая точечная оценка статистика.Желательные свойства оценок:1.

Несмещенность t(ξ) = τ (θ). (Гарантирует от накопления систематических ошибок).P2. Состоятельность tn (ξ) −→ τ (θ).n→∞3. Минимальность дисперсии (если оценка несмещенная) качество оценки при фиксированном объеме выборкиПримеры.nPНесмещенность µ̂ = n1ξi очевидна. Состоятельность µ̂ утверждениеi=1З.Б.Ч.Если ξi ∼ N(µ, σ 2 ), то σ̂ 2 =1n−1nPk=1(ξk − µ̂)2несмещенная и со-1стоятельная оценка. Действительно, при этом σ̂ 2 = n−1σ 2 χ2n−1 , σ̂ 2 = σ 2 ,44σσа σ̂ 2 = (n−1)χ2n−1 = (n−1)22 2(n − 1) и по неравенству Чебышёва42σ−→ 0. Если ξ не является нормальной, то несмеP {|σ̂ 2 − σ 2 | > ε} < ε2 (n−1)n→∞щенность оценки сохраняется:XX(ξi − µ̂)2 =[(ξi − µ)2 − 2(ξi − µ)(µ̂ − µ) + (µ̂ − µ)2 ] ===[X[X(ξi − µ)2 − 2(µ̂ − µ)(ξi − µ)2 −X(ξi − µ) +X(µ̂ − µ)2 ] =XX2Xn X(ξi − µ)(ξi − µ)] =(ξi − µ)(ξi − µ) + 2nn= nσ 2 − 2σ 2 + σ 2 = (n − 1)σ 2 ,а состоятельность нет (вообще говоря).Минимальность дисперсии желательное свойство, однако заметим, чтосмещение может уменьшить ср.

кв. уклонение. Например, задачаX(k(ξi − µ̂)2 − σ 2 )2 ∼ mink1имеет решение для ξi ∼ N(µ, σ 2 ) при k = n+1. (Доказать).Рассмотрим специально несмещенные оценки минимальной дисперсии(НОМД).Лемма. Если существует НОМД, то она единственна (с вер. 1).Доказательство. Пусть t1 (ξ) и t2 (ξ) НОМД, т.е. t i (ξ) = τ (θ), ti (ξ) = δ,i = 1, 2.Рассмотрим t3 = 12 (t1 + t2 ).

Тогда t3 =p√111 √= ( t1 + 2covt1 t2 + t2 ) 6 ( t1 + 2t1 t2 + t2 ) = ( δ + δ)2 = δ,444Конспект лекций по теории вероятностей 200633ноt3>δ, т.е. возможно лишь равенство, откуда следует, чтоt1 (ξ) − τ (θ) = k(θ)(t2 (ξ) − τ (θ)) с вер. 1 (k 2 = 1), и далее, из covt1 t2 = δполучаем k = 1.Определение. Назовем статистику t(ξ), удовлетворяющую условию(t(ξ))2 < +∞, гильбертовой.Теорема. Пусть ξ = (ξ1 , . . . , ξn ) выборка из распределения P (x, θ).

Длятого, чтобы гильбертова статистика t(ξ) была НОМД, необходимо и достаточно,чтобы для всякой центрированной гильбертовой статистики η = s(ξ) (такой, чтоη = 0), выполнялось t(ξ)η = 0.Доказательство. Пусть t(ξ) гильбертова несмещенная оценка τ (θ). Тогда t(ξ) + λη тоже гильбертова несмещенная оценка τ (θ) для всех λ. Обозначимϕλ = (t(ξ) − τ (θ) + λη)2 .µ¶[ tη]2tη2min ϕλ = (t − τ ) −приλ = λ∗ = − 2 .λη2η(Необходимость). Если последнее слагаемое не равно нулю, то существуетнесмещенная статистика с дисперсией, меньшей, чем у статистики t(ξ).(Достаточность).

Если последнее слагаемое при любых η, η = 0 равнонулю, то статистика t(ξ) имеет наименьшую дисперсию среди всех гильбертовых несмещенных оценок типа t(ξ) + λη, а следовательно, всех гильбертовых несмещенных оценок, поскольку любую гильбертову несмещенную оценкуможно представить в таком виде.Иногда качество оценки можно оценить, зная минимально возможное значение ее дисперсии (неравенство Рао-Крамера).Определение. Функцией правдоподобия для некоторого распределенияP (x, θ) называется L(x, θ) = f (x1 , θ)f (x2 , θ) .

. . f (xn , θ), где f (xi , θ) либоплотность распределения pξ (x, θ) сл. величины ξ, либо Pθ {ξ = x}18 .Теорема Рао-Крамера. Пусть L(x, θ) функция правдоподобия, θ ∈ R 1 ивыполнены условия:1. t(ξ) несмещенная оценка τ (θ).2. Функции L(x, θ) и τ (θ) дифференцируемы по θ.3. Можнество тех x, для которых L(x, θ) > 0 не зависит от θ иZZddL(x, θ)dxL(x, θ)dx =dθdθиddθТогдаZt(x)L(x, θ)dx =t(ξ) >18Zt(x)dL(x, θ)dx.dθ|τ 0 (θ)|2hi2 ,(22)∂ ln(ξ,θ)∂θОбычно фукнция правдоподобия рассматривается как функция от θ, а значенияx1 , x2 , .

. . , xn (выборка) параметры.34Конспект лекций по теории вероятностей 2006причем знак равенства имеет место тогда и только тогда, когда∂ ln(ξ, θ)= a(θ)[t(ξ) − τ (θ)]∂θ(23)с вероятностью единица для некоторого a(θ).RДоказательство.ДифференцируятождестваL(x, θ)dx=Rt(x)L(x, θ)dx = τ (θ), получимZZd ln L(x, θ)d ln L(x, θ)L(x, θ)dx = 0, t(x)L(x, θ)dx = τ 0 (θ)dθdθили1 иd ln L(x, θ)L(x, θ)dx = τ 0 (θ)dθи отсюда по неравенству Коши-Буняковского получаем (22).Если в условиях теоремы Рао-Крамера имеет место равенство, то справедливо (23) с вероятностью единица. В этом случае оценка называется эффектив0 (θ)|ной и ее дисперсия равна t(ξ) = |τ|a(θ)|.К таким оценкам, например, приводят распределения, плотности которыхможно представить в видеZ[t(x) − τ (θ)]f (x, θ) = exp{a(θ)b(x) + c(θ) + d(x)}, x ∈ R1 , θ ∈ R1 .(Они называются экспоненциальными семействами.) ТогдаXXL(x, θ) = exp{a(θ)b(xi ) + nc(θ) +d(xi )}и∂ ln(ξ, θ)= a0 (θ)n∂θ¾½ X1c0 (θ)b(xi ) + 0.na (θ)Пусть условия теоремы Рао-Крамера выполнены, тогда t(ξ) =0есть эффективная оценка τ (θ) = − ac 0(θ)с дисперсией(θ)¯¯ 0¯ τ (θ) ¯¯¯¯ na0 (θ) ¯ .1nPb(xi )Экспоненциальному семейству принадлежат многие важные для практики распределения: нормальное, Пуассона, Бернулли (биномиальное), гаммараспределение и другие.К сожалению, класс эффективных оценок весьма узок: если такая оценкасуществует для функции τ (θ), то она не существует ни для какой функции, отличной от c1 τ (θ) + c2 .Оценки максимального правдоподобия.

Значение параметра θ = θ̂, прикотором функция правдоподобия имеет максимум, называется оценкой максимального правдоподобия. Она, к сожалению, не связана с каким-либо принципом оптимальности и не обладает, например, свойством несмещенности, однаколегко находится и имеет хорошие асимптотические свойства (состоятельность).Конспект лекций по теории вероятностей 2006Лекц. 1135Теорема Гаусса-Маркова.Предположим, что наблюдению доступны лишь линейные комбинации неизвестных величин (наблюдения косвенные)ξi =kX(24)aij αj + νi , i = 1, 2, . .

. , n.j=1Здесь ξi измеренные величины с аддитивными погрешностями ν i , aij известные коэффициенты, αj неизвестные величины, требующие определения,i = 1, . . . , n, j = 1, . . . , k.Требуется оценить αj , j = 1, 2, . . . , k, точнее, найти линейные несмещенныеоценки α̂j с минимальной дисперсией и матрицу ковариаций величины α̂ j .Запишем (24) в видеkXξ=aj αj + ν,(25)j=1гдеξ=ξ1ξ2...ξnили в виде,ν=ξ = Aα + ν,ν1ν2...νn,aj = α=α1α2...αka1ja2j...anj ∈ Rk ,j = 1, . . . , k,A = ||aij ||,(26)причем будем считать для простоты, что n > k, векторы-столбцы aj линейнонезависимы, ν = 0, νν ∗ = σ 2 I.nP1. (Линейность) Будем искать оценку αj в виде α̂j =bij ξi = (bj , ξ),i=1b1jb2j...bj = bnj.2.

Требование несмещенности дает:Ã n!nkkXXXXα̂j =bijais αs =bij ais αs = αj , j = 1, . . . , k.i=1s=1s=1(27)i=1Отсюда (bj , as ) = δjs , j, s = 1, 2, . . . , k.nnPPbij ξi = σ 2b2ij = σ 2 ||bj ||2 .3. Вычислим дисперсию α̂j =i=1i=1Требование минимальности дисперсии приводит к следующей задаче наусловный экстремум:36Конспект лекций по теории вероятностей 2006Для каждого j = 1, 2, . . .

, k найти min ||bj ||2 при условиях (bj , as ) = δjs ,s = 1, 2, . . . , k. Воспользуемся методом множителей Лагранжа 19 : введем функцию ЛагранжаkX2λjs (bj , as )(28)Ψ = ||bj || − 2s=1и, дифференцируя по bij , получаем bj =kPλjs as . Используем условие несме-s=1щенности: (bj , ap ) =окончательно20kPs=1λjs (as , ap ) = δjp . откуда λjs = (aj , as )− = ((A∗ A)− )js иα̂j =kX(aj , as )− (as , ξ),s=1или в векторно-матричной формеα̂ = (A∗ A)−1 A∗ ξ.(29)Найдем матрицу ковариаций α̂. Посколькуα̂ − α = (A∗ A)−1 A∗ ξ − α = (A∗ A)−1 A∗ (Aα + ν) − α == (A∗ A)−1 A∗ Aα + (A∗ A)−1 A∗ ν − α = (A∗ A)−1 A∗ ν,то(α̂ − α)(α̂ − α)∗ =(A∗ A)−1 A∗ νν ∗ A(A∗ A)−1 = σ 2 (A∗ A)−1 .(30)Рассмотрим метод наименьших квадратов. Пусть α̃ выбираются изусловия21knXXaij αj )2 ∼ min .(ξi −αjj=1i=1Дифференцируя по αs , получим2nXi=1(ξi −kXj=1aij α̃j )ais = 0 ⇒kn XXaij ais α̃j =i=1 j=1nXais ξi ,s = 1, 2, .

. . , k. (31)i=1Отсюда получаемα̃ = (A∗ A)−1 A∗ ξ,т.е. ту же оценку,что и α̂.Таким образом, справедлива Теорема Гаусса-Маркова:19Для нахождения минимума ϕ(x) при условиях gi (x) = 0, i = 1, 2, . . . , m, нужно, чтобы градиент grad ϕ(x) был ортогонален всем поверхностям gi (x) = 0, i = 1, 2, . . . , m,т.е. градиент grad ϕ(x) может быть разложен по векторам grad gi (x)), i = 1, 2, . . . , m:mPλi gi (x)] = 0 при некоторых λi . Выражение в квадратных скобках так наgrad[ϕ(x) −i=1зываемая функция Лагранжа.20Знак − говорит о том, что берется соответствующий элемент матрицы, обратной к матрице||(aj , as )||.21Здесь не делается никаких предположений о ξi , i = 1, 2, . . .

, n.37Конспект лекций по теории вероятностей 2006Пусть ξ измеряется по схеме (24). Тогда ЛНОМД дается формулой(29), а матрица ковариаций формулой ( 30).Как оценить σ 2 ?Заметим, что из (31) следует (ξ − Aα̂)aj = 0, j = 1, 2, . . . , k, т.е.(I − A(A∗ A)−1 A∗ )ξ ⊥ L(a1 , . . . , ak ) = (I − Πa )ξ.Таким образом, Πa = A(A∗ A)−1 A∗ отогональный проектор на L(a(это можно проверить непосредственно).Пусть k < n. Обозначим1 , .