Лекции в электронном виде, страница 20

. . ; θr ), товторое из уравнений (15.3) заменяется системой уравнений¡¢∂ ln L ~xn ; θ(15.4)= 0, k = 1, r.∂θkУравнения (15.3) и (15.4) называют уравнениями правдоподобия. Для наиболее важных се¡ ¢bмейств распределений p x; θ~ уравнение правдоподобия имеет единственное решение θ~ = θb1 ; . . . ; θbr .Во многих случаях решение системы (15.4), являющейся, как правило, нелинейной, приходитсяискать численными методами.~ n — случайная выборка из N (θ1 , θ2 ). Методом максимального правдоподоПример 15.3 Пусть X2бия найдем оценку вектора параметров θ~ = (θ1 ; θ2 ).В этом случае функция правдоподобияn´³X¡¢2~ n ; θ1 , θ2 = ¡ √1 ¢n exp − 1L X(X−θ)i12θ22 i=1θ2 2πи, как следствие,n√¡¢1 X(xi − θ1 )2 .ln L ~xn ; θ1 , θ2 = −n ln 2π − n ln θ2 − 22θ2 i=1Поскольку число неизвестных параметров r = 2, система уравнений правдоподобия (15.4) будетсостоять из двух уравнений:Решая систему, получаемn∂1 Xln L = 2(xi − θ1 ) = 0,∂θ1θ2 i=1n∂n1 Xln L = − + 3(xi − θ1 )2 = 0.∂θ2θ2 θ2 i=1n1Xθb1 =xi ,n i=1n1Xθb22 =(xi − x)2 .n i=1Следовательно, оценками максимального правдоподобия для математического ожидания MX = θ1и дисперсии DX = θ22 случайной величины, распределенной по нормальному закону, являются соответственно выборочное среднееn1XX=Xin i=1и выборочная дисперсияnX~ n) = 1σb 2 (X(Xi − X)2 .

#n i=171Лекция 16Интервальные оценкии доверительные интервалыНекоторые важные распределенияОбозначим Γ(p) — гамма-функцию, определяемую формулойZ∞Γ(p) = tp−1 e−t dt,0а B(x, y) — бета-функцию, определяемую формулойΓ(p)Γ(q)B(p, q) ==Γ(p + q)Z1up−1 (1 − u)q−1 du.0Определение 16.1 Случайную величину с плотностью1xm/2−1 e−x/2 , x > 0,m/2 Γ(m/2)2p(x) =0,x 6 0,называют случайной величиной, имеющейраспределение с m степенями свободы.χ2распределение(хи-квадрат)илиχ2 -Определение 16.2 Случайную величину с плотностьюp(x) = √1 Γ((m + 1)/2)1,πm Γ(m/2) (1 + x2 /m)m/2−∞ < x < ∞,называют случайной величиной, имеющей распределение Стьюдента с n степенями свободы.При n → ∞ плотность распределения Стьюдента стремится к плотности стандартного нормального распределения N (0, 1).

Для квантилей tp (m) распределения Стьюдента уровня p с m степеньюсвободы справедливо соотношениеtp (m) = −t1−p (m),которое следует из четности плотности распределения Стьюдента.Определение 16.3 Случайную величину с плотностью ³ ´n/2nn mx 2 −1´ ³n+m , x > 0;³nx ´ 2p(x) = B n2 , m21+m0,x < 0,назовем случайной величиной, имеющей распределение Фишера (F -распределение, распределение Снедекора) с числом степеней свободы n и m.72Для квантилей Fp (n, m) распределения Фишера уровня p с n и m степенями свободы имеет местосоотношение1Fp (n, m) =.F1−p (m, n)Справедливы следующие теоремы.Теорема 16.1 Пусть (X1 , . . .

, Xn ) — выборка из распределения N (µ, σ 2 ). Тогда выборочное среднееnn1 P~ n ) = 1 P (Xi − X)2 независимы; приX=Xi и исправленная выборочная дисперсия S 2 (Xn i=1n − 1 i=1√n(X − µ)этом случайная величинаимеет стандартное нормальное распределение, случайнаяσ√n(X − µ)— распределение Стьюдента с n − 1 степенью свободы, а случайная величинавеличина~ n)S(X~ n)(n − 1)S 2 (X— χ2 -распределение с n − 1 степенью свободы.σ2Теорема 16.2 Пусть X = (X1 , . .

. , Xn ) и Y = (Y1 , . . . , Ym ) — две независимые выборки из распределений N (µ1 , σ12 ) и N (µ2 , σ22 ) соответственно,nX=1XXi ,n i=1Y =1 XYi ,m i=1n~ n) =S 2 (X1 X(Xi − X)2 ,n − 1 i=1~n ) =S 2 (Y1 X(Yi − Y )2 .m − 1 i=1mТогда случайная величинаи m − 1.m~ n)S 2 (Xимеет распределение Фишера с числом степеней свободы n − 12~S (Yn )Понятия интервальной оценки и доверительного интервалаПри оценивании неизвестных параметров наряду с рассмотренными выше точечными оценкамииспользуются также интервальные оценки.

В отличие от точечной оценки интервальная оценкапозволяет получить вероятностную характеристику точности оценивания неизвестного параметра.~Пусть X¡ n —¢ случайная выборка объема n из генеральной совокупности X с функцией распределения F x; θ , зависящей от параметра θ, значение которого неизвестно. Предположим, что для¡¢~ n ), θ(X~ n ) , где θ(X~ n ) и θ(X~ n ) являются функциями случайнойпараметра θ построен интервал θ(X~выборки Xn , такими, что выполняется равенствоno~ n ) < θ < θ(X~ n ) = γ.P θ(X(16.1)¡¢~ n ), θ(X~ n ) называют интервальной оценкой для параметра θ сВ этом случае интервал θ(Xкоэффициентом доверия γ (или, сокращенно, γ-доверительной интервальной оценкой), а~ n ) и θ(X~ n ) соответственно нижней и верхней границами интервальной оценки.θ(X¡¢~ n ), θ(X~ n ) представляет собой интервал со случайными границами,Интервальная оценка θ(Xкоторый с заданной вероятностью γ накрывает неизвестное истинное значение параметра θ.

Таким~ n , т.е. для различных элементов выборочобразом, для различных реализаций случайной выборки X~ n ) и θ(X~ n ) могут принимать различные значения. Болееного пространства Xn , статистики θ(X¢¡того, согласно (16.1), существует подмножество K ⊂ Xn , такое, что если ~xn ∈ K, то θ ∈/ θ(~xn ), θ(~xn ) .Вероятностной характеристикой точности оценивания параметра θ является случайная величина~ n ) − θ(X~ n ),~ n ) = θ(Xl(X¡¢~ n есть длина интервала θ(~xn ), θ(~xn ) .которая для любой реализации ~xn случайной выборки X¡¢Интервал θ(~xn ), θ(~xn ) называют доверительным интервалом для параметра θ с коэффициентом доверия γ или γ-доверительным интервалом.Наряду с термином “коэффициент доверия” широко используют также термины доверительная вероятность и уровень доверия.

При этом коэффициент доверия γ чаще всего выбираютравным 0,9, 0,95 или 0,99, т.е. близким к 1.В некоторых ситуациях (например, при рассмотрении дискретных случайных величин) вместоравенства (16.1) удается обеспечить лишь неравенство©ª~ n ) < θ < θ(X~ n ) > γ,P θ(Xт.е. построить интервальную оценку для параметра θ с коэффициентом доверия, не меньшим γ.73Примеры построения интервальных оценок для параметровнормальной случайной величиныДоверительная оценка для математического ожидания при известной дисперсии~ n = (X1 , . . . , Xn ) — случайная выборка объема n из генеральной совокупности X, распредеПусть Xленной по нормальному закону с параметрами µ и σ 2 , σ 2 известна.В данном случае статистикаX −µ √nσимеет стандартное нормальное распределение N (0, 1).

Поэтому½¾X −µ √P −u1−α <n < u1−α = 1 − 2α,σгде u1−α — квантиль уровня 1 − α стандартного нормального распределения. Умножая все частиσдвойного неравенства на − √ , а затем прибавляя X, получимn½¾σσP X − √ u1−α < µ < X + √ u1−α = 1 − 2α,nn³´т.е. случайный интервал X − √σn u1−α , X + √σn u1−α накрывает неизвестное математическое ожидание µ с необходимой доверительной вероятностью 1 − 2α.Доверительная оценка для математического ожидания при неизвестнойдисперсииПри неизвестной дисперсии σ 2 статистикаX −µ √n~ n)S(Xимеет распределение Стьюдента с n − 1 степенями свободы.

Поэтому()X −µ √P tα (n − 1) <n < t1−α (n − 1) = 1 − 2α,~ n)S(Xгде tq (n − 1) — квантиль уровня q распределения Стьюдента с n − 1 степенями свободы. Посколькуплотность распределения Стьюдента — четная функция, то tq (n − 1) = −t1−q (n − 1). Умножая все~ n)S(Xчасти двойного неравенства на − √ , а затем прибавляя X, заключаем, что нижняя и верхняяnграницы интервальной оценки с коэффициентом доверия γ = 1 − 2α для параметра µ в случае снеизвестной дисперсией можно определить по формулам~~ n ) = X − S(√Xn ) t1−α (n − 1),µ(Xn~~ n ) = X + S(√Xn ) t1−α (n − 1).µ(XnДоверительная оценка для разности математических ожиданий нормальных случайных величин с известными дисперсиями~ n = (X1 , . .

. , Xn ) и Y~n = (Y1 , . . . , Ym ) — две независимые выборки из распределений N (µ1 , σ 2 )Пусть X12и N (µ2 , σ2 ) соответственно,nn1X1XX=Xi , Y =Yi .n i=1n i=1Нетрудно показать, что случайная величина(X − Y ) − (µ1 − µ2 )rσ12 σ22+nm74имеет распределение N (0, 1). Поэтому(X − Y ) − (µ1 − µ2 )rP −u1−α/2 << u1−α/2 = 1 − α,σ12 σ22+nmгде u1−α — квантиль уровняr 1 − α стандартного нормального распределения. Умножая все частиσ12 σ22двойного неравенства на −+ , а затем прибавляя X − Y , получимnm()rrσ12 σ22σ12 σ22P X −Y −+ u1−α < µ1 − µ2 < X − Y ++ u1−α = 1 − 2α,nmnmÃ!rσ12 σ22σ12 σ22т.е.

случайный интервал X − Y −+ u1−α , X − Y ++ u1−α накрывает неизвестnmnmную разность математических ожиданий µ1 − µ2 с необходимой доверительной вероятностью 1 − 2α.rДоверительная оценка для разности математических ожиданий нормальных случайных величин с неизвестными, но равными дисперсиями~ n = (X1 , . . . , Xn ) и Y~n = (Y1 , . . . , Ym ) — две независимые выборки из распределений N (µ1 , σ 2 )Пусть X2и N (µ2 , σ ) соответственно, µ2 и σ 2 неизвестны. ОбозначимnX=1XXi ,n i=1Y =1 XYi ,m i=1n~ n) =S 2 (X1 X(Xi − X)2 ,n − 1 i=1~n ) =S 2 (Y1 X(Yi − Y )2 .m − 1 i=1mmМожно показать, что случайная величинаrmn(m + n − 2)qm+n(X − Y ) − (µ1 − µ2 )~ n ) + (m − 1)S 2 (Y~n )(n − 1)S 2 (Xимеет распределение Стьюдента с m + n − 2 степенями свободы.

Поэтомуrmn(m + n − 2)(X − Y ) − (µ1 − µ2 )qP −t1−α (m + n − 2) << t1−α (m + n − 2) = 1 − 2α,m+n~ n ) + (m − 1)S 2 (Y~n )(n − 1)S 2 (Xгде t1−α (m + n − 2) — квантиль уровня 1 − α распределения Стьюдента с m + n − 2 степенями свободы. Умножая все части двойного неравенства наs~ n ) + (m − 1)S 2 (Y~n ))(m + n)((n − 1)S 2 (X−mn(m + n − 2)~ n, Y~n ) и верхняя θ(X~ n, Y~n ) границы интера затем прибавляя X − Y , заключаем, что нижняя θ(Xвальной оценки с коэффициентом доверия γ = 1 − 2α для разности µ1 − µ2 в случае с неизвестными,но равными дисперсиями можно определить по формуламs2 ~2 ~~ n, Y~n ) = X − Y − t1−α (m + n − 2) (m + n)((n − 1)S (Xn ) + (m − 1)S (Yn )) ,θ(Xmn(m + n − 2)s~ n, Y~n ) = X − Y + t1−α (m + n − 2)θ(X~ n ) + (m − 1)S 2 (Y~n ))(m + n)((n − 1)S 2 (X.mn(m + n − 2)Замечание 16.1 Можно показать, что все четыре интервальных оценки являются самыми короткими среди всех интервальных оценок с таким же уровнем доверия.75Доверительная оценка для дисперсии при неизвестном математическоможиданииСтатистика~ n)(n − 1)S 2 (X2σимеет χ2 -распределение с n − 1 степенью свободы.