Книга - Теория вероятности и математическая статистика, страница 11

Уравнением правдоподобия называется уравнение∂(8.3.4)ln(L( X 1 ,... , X n ;θ )) = 0 .∂θВ случае, когда теоретическая функция распределения F ( X 1 ,... , X n ;θ1 ,... ,θ k ) зависит от нескольких параметров θ1 ,... ,θ k , при применении метода максимального правдоподобия вместо уравнения (8.3.4) необходимо использовать систему уравнений⎧ ∂⎪ ∂θ ln(L( X 1 ,... , X n ;θ1 ,... ,θ k )) = 0,⎪⎪ 1...(8.3.5)⎨⎪ ∂⎪ln(L( X 1 , ... , X n ;θ1 ,... ,θ k )) = 0.⎪⎩ ∂θ kПример 4.

Найти оценки параметров m (математическое ожидание) и σ 2 (дисперсия) нормального закона распределения.57 Решение. Нормальный закон распределения характеризуется плотностью распределения(p x , m ,σ2)=1−( x − m )22σ 2.2π σФункция правдоподобия примет вид:(L X 1 ,... , X n ; m ,σe2)=12π σe−( X 1 − m )22σ2⋅⋅⋅12π σe−( X n − m )22σ 2=(8.3.6)n1⎛ 1 ⎞ − 2σ 2 (( X 1 − m )2 + ...+( X n − m )2 )= ⎜⎜⎟⎟ e.⎝ 2π σ ⎠Логарифмируя выражение (8.3.6), получим1n( X 1 − m )2 + ... + ( X n − m )2 . (8.3.7)ln L X 1 ,... , X n ; m ,σ 2 = − ln 2πσ 2 −222σПодставляя (8.3.7) в систему (8.3.5), получим⎧ ∂1 ⎛ n⎞2lnLX,...,X;m,σ=⎜ X i − nm ⎟ = 0,1⎪n2 ∑σ ⎝ i =1⎪ ∂m⎠(8.3.8)⎨n⎪ ∂ ln L X ,...

, X ; m ,σ 2 = 1 ⎛⎜ ( X − m )2 − nσ 2 ⎞⎟ = 0.∑ i1n⎪ ∂σ 2σ 2 ⎝ i =1⎠⎩Из первого уравнения системы (8.3.8) получаем1 nm∗ = ∑ X i ,(8.3.9)n i =1а из второго уравнения системы (8.3.8), с учетом (8.3.9), получаем∗21 nσ 2 = ∑ X i − m∗ .n i =1Следует отметить, что полученная оценка является смещенной.Читателю предлагается самостоятельно показать, что m ∗ и σ 2 доставляют максимум функции правдоподобия L X 1 , ... , X n ; m ,σ 2 . z(())(((())))(())()()§4. Интервальные оценки (доверительные интервалы)Статистическая оценка θ ∗ некоторого параметра распределения θ наблюдаемой случайной величины X , будучи функцией случайной выборки (статистикой), самаявляется случайной величиной, имеющей свой закон распределения и числовые характеристики (параметры) распределения.

При малом числе наблюдений могут возникнуть следующие задачи:ƒ к каким ошибкам может привести замена параметра θ его точечной оценкой θ ∗ ;ƒ с какой степенью надежности можно ожидать, что получаемые ошибки не выйдут за известные пределы.Определение. Интервальной оценкой (доверительным интервалом) называетсячисловой интервал θ L∗ , θ R∗ , определяемый по результатам выборки, относительно которого можно утверждать с определенной, близкой к единице, вероятности, что он заключает всебе значение оцениваемого параметра генеральной совокупности, т.е.P θ L∗ ≤ θ ≤ θ R∗ = γ ,(8.4.1)(())58где θ L∗ и θ R∗ — нижняя и верхняя (левая и правая) границы доверительного интервала параметра θ , γ — доверительная вероятность.Доверительная вероятность и уровень значимости связаны соотношениемα + γ = 1.(8.4.2)По заданной оценке θ ∗ и заданной доверительной вероятности γ доверительныеинтервалы можно построить различными способами.

На практике обычно используютсядва типа доверительных интервалов:ƒ двусторонние;ƒ односторонние.Ограничимся нахождением двусторонних доверительных интервалов. Односторонние доверительные интервалы находятся аналогично.Для каждой доверительной вероятности γ можно указать такое значение Δ , что() ()P θ∗ −θ ≤ Δ = P θ∗ − Δ ≤ θ ≤ θ∗ + Δ = γ .(8.4.3)Определение. Величину Δ , равную половине ширины доверительного интервала,называют точностью оценки.Определение. Квантилем уровня γ некоторого распределения называется такоечисло t γ , при котором значение соответствующей функции распределения равно γ , т.е.γ = F (tγ ) .(8.4.4)Теорема. Пусть плотность случайной величины X симметрична относительно осиγ +1OY , и пусть P ( X < t ) = γ .

Тогда t — квантиль уровняраспределения случайной2величины X .Доказательство.γ = P ( X < t ) = 1 − P( X ≥ t ) = 1 − P( X ≥ t ) − P( X ≤ −t ) = 1 − 2 P( X ≥ t ) ,т.к. ввиду симметричности закона распределения относительно оси OY выполнено равенство P( X ≥ t ) = P( X ≤ −t ) . Отсюда следует, что1+ γ1− γP( X ≥ t ) == 1 − P( X < t ) и P( X < t ) =.„22Рассмотрим теперь правила построения доверительных интервалов для некоторыхпараметров распределения.Доверительный интервал для математического ожидания генеральной совокупности, имеющей нормальное распределение при известной дисперсии.Пусть из генеральной совокупности X, имеющей нормальный закон распределенияпри известной дисперсии σ 2 и неизвестном математическом ожидании m , произведенаслучайная выборка X 1 ,..., X n . Для оценки математического ожидания используем стати⎛ σ2 ⎞1 n⎜⎜ m , ⎟⎟ .X,котораяимеетнормальноераспределениеспараметрами∑ in i =1n ⎠⎝∗m −mТогда статистикаn имеет нормальное распределение с параметрами (0,1) .

Най-стику m ∗ =σдем вероятность отклонения m ∗ − m :⎛ m∗ − m⎞⎛⎛σ ⎞σσ ⎞⎟⎟ = P⎜⎜ m ∗ − t< m < m∗ + t⎟⎟. (8.4.5)n < t ⎟⎟ = P⎜⎜ m ∗ − m < tγ = P⎜⎜n⎠nn⎠⎝⎝⎝ σ⎠59σσ ⎞⎛; m∗ + tИнтервал ⎜ m∗ − t⎟ , определенный по (8.4.5), представляет собой доnn⎠⎝верительный интервал для математического ожидания m при известной дисперсии σ 2 .Осталось указать, как, зная доверительную вероятность γ , выбрать в (8.4.5) значение t .Ответом на этот вопрос является доказанная ранее теорема, т.е. t является квантилемγ +1уровнянормального распределения с параметрами (0,1) .2Таким образом, доверительный интервал для математического ожидания m приизвестной дисперсии σ 2 строится следующим образом:1.

Вычисляем оценку m∗ , которая является средним арифметическим элементоввыборки X 1 ,..., X n .2. Вычисляем квантиль t γ +1 нормального распределения с параметрами (0,1) .23. Строим доверительный интервал, который имеет вид:⎛ ∗ σ⎞σ⎜m −t γ +1 ; m∗ +t γ +1 ⎟⎟ .⎜n 2n 2 ⎠⎝Очевидно, что точность оценки равнаΔ = t γ +1(8.4.6)σ.(8.4.7)nЗамечание. Квантиль t γ +1 нормального распределения с параметрами (0,1) можно22определить разными способами, например:ƒ используя таблицы функции Ф(t ) нормального распределения с параметрами (0,1) (Приложение 3);ƒ используя функцию НОРМСТОБР(вероятность) из EXCEL, при этом аргументγ +1;«вероятность» данной функции должен быть равен2ƒ используя функцию qnorm(ν, m, σ) из MATHCAD, при этом переменные даннойγ +1функции должны быть равны v =, m = 0, σ = 1 .2Доверительный интервал для математического ожидания генеральной совокупности, имеющей нормальное распределение при неизвестной дисперсии.Пусть из генеральной совокупности X , имеющей нормальный закон распределения при неизвестной дисперсии σ 2 и неизвестном математическом ожидании m , произведена случайная выборка X 1 ,..., X n .

Для оценки математического ожидания используемстатистикуm∗ − mT=n −1 ,(8.4.8)S∗имеющую t –распределение (распределение Стьюдента) с v = n − 1 числом степеней свободы.Доверительный интервал для математического ожидания при неизвестной дисперсии имеет вид:⎛ ∗ S∗⎞S∗∗(8.4.9)t γ +1 ; m +t γ +1 ⎟ .⎜m −n 2n 2 ⎠⎝Очевидно, что точность оценки равна60S∗.(8.4.10)n2Таким образом, доверительный интервал для математического ожидания m принеизвестной дисперсии σ 2 строится следующим образом:1. Вычисляем оценку m∗ , которая является средним арифметическим элементовX 1 ,..., X n ,иисправленнуювыборочнуюдисперсиювыборкиΔ = t γ +1()21 nX i − m∗ .∑n − 1 i =12.

Вычисляем квантиль t γ +1∗S2 =t –распределения (распределения Стьюдента) с2v = n − 1 числом степеней свободы.3. Используя формулу (8.4.9), получаем доверительный интервал.Замечание. Квантиль t γ +1 t –распределения (распределения Стьюдента) с l = n − 12числом степеней свободы можно определить разными способами, например:ƒ используя таблицы t –распределения (распределения Стьюдента) с l = n − 1 числом степеней;ƒ используяфункциюСТЬЮДРАСПОБР(вероятность;степени_свободы)из EXCEL, при этом аргумент «вероятность» данной функции должен быть равен удвоенному уровню значимости, а аргумент «степени_свободы» долженбыть равен n − 1 ;ƒ используя функцию qt(p, d) из MATHCAD, при этом переменные данной функции должны быть равны p = γ , d = n − 1 .Замечание.

При достаточно большом объеме n выборки различия между доверительными интервалами, определенными по формулам (8.4.6) и (8.4.9), мало, т.к., приn → ∞ , распределение Стьюдента стремится к нормальному распределению.Доверительный интервал для дисперсии генеральной совокупности, имеющейнормальное распределение при известном математическом ожидании.Предположим, что выборка X 1 ,..., X n произведена из нормальной генеральной совокупности с неизвестной дисперсией при известном математическом ожидании, равном m . В качестве оценки неизвестной дисперсии σ 2 возьмем выборочную дисперсию∗1(8.4.11)σ 2 = ( X 1 − m )2 + ⋅ ⋅ ⋅ + ( X n − m )2 .n()В этом случае статистика χ =2nσ 2σ2∗будет иметь χ 2 –распределение с n степенямисвободы.Доверительный интервал для дисперсии при известном математическом ожиданииимеет вид:∗∗nσ 2nσ 2<σ2 <,r1+γr1−γ2(8.4.12)2где rτ — квантиль уровня τ χ 2 –распределения с n степенями свободы.Таким образом, доверительный интервал для дисперсии при известном математическом ожидании строится следующим образом:611.

Используя выборку X 1 ,..., X n , по формуле (8.4.11) вычисляем оценку дисперсии.2. Вычисляем квантили rγ +1 и r1-γ χ 2 –распределения с n степенями свободы.223. По формуле (8.4.12) получаем искомый доверительный интервал.Замечание. Квантили rγ +1 и r1-γ χ 2 –распределения с n степенями свободы можно22определить разными способами, например:ƒ используя таблицы χ 2 –распределения с n степенями свободы;ƒ используя функцию ХИ2ОБР (вероятность;степени_свободы) из EXCEL, приэтом аргумент «вероятность» данной функции должен быть равен уровню значимости, а аргумент «степени_свободы» должен быть равен n ;ƒ используя функцию qchisq(p, d) из MATHCAD, при этом переменные даннойфункции должны быть равны: p = γ , d = n .Аналогично строится доверительный интервал для дисперсии генеральной совокупности, имеющей нормальное распределение при неизвестном математическоможидании.В качестве оценки неизвестной дисперсии σ 2 возьмем выборочную дисперсию∗221S2 =X 1 − m∗ + ⋅ ⋅ ⋅ + X n − m∗ .(8.4.13)n −1( n − 1) S2∗ будет иметь χ 2 –распределение с n − 1В этом случае статистика χ 2 =2(()))(σстепенью свободы.Доверительный интервал для дисперсии при неизвестном математическом ожидании имеет вид:(n − 1)S 2 ∗ < σ 2 < (n − 1)S 2 ∗ ,r1+γ2(8.4.14)r1−γ2где rτ — квантиль уровня τ χ 2 –распределения с n − 1 степенью свободы.Таким образом, доверительный интервал для дисперсии при неизвестном математическом ожидании строится следующим образом:1.