Н.И. Чернова - Математическая статистика (1115306), страница 5
Текст из файла (страница 5)
Функция (случайная величина при фиксированном θ)f(X, θ) = fθ (X1 ) · fθ (X2 ) · . . . · fθ (Xn ) =nYfθ (Xi )i=1называется функцией правдоподобия. Функция (тоже случайная)L(X, θ) = ln f(X, θ) =nXln fθ (Xi )i=1называется логарифмической функцией правдоподобия.В дискретном случае функция правдоподобия f(x1 , .
. . , xn , θ) есть вероятностьвыборке X1 , . . . , Xn в данной серии экспериментов равняться x1 , . . . , xn . Этавероятность меняется в зависимости от θ:f(x, θ) =nYfθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) = Pθ (X1 = x1 , . . . , Xn = xn ).i=1Определение 7. Оценкой максимального правдоподобия θ^ неизвестного параметра θназывают значение θ, при котором функция f(X, θ) достигает максимума (как функцияот θ при фиксированных X1 , .
. . , Xn ):θ^ = arg max f(X, θ).θЗамечание 7. Поскольку функция ln y монотонна, то точки максимума f(X, θ) иL(X, θ) совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можноназывать точку максимума (по θ) функции L(x, θ):θ^ = arg max L(X, θ).θНапомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точкиобласти определения функции.20Пример 7. Пусть X1 , . . . , Xn — выборка объема n из распределения ПуассонаПλ , где λ > 0. Найдем ОМП ^λ неизвестного параметра λ.Pλ (X1 = y) =f(X, λ) =λy −λe ,y!y = 0, 1, 2, .
. .nYλXii=1λΣXi −nλλnX −nλe−λ = Qe=Qe.Xi !Xi !Xi !Поскольку эта функция при всех λ > 0 непрерывно дифференцируема по λ, можноискать точки экстремума, приравняв к нулю частную производную по λ. Но удобнееэто делать для логарифмической функции правдоподобия:λnX −nλeL(X, λ) = ln f(X, λ) = ln QXi !!= nX ln λ − lnnYXi ! − nλ.i=1Тогда∂nXL(X, λ) =− n,∂λλnX− n = 0, то есть ^λ = X.и точка экстремума ^λ — решение уравнения:λУпражнение.1) Убедиться, что ^λ = X — точка максимума, а не минимума.2) Убедиться, что ^λ = X совпадает с одной из оценок метода моментов.
по какому моменту?Пример 8. Пусть X1 , . . . , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0; и оба параметра a, σ2 неизвестны.Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:−(y − a)2expf(a,σ2 ) (y) = √2σ22πσ21!,функция правдоподобия:nPf(X, a, σ2 ) =nYi=1√12πσ2exp −(Xi − a)22σ2!=(Xi − a)2 1 i=1exp−n/222σ2(2πσ ),логарифмическая функция правдоподобия:nP22n/2L(X, a, σ ) = ln f(X, a, σ ) = − ln(2π)n− ln σ2 −2(Xi − a)2i=12σ2.В точке экстремума (по (a, σ2 )) гладкой функции L обращаются в нуль обе частныепроизводные:∂L(X, a, σ2 ) =∂a2nP(Xi − a)i=12σ2nPnX − na=;σ2(Xi − a)2∂n i=12L(X, a, σ ) = − 2 +.∂σ22σ2σ421Оценка максимального правдоподобия (^a, σ^2 ) для (a, σ2 ) — решение системы уравненийnP(Xi − a)2nX − nan= 0;− 2 + i=1= 0.σ22σ2(σ2 )2Решая, получим хорошо знакомые оценки:1X(Xi − X)2 = S2 .σ^2 =nna^ = X,i=1Упражнение.1) Убедиться, что a^ = X, σ^2 = S2 — точка максимума, а не минимума.2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.Пример 9.
Пусть X1 , . . . , Xn — выборка объема n из равномерного распределенияU0,θ , где θ > 0. Тогда θ^ = X(n) = max{X1 , . . . , Xn } (см. [3], пример 4.4, с.24 или [1],пример 5, с.91).Пример 10. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ IR (см. также [1], пример 4, с.91).Выпишем плотность распределения и функцию правдоподобия. Плотность:1/5, если y ∈ [θ, θ + 5]fθ (y) =0иначе,функция правдоподобия:(1/5)n , если все Xi ∈ [θ, θ+5](1/5)n ,f(X, θ) ==0иначе0=(1/5)n ,θ 6 X(1) 6 X(n) 6 θ+5иначе=если X(n) − 5 6 θ 6 X(1)иначе.0Функция правдоподобия достигает своего максимального значения (1/5)n во всехточках θ ∈ [X(n) − 5, X(1) ].
График этой функции изображен на рис. 4.f(X, θ)615nqqaaX(n) − 5X(1)Рис. 4: Пример 10.Любая точка θ^ ∈ [X(n) − 5, X(1) ] может служитьоценкой максимального правдоподобия. Получаемболее чем счетное число оценок вида-θθ^α = (1 − α)(X(n) − 5) + αX(1)при разных α ∈ [0, 1], в том числе θ^0 = X(n) − 5и θ^1 = X(1) — концы отрезка.Упражнение.1) Убедиться, что отрезок [X(n) − 5, X(1) ] не пуст.2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная посравнению с ОМП.3) Найти ОМП параметра θ равномерного распределения Uθ,2θ .222.6. Вопросы и упражнения1.
Дана выборка X1 , . . . , Xn из распределения Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр. Проверить, что X1 , X1 X2 , X1 (1 − X2 ) являются несмещенными оценкамисоответственно для p, p2 , p(1 − p). Являются ли эти оценки состоятельными?2. Дана выборка X1 , . . . , Xn из распределения Пуассона Пλ , где λ > 0 — неизвестныйпараметр. Проверить, что X1 и I(X1 = k) являются несмещенными оценками соответственноλk −λe .
Являются ли эти оценки состоятельными?для λ иk!3. Дана выборка X1 , . . . , Xn из равномерного распределения U0,θ , где θ > 0 — неизвестный параметр. Проверить состоятельность и несмещенность оценок θ∗1 = X(n) , θ∗2 = 2X,θ∗3 = X(n) + X(1) для параметра θ.4. Построить оценки неизвестных параметров по методу моментов для неизвестных параметровследующих семейств распределений:a) Bp — по первому моменту, б) Пλ — по первому и второму моменту, в) Ua,b — попервому и второму моменту, г) Eα — по всем моментам, д) E1/α — по первому моменту,е) U−θ,θ — как получится, ж) Гα,λ — по первому и второму моменту, з) Na,σ2 (для σ2при a известном и при a неизвестном).5. Какие из оценок в задаче 4 несмещенные? состоятельные?6.
Сравнить вид оценок для параметра α, полученных по первому моменту в задачах 4(г)и 4(д). Доказать, что среди них только одна несмещенная. Указание. Использоватьнеравенство Йенсена.7. Построить оценки неизвестных параметров по методу максимального правдоподобия дляследующих семейств распределений: a) Bp , б) Пλ+1 , в) U0,2θ , г) E2α+3 , д) U−θ,θ ,е) Na,σ2 (a известно).8. Какие из оценок в задаче 7 несмещенные? состоятельные?3. Сравнение оценокИспользуя метод моментов и метод максимального правдоподобия, мы получилидля каждого параметра уже достаточно много различных оценок.
Каким же образомих сравнивать? Что должно быть показателем «хорошести» оценки?Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Новеличина |θ∗ − θ| для сравнения непригодна: во-первых, параметр θ неизвестен, вовторых, θ∗ — случайная величина, так что эти величины обычно сравнить нельзя. Как,например, сравнивать |X−θ| и |Xk −θ|? Или, на одном элементарном исходе, |2.15−θ|и |3.1 − θ|?Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значенияэтих отклонений, то есть Eθ |θ∗ − θ|.Но математическое ожидание модуля с. в.
считать обычно затруднительно, поэтомуболее удобной характеристикой для сравнения оценок считается Eθ (θ∗ −θ)2 . Она удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютномузначению отклонения θ∗ от θ (возводит их в квадрат).Заметим еще, что Eθ (θ∗ − θ)2 есть функция от θ, так что сравнивать эти «среднеквадратические» отклонения нужно как функции от θ — поточечно.
Такой подход ксравнению оценок называется среднеквадратическим.Разумеется, в зависимости от потребностей исследователя можно пользоваться идругими характеристиками, например, Eθ (θ∗ − θ)4 или Eθ |θ∗ − θ|.Существует и так называемый асимптотический подход к сравнению оценок, прикотором для сравнения оценок используется некая характеристика «разброса» оценкиотносительно параметра при больших n.233.1. Среднеквадратический подход. Эффективность оценокПусть X1 , .
. . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ.Определение 8. Говорят, что оценка θ∗1 лучше оценки θ∗2 в смысле среднеквадратического подхода, если для любого θ ∈ ΘEθ (θ∗1 − θ)2 6 Eθ (θ∗2 − θ)2 ,и хотя бы при одном θ это неравенство строгое.Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик сразу ответит «нет». Покажем, что он прав. Предположим, что мыимеем дело с невырожденной задачей: ни для какой статистики θ∗ невозможно тождество: θ∗ = θ при любых θ ∈ Θ.Теорема 4. В классе всех возможных оценок наилучшей в смысле среднеквадратического подхода оценки не существует.Доказательство теоремы 4.
Пусть, напротив, θ∗ — наилучшая, то есть для любой другой оценки θ∗1 , при любом θ ∈ Θ выполненоEθ (θ∗ − θ)2 6 Eθ (θ∗1 − θ)2 .Пусть θ1 — произвольная точка Θ. Рассмотрим статистику θ∗1 ≡ θ1 . ТогдаEθ (θ∗ − θ)2 6 Eθ (θ1 − θ)2 при любом θ ∈ Θ.В частности, при θ = θ1 получим Eθ1 (θ∗ − θ1 )2 6 Eθ1 (θ1 − θ1 )2 = 0.Поэтому Eθ1 (θ∗ − θ1 )2 = 0. Но, поскольку θ1 произвольно, при любом θ ∈ Θвыполняется Eθ (θ∗ − θ)2 = 0. А это возможно только если θ∗ ≡ θ (оценка в точностиотгадывает неизвестный параметр), т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
