Н.И. Чернова - Лекции по матстату (1115348), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

. · Pθ (Xn = xn )независ-ть=Pθ (X1 = x1 , . . . , Xn = xn ).i=1Определение 7. Оценкой максимального правдоподобия θb неизвестного параметра θ называют~ θ) достигает максимума (как функция от θ при фиксированныхзначение θ, при котором функция Ψ(X,X1 , . . . , Xn ):~ θ).θb = точка максимума (по переменной θ) функции Ψ(X,13~ θ) и L(X,~ θ) совпадаЗамечание 9. Поскольку функция ln y монотонна, то точки максимума Ψ(X,ют. Поэтому оценкой максимального правдоподобия (ОМП) можно называть точку максимума (по θ)функции L(~x, θ):~ θ).θb = точка максимума (по переменной θ) функции L(X,Напомним, что точки экстремума функции — это либо точки, в которых производная обращается внуль, либо точки разрыва функции/производной, либо крайние точки области определения функции.Пример 6.

Пусть X1 , . . . , Xn — выборка объема n из распределения Пуассона: Xi ⊂= Πλ , где λ > 0.b неизвестного параметра λ.Найдем ОМП λPλ (X1 = y) =~ λ) =Ψ(X,nYλXii=1λy −λe ,y!y = 0, 1, 2, . . .nλΣi=1 Xi −nλλnXe−λ = Qne= Qne−nλ .Xi !X!X!iii=1i=1Поскольку эта функция при всех λ > 0 непрерывно дифференцируема по λ, можно искать точки экстремума, приравняв к нулю частную производную по λ. Но удобнее это делать для логарифмической функцииправдоподобия:!nnXYλ−nλ~~QL(X, λ) = ln Ψ(X, λ) = lne= nX ln λ − lnXi ! − nλ.ni=1 Xi !i=1∂b — решение уравнения: nX − n = 0, то есть λb = X.~ λ) = nX − n, и точка экстремума λL(X,∂λλλ1)2)Упражнение.b = X — точка максимума, а не минимума.Убедиться, что λbУбедиться, что λ = X совпадает с одной из оценок метода моментов (по какому моменту?).Пример 7.

Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,σ2 , где a ∈ R,σ > 0; и оба параметра a, σ 2 неизвестны.Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:1−(y − a)2f(a,σ2 ) (y) = √exp,2σ 22πσ 2функция правдоподобия:~ a, σ 2 ) =Ψ(X,nYi=1√ Pn2(Xi − a)21i=1 (Xi − a)exp −=exp−,2σ 22σ 2(2πσ 2 )n/22πσ 21логарифмическая функция правдоподобия:~ a, σ 2 ) = ln Ψ(X,~ a, σ 2 ) = −ln (2π)n/2 − n ln σ 2 −L(X,2Pni=1 (Xi −2σ 2a)2.В точке экстремума (по (a, σ 2 )) гладкой функции L обращаются в нуль обе частные производные:PnPn22 i=1 (Xi − a)∂nX − na∂n22i=1 (Xi − a)~~L(X, a, σ ) ==;L(X,a,σ)=−+.∂a2σ 2σ2∂σ 22σ 22σ 4c2 ) для (a, σ 2 ) — решение системы уравненийОценка максимального правдоподобия (ba, σPn2nX − nani=1 (Xi − a)=0;−+= 0.σ22σ 22(σ 2 )214Решая, получим хорошо знакомые оценки:nba = X,Xc2 = 1σ(Xi − X)2 .n i=1Упражнение.nXc2 = 1Убедиться, что ba = X, σ(Xi − X)2 — точка максимума, а не минимума.n i=1Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.1)2)Пример 8.

Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения U0,θ , где θ > 0.Тогда θb = X(n) = max{X1 , . . . , Xn } (см. [1], пример 2.5, с.10).Пример 9. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ R(см. также [2], пример 4, с.48).Выпишем плотность и функцию правдоподобия. Плотность:nfθ (y) = 1/5, если y ∈ [θ, θ + 5] ,0иначефункция правдоподобия:nn~ θ) = (1/5) ,Ψ(X,0nесли все Xi ∈ [θ, θ + 5] = (1/5)n , если θ 6 X(1) 6 X(n) 6 θ + 5 =иначе0иначеnn= (1/5) , если X(n) − 5 6 θ 6 X(1) .0иначеФункция правдоподобия достигает своего максимального значения (1/5)n во всех точках θ ∈ [X(n) −5, X(1) ]. График этой функции изображен на рис. 9.~ θ)Ψ(X,615nrrbX(n) − 5bX(1)θРис.

3: Пример 9.Любая точка θb ∈ [X(n) − 5, X(1) ] может служить оценкой максимального правдоподобия. Получаемболее чем счетное число оценок вида θbα = (1 − α)(X(n) − 5) + αX(1) , при разных α ∈ [0, 1], в том числеθb0 = X(n) − 5, θb1 = X(1) — концы отрезка.1)2)3)Упражнение.Убедиться, что отрезок [X(n) − 5, X(1) ] не пуст.Найти оценку метода моментов (по первому моменту) и убедиться, что она отличается от ОМП.Найти ОМП параметра θ равномерного распределения Uθ,θ+3 .2.6Вопросы и упражнения1. Задачник [1], задачи 2.1 – 2.16.152. Дана выборка X1 , . . .

, Xn , Xi ⊂= Bp , p ∈ (0, 1) — неизвестный параметр. Проверить, что X1 , X1 X2 ,X1 (1 − X2 ) являются несмещенными оценками соответственно для p, p2 , p(1 − p). Являются ли этиоценки состоятельными?3. Дана выборка X1 , . . . , Xn , Xi ⊂= Πλ , λ > 0 — неизвестный параметр. Проверить, что X1 и I(X1 =λk −λk) являются несмещенными оценками соответственно для λ иe .

Являются ли эти оценки соk!стоятельными?4. Дана выборка X1 , . . . , Xn , Xi ⊂= U0,θ , θ > 0 — неизвестный параметр. Проверить состоятельностьи несмещенность оценок: θ1∗ = X(n) , θ2∗ = 2X, θ3∗ = X(n) + X(1) .5. Построить оценки неизвестных параметров по методу моментов для следующих распределений:a) Bp — по первому моменту,б) Πλ — по первому и второму моменту,в) Ua,b — по первому и второму моменту,г) Eα — по всем моментам,д) E1/α — по первому моменту,е) U−θ,θ — как получится,ж) Γα,λ — по первому и второму моменту,з) Na,σ2 (для σ 2 при a известном и при a неизвестном).6. Какие из оценок в задаче 5 несмещенные? состоятельные?7.

Сравнить вид оценок для параметра α, полученных по первому моменту в задачах 5(г) и 5(д). Доказать, что среди них только одна несмещенная. Указание. Использовать свойство: если ξ > 0 п.н.,11то E =⇐⇒ ξ = const п.н.ξEξp8∗ . Доказать свойство из задачи 7, используя неравенство Коши-Буняковского-Шварца: E|ξη| 6 Eξ 2 Eη 2 ,которое обращается в равенство ⇐⇒ |ξ| = c|η| (см. доказательство свойства коэффициента корреляции |ρ| 6 1 в курсе теории вероятностей).9.

Построить оценки неизвестных параметров по методу максимального правдоподобия для следующих распределений: a) Bp , б)Πλ+1 , в) U0,2θ , г) E2α+3 , д) U−θ,θ , е) Na,σ2 (a известно).10. Какие из оценок в задаче 9 несмещенные? состоятельные?163С РАВНЕНИЕ ОЦЕНОК3.1Способы сравнения оценокИспользуя метод моментов и метод максимального правдоподобия, мы получили для каждого параметра уже достаточно много различных оценок. Каким же образом их сравнивать? Что должно бытьпоказателем «хорошести» оценки?Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Но величина |θ∗ − θ| длясравнения непригодна: во-первых, параметр θ неизвестен, во-вторых, θ∗ — случайная величина, так чтоэти величины обычно сравнить нельзя.

Как, например, сравнивать |X − θ| и |X k − θ|? Или, на одномэлементарном исходе, |2.15 − θ| и |3.1 − θ|?Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значения этих отклонений,то есть Eθ |θ∗ − θ|.Но математическое ожидание модуля с.в. считать обычно затруднительно, поэтому более удобнойхарактеристикой для сравнения оценок считается Eθ (θ∗ − θ)2 . Она удобна еще и тем, что очень чуткореагирует на маловероятные, но большие по абсолютному значению отклонения θ∗ от θ (возводит их вквадрат).Заметим еще, что Eθ (θ∗ − θ)2 есть функция от θ, так что сравнивать эти «среднеквадратические» отклонения нужно как функции от θ – поточечно.

Такой подход к сравнению оценок называется среднеквадратическим.Разумеется, в зависимости от потребностей исследователя можно пользоваться и другими характеристиками, например, Eθ (θ∗ − θ)4 или Eθ |θ∗ − θ|.Существует и так называемый асимптотический подход к сравнению оценок, при котором для сравнения оценок используется некая характеристика «разброса» оценки относительно параметра при больших n.3.2 Среднеквадратический подход. Эффективность оценокПусть X1 , . .

. , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ.Определение 8. Говорят, что оценка θ1∗ лучше оценки θ2∗ в смысле среднеквадратического подхода,если для любого θ ∈ ΘEθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2 ,и хотя бы при одном θ это неравенство строгое.Оценки могут быть несравнимы: например, при некоторых θ Eθ (θ1∗ − θ)2 6 Eθ (θ2∗ − θ)2 , при других θ— наоборот.Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Скептик сосклонностью к философии сразу ответит «нет». Докажем, что он прав.Теорема 6.

В классе всех возможных оценок наилучшей оценки в смысле среднеквадратического подхода не существует.Доказательство теоремы 6. Пусть, напротив, θ∗ — наилучшая, то есть для любой другой оценки θ1∗ , при любом θ ∈ ΘEθ (θ∗ − θ)2 6 Eθ (θ1∗ − θ)2 .Пусть θ1 — произвольная точка Θ. Рассмотрим оценку (статистику) θ1∗ ≡ θ1 . ТогдаEθ (θ∗ − θ)2 6 Eθ (θ1 − θ)2при любом θ ∈ Θ.

Возьмем θ = θ1 ∈ Θ и получим следующее неравенство:Eθ1 (θ∗ − θ1 )2 6 Eθ1 (θ1 − θ1 )2 = 0.Поэтому Eθ1 (θ∗ − θ1 )2 = 0. В силу произвольности θ1 это выполнено при любом θ ∈ Θ:Eθ (θ∗ − θ)2 ≡ 0.17Но это возможно только если θ∗ ≡ θ (оценка в точности отгадывает неизвестный параметр). То есть θ∗ даже не является статистикой. Такого типа примеры привести можно (например, по выборке из Uθ,θ+1 , θ ∈Z можно точно указать θ), но математической статистике здесь делать нечего.Упражнение. Объяснить словесно доказательство теоремы 6.Если в очень широком классе всех оценок наилучшей не существует, то, возможно, следует сузитькласс рассматриваемых оценок (или разбить класс всех оценок на отдельные подклассы и в каждом искать наилучшую).Обычно рассматривают оценки, имеющие одинаковое смещение b(θ) = Eθ θ∗ − θ. Обозначим черезKb класс оценок, имеющих смещение b(θ):Kb = {θ∗ : Eθ θ∗ = θ + b(θ)},K0 = {θ∗ : Eθ θ∗ = θ}.Здесь K0 — класс несмещенных оценок.Определение 9.

Оценка θ∗ ∈ Kb называется эффективной оценкой в классе Kb , если она лучше (нехуже) всех других оценок класса Kb в смысле среднеквадратического подхода. То есть для любой θ1∗ ∈ Kb ,для любого θ ∈ ΘEθ (θ∗ − θ)2 6 Eθ (θ1∗ − θ)2 .Определение 10. Эффективная оценка в классе K0 (несмещенных оценок) называется просто эффективной.Замечание 10. Для θ∗ ∈ K0 , по определению дисперсии, Eθ (θ∗ − θ)2 = Eθ (θ∗ − Eθ θ∗ )2 = Dθ θ∗ ,так что сравнение в среднеквадратичном несмещенных оценок — это сравнение их дисперсий.

Поэтомуэффективную оценку (в классе K0 ) часто называют «несмещенной оценкой с равномерно минимальнойдисперсией». Равномерность подразумевается по всем θ ∈ Θ. Для θ∗ ∈ KbEθ (θ∗ − θ)2 = Dθ (θ∗ − θ∗ ) + (Eθ θ∗ − θ)2 = Dθ θ∗ + b2 (θ),так что сравнение в среднеквадратичном оценок с одинаковым смещением — это также сравнение ихдисперсий.Упражнение. Мы собираемся искать наилучшую оценку в классе Kb . Объясните, почему доказательство теоремы 4 не пройдет в классе Kb .3.3Единственность эффективной оценки в классе с фиксированным смещениемТеорема 7. Если θ1∗ ∈ Kb и θ2∗ ∈ Kb — две эффективные оценки в классе Kb , то с вероятностью 1 они совпадают: Pθ (θ1∗ = θ2∗ ) = 1.Доказательство теоремы 7.

Характеристики

Список файлов лекций