Н.И. Чернова - Лекции по математической статистике, страница 5

. . · fθ (Xn ) =nYfθ (Xi )i=1называется функцией правдоподобия. Функция (тоже случайная)L(X, θ) = ln f(X, θ) =nXln fθ (Xi )i=1Стр. 39Pθ (X1 = ai ).Если же X1 имеет абсолютно непрерывное распределение, то fθ (y) есть привычная плотностьотносительно меры Лебега λ(dy) = dy:ZZPθ (X1 ∈ B) = fθ (y) λ(dy) = fθ (y) dy.НазадУйтиXai ∈BBВо весь экранai ∈BBZназывается логарифмической функцией правдоподобия.В дискретном случае функция правдоподобия f(x1 , . . .

, xn , θ) есть вероятностьвыборке X1 , . . . , Xn в данной серии экспериментов равняться x1 , . . . , xn . Этавероятность меняется в зависимости от θ:Оглавлениеf(x, θ) =nYfθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) = Pθ (X1 = x1 , . . . , Xn = xn ).i=1JJIIJIНа стр. ... из 179Определение 7. Оценкой максимального правдоподобия θ^ неизвестного параметра θназывают значение θ, при котором функция f(X, θ) достигает максимума (как функцияот θ при фиксированных X1 , . . . , Xn ):θ^ = arg max f(X, θ).θНазадВо весь экранЗамечание 7. Поскольку функция ln y монотонна, то точки максимума f(X, θ) иL(X, θ) совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можноназывать точку максимума (по θ) функции L(x, θ):Уйтиθ^ = arg max L(X, θ).θСтр.

40Напомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точкиобласти определения функции.Пример 7. Пусть X1 , . . . , Xn — выборка объема n из распределения ПуассонаПλ , где λ > 0. Найдем ОМП ^λ неизвестного параметра λ.Pλ (X1 = y) =λy −λe ,y!y = 0, 1, 2, .

. .Оглавлениеf(X, λ) =nYλXii=1JJIIJIПоскольку эта функция при всех λ > 0 непрерывно дифференцируема по λ, можноискать точки экстремума, приравняв к нулю частную производную по λ. Но удобнееэто делать для логарифмической функции правдоподобия:На стр. ... из 179λnX −nλL(X, λ) = ln f(X, λ) = ln QeXi !НазадВо весь экранλΣXi −nλλnX −nλe−λ = Qe=Qe.Xi !Xi !Xi !!= nX ln λ − lnnYXi ! − nλ.i=1Тогда∂nXL(X, λ) =− n,∂λλУйтиСтр. 41nXи точка экстремума ^λ — решение уравнения:− n = 0, то есть ^λ = X.λУпражнение.1) Убедиться, что ^λ = X — точка максимума, а не минимума.2) Убедиться, что ^λ = X совпадает с одной из оценок метода моментов.

по какому моменту?Пример 8. Пусть X1 , . . . , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0; и оба параметра a, σ2 неизвестны.Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:ОглавлениеJJIIJI−(y − a)2f(a,σ2 ) (y) = √exp2σ22πσ21!,функция правдоподобия:nPf(X, a, σ2 ) =На стр. ... из 179nYi=1√12πσ2exp −(Xi − a)22σ2!=(Xi − a)2 1 i=1exp−2σ2(2πσ2 )n/2,Назадлогарифмическая функция правдоподобия:Во весь экранnPnL(X, a, σ2 ) = ln f(X, a, σ2 ) = − ln(2π)n/2 − ln σ2 −2УйтиСтр.

42(Xi − a)2i=12σ2.В точке экстремума (по (a, σ2 )) гладкой функции L обращаются в нуль обе частныепроизводные:∂L(X, a, σ2 ) =∂a2nP(Xi − a)i=12σ2nPnX − na=;σ2(Xi − a)2∂ni=1L(X, a, σ2 ) = − 2 +.∂σ22σ2σ4ОглавлениеОценка максимального правдоподобия (^a, σ^2 ) для (a, σ2 ) — решение системы уравненийnP(Xi − a)2nX − nani=1= 0;− 2+= 0.σ22σ2(σ2 )2Решая, получим хорошо знакомые оценки:1Xσ^2 =(Xi − X)2 = S2 .nna^ = X,JJIIJIНа стр. ... из 179i=1Упражнение.1) Убедиться, что a^ = X, σ^2 = S2 — точка максимума, а не минимума.2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.НазадВо весь экранУйтиСтр. 43Пример 9.

Пусть X1 , . . . , Xn — выборка объема n из равномерного распределенияU0,θ , где θ > 0. Тогда θ^ = X(n) = max{X1 , . . . , Xn } (см. [3], пример 4.4, с.24 или [1],пример 5, с.91).Пример 10. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ IR (см. также [1], пример 4, с.91).Выпишем плотность распределения и функцию правдоподобия.

Плотность:1/5, если y ∈ [θ, θ + 5]fθ (y) =0иначе,функция правдоподобия:(1/5)n , если все Xi ∈ [θ, θ+5](1/5)n , θ 6 X(1) 6 X(n) 6 θ+5f(X, θ) ===0иначе0иначеОглавление=JJIIJIВо весь экранесли X(n) − 5 6 θ 6 X(1)иначе.0Функция правдоподобия достигает своего максимального значения (1/5)n во всехточках θ ∈ [X(n) − 5, X(1) ].

График этой функции изображен на рис. 4.f(X, θ)На стр. ... из 179Назад(1/5)n ,615nqqaaX(n) − 5X(1)Рис. 4: Пример 10.Любая точка θ^ ∈ [X(n) − 5, X(1) ] может служитьоценкой максимального правдоподобия. Получаемболее чем счетное число оценок видаθ^α = (1 − α)(X(n) − 5) + αX(1)-θпри разных α ∈ [0, 1], в том числе θ^0 = X(n) − 5и θ^1 = X(1) — концы отрезка.УйтиСтр.

44Упражнение.1) Убедиться, что отрезок [X(n) − 5, X(1) ] не пуст.2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная посравнению с ОМП.3) Найти ОМП параметра θ равномерного распределения Uθ,2θ .2.6. Вопросы и упражнения1. Дана выборка X1 , . . . , Xn из распределения Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр. Проверить, что X1 , X1 X2 , X1 (1 − X2 ) являются несмещенными оценкамисоответственно для p, p2 , p(1 − p).

Являются ли эти оценки состоятельными?ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экран2. Дана выборка X1 , . . . , Xn из распределения Пуассона Пλ , где λ > 0 — неизвестныйпараметр. Проверить, что X1 и I(X1 = k) являются несмещенными оценками соответственноλk −λдля λ иe . Являются ли эти оценки состоятельными?k!3. Дана выборка X1 , . .

. , Xn из равномерного распределения U0,θ , где θ > 0 — неизвестный параметр. Проверить состоятельность и несмещенность оценок θ∗1 = X(n) , θ∗2 = 2X,θ∗3 = X(n) + X(1) для параметра θ.4. Построить оценки неизвестных параметров по методу моментов для неизвестных параметровследующих семейств распределений:a) Bp — по первому моменту, б) Пλ — по первому и второму моменту, в) Ua,b — попервому и второму моменту, г) Eα — по всем моментам, д) E1/α — по первому моменту,е) U−θ,θ — как получится, ж) Гα,λ — по первому и второму моменту, з) Na,σ2 (для σ2при a известном и при a неизвестном).5. Какие из оценок в задаче 4 несмещенные? состоятельные?УйтиСтр. 456. Сравнить вид оценок для параметра α, полученных по первому моменту в задачах 4(г)и 4(д). Доказать, что среди них только одна несмещенная.

Указание. Использоватьнеравенство Йенсена.7. Построить оценки неизвестных параметров по методу максимального правдоподобия дляследующих семейств распределений: a) Bp , б) Пλ+1 , в) U0,2θ , г) E2α+3 , д) U−θ,θ ,е) Na,σ2 (a известно).8. Какие из оценок в задаче 7 несмещенные? состоятельные?3. Сравнение оценокОглавлениеJJIIJIНа стр.

... из 179НазадВо весь экранУйтиСтр. 46Используя метод моментов и метод максимального правдоподобия, мы получилидля каждого параметра уже достаточно много различных оценок. Каким же образомих сравнивать? Что должно быть показателем «хорошести» оценки?Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Новеличина |θ∗ − θ| для сравнения непригодна: во-первых, параметр θ неизвестен, вовторых, θ∗ — случайная величина, так что эти величины обычно сравнить нельзя. Как,например, сравнивать |X−θ| и |Xk −θ|? Или, на одном элементарном исходе, |2.15−θ|и |3.1 − θ|?Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значенияэтих отклонений, то есть Eθ |θ∗ − θ|.Но математическое ожидание модуля с.

в. считать обычно затруднительно, поэтомуболее удобной характеристикой для сравнения оценок считается Eθ (θ∗ −θ)2 . Она удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютномузначению отклонения θ∗ от θ (возводит их в квадрат).Заметим еще, что Eθ (θ∗ − θ)2 есть функция от θ, так что сравнивать эти «среднеквадратические» отклонения нужно как функции от θ — поточечно. Такой подход ксравнению оценок называется среднеквадратическим.Разумеется, в зависимости от потребностей исследователя можно пользоваться идругими характеристиками, например, Eθ (θ∗ − θ)4 или Eθ |θ∗ − θ|.Существует и так называемый асимптотический подход к сравнению оценок, прикотором для сравнения оценок используется некая характеристика «разброса» оценкиотносительно параметра при больших n.3.1.

Среднеквадратический подход. Эффективность оценокПусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ.ОглавлениеJJIIJIОпределение 8. Говорят, что оценка θ∗1 лучше оценки θ∗2 в смысле среднеквадратического подхода, если для любого θ ∈ ΘEθ (θ∗1 − θ)2 6 Eθ (θ∗2 − θ)2 ,и хотя бы при одном θ это неравенство строгое.На стр. ...