Математическая статистика (PDF) (543620), страница 5
Текст из файла (страница 5)
... из 179= Eθ3X2 ,тогда как по свойству 2θ=НазадВо весь экранqq3Eθ X21 =q3Eθ X2 .РавенствоpEθ θ∗2 = θ означало бы, что для случайной величины ξ = 3X2 выполнено√√Eθ ξ = Eθ ξ, а для величины η = ξ выполнено Eθ η2 = (Eθ η)2 или Dθ η = 0.qУйтиСтр. 37Но величина η =3X2 имеет невырожденное(более того, абсолютно непрерывное)qраспределение. Поэтому оценка θ∗2 = 3X2 — смещенная.
Такими же смещеннымибудут и оценки θ∗k , k > 2. Докажите это, воспользовавшись, как в (5), неравенствомЙенсена.q ∗ ∞kТо есть вся последовательность θk k=1 =(k + 1)Xk состоит из состоятельныхоценок, при этом только оценка θ∗1 = 2X — несмещенная.2.5. Методы нахождения оценок: метод максимального правдоподобияОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр.
38Метод максимального правдоподобия — еще один разумный способ построенияоценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ, максимизирующее вероятность получитьпри n опытах данную выборку X = (X1 , . .
. , Xn ). Это значение параметра θ зависитот выборки и является искомой оценкой.Решим сначала, что такое «вероятность получить данную выборку», т. е. что именнонужно максимизировать. Вспомним, что для абсолютно непрерывных распределений Fθих плотность fθ (y) — «почти» (с точностью до dy) вероятность попадания в точку y.А для дискретных распределений Fθ вероятность попасть в точку y равна Pθ (X1 = y).И то, и другое мы будем называть плотностью распределения Fθ .
Итак,Определение 5. Функциюплотность fθ (y),fθ (y) =Pθ (X1 = y),если распределение Fθ абсолютно непрерывно,если распределение Fθ дискретномы будем называть плотностью распределения Fθ .Для тех, кто знаком с понятием интеграла по мере, нет ничего странного в том,что мы ввели понятие плотности для дискретного распределения. Это — не плотностьотносительно меры Лебега, но плотность относительно считающей меры.Если для дискретного распределения величины X1 со значениями a1 , a2 , . .
. ввести считающую меру # на борелевской σ-алгебре какZX#(B) = количество ai , принадлежащих B, то #(B) = #(dy) =1,ОглавлениеZи тогдаPθ (X1 ∈ B) =BJJIIJIНа стр. ... из 179Pθ (X1 = y) #(dy) =fθ (y) #(dy) =BBОпределение 6. Функция (случайная величина при фиксированном θ)f(X, θ) = fθ (X1 ) · fθ (X2 ) · . . . · fθ (Xn ) =nYfθ (Xi )i=1называется функцией правдоподобия. Функция (тоже случайная)L(X, θ) = ln f(X, θ) =nXln fθ (Xi )i=1Стр. 39Pθ (X1 = ai ).Если же X1 имеет абсолютно непрерывное распределение, то fθ (y) есть привычная плотностьотносительно меры Лебега λ(dy) = dy:ZZPθ (X1 ∈ B) = fθ (y) λ(dy) = fθ (y) dy.НазадУйтиXai ∈BBВо весь экранai ∈BBZназывается логарифмической функцией правдоподобия.В дискретном случае функция правдоподобия f(x1 , .
. . , xn , θ) есть вероятностьвыборке X1 , . . . , Xn в данной серии экспериментов равняться x1 , . . . , xn . Этавероятность меняется в зависимости от θ:Оглавлениеf(x, θ) =nYfθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) = Pθ (X1 = x1 , . . . , Xn = xn ).i=1JJIIJIНа стр. ... из 179Определение 7. Оценкой максимального правдоподобия θ^ неизвестного параметра θназывают значение θ, при котором функция f(X, θ) достигает максимума (как функцияот θ при фиксированных X1 , . . . , Xn ):θ^ = arg max f(X, θ).θНазадВо весь экранЗамечание 7.
Поскольку функция ln y монотонна, то точки максимума f(X, θ) иL(X, θ) совпадают. Поэтому оценкой максимального правдоподобия (ОМП) можноназывать точку максимума (по θ) функции L(x, θ):Уйтиθ^ = arg max L(X, θ).θСтр. 40Напомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции/производной, либо крайние точкиобласти определения функции.Пример 7. Пусть X1 , . . . , Xn — выборка объема n из распределения ПуассонаПλ , где λ > 0. Найдем ОМП ^λ неизвестного параметра λ.Pλ (X1 = y) =λy −λe ,y!y = 0, 1, 2, . . .Оглавлениеf(X, λ) =nYλXii=1JJIIJIПоскольку эта функция при всех λ > 0 непрерывно дифференцируема по λ, можноискать точки экстремума, приравняв к нулю частную производную по λ.
Но удобнееэто делать для логарифмической функции правдоподобия:На стр. ... из 179λnX −nλL(X, λ) = ln f(X, λ) = ln QeXi !НазадВо весь экранλΣXi −nλλnX −nλe−λ = Qe=Qe.Xi !Xi !Xi !!= nX ln λ − lnnYXi ! − nλ.i=1Тогда∂nXL(X, λ) =− n,∂λλУйтиСтр. 41nXи точка экстремума ^λ — решение уравнения:− n = 0, то есть ^λ = X.λУпражнение.1) Убедиться, что ^λ = X — точка максимума, а не минимума.2) Убедиться, что ^λ = X совпадает с одной из оценок метода моментов. по какому моменту?Пример 8.
Пусть X1 , . . . , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0; и оба параметра a, σ2 неизвестны.Выпишем плотность, функцию правдоподобия и логарифмическую функцию правдоподобия. Плотность:ОглавлениеJJIIJI−(y − a)2f(a,σ2 ) (y) = √exp2σ22πσ21!,функция правдоподобия:nPf(X, a, σ2 ) =На стр. ... из 179nYi=1√12πσ2exp −(Xi − a)22σ2!=(Xi − a)2 1 i=1exp−2σ2(2πσ2 )n/2,Назадлогарифмическая функция правдоподобия:Во весь экранnPnL(X, a, σ2 ) = ln f(X, a, σ2 ) = − ln(2π)n/2 − ln σ2 −2УйтиСтр. 42(Xi − a)2i=12σ2.В точке экстремума (по (a, σ2 )) гладкой функции L обращаются в нуль обе частныепроизводные:∂L(X, a, σ2 ) =∂a2nP(Xi − a)i=12σ2nPnX − na=;σ2(Xi − a)2∂ni=1L(X, a, σ2 ) = − 2 +.∂σ22σ2σ4ОглавлениеОценка максимального правдоподобия (^a, σ^2 ) для (a, σ2 ) — решение системы уравненийnP(Xi − a)2nX − nani=1= 0;− 2+= 0.σ22σ2(σ2 )2Решая, получим хорошо знакомые оценки:1Xσ^2 =(Xi − X)2 = S2 .nna^ = X,JJIIJIНа стр. ...
из 179i=1Упражнение.1) Убедиться, что a^ = X, σ^2 = S2 — точка максимума, а не минимума.2) Убедиться, что эти оценки совпадают с некоторыми оценками метода моментов.НазадВо весь экранУйтиСтр. 43Пример 9. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределенияU0,θ , где θ > 0. Тогда θ^ = X(n) = max{X1 , . . . , Xn } (см. [3], пример 4.4, с.24 или [1],пример 5, с.91).Пример 10. Пусть X1 , . . . , Xn — выборка объема n из равномерного распределения Uθ,θ+5 , где θ ∈ IR (см. также [1], пример 4, с.91).Выпишем плотность распределения и функцию правдоподобия.
Плотность:1/5, если y ∈ [θ, θ + 5]fθ (y) =0иначе,функция правдоподобия:(1/5)n , если все Xi ∈ [θ, θ+5](1/5)n , θ 6 X(1) 6 X(n) 6 θ+5f(X, θ) ===0иначе0иначеОглавление=JJIIJIВо весь экранесли X(n) − 5 6 θ 6 X(1)иначе.0Функция правдоподобия достигает своего максимального значения (1/5)n во всехточках θ ∈ [X(n) − 5, X(1) ]. График этой функции изображен на рис.
4.f(X, θ)На стр. ... из 179Назад(1/5)n ,615nqqaaX(n) − 5X(1)Рис. 4: Пример 10.Любая точка θ^ ∈ [X(n) − 5, X(1) ] может служитьоценкой максимального правдоподобия. Получаемболее чем счетное число оценок видаθ^α = (1 − α)(X(n) − 5) + αX(1)-θпри разных α ∈ [0, 1], в том числе θ^0 = X(n) − 5и θ^1 = X(1) — концы отрезка.УйтиСтр. 44Упражнение.1) Убедиться, что отрезок [X(n) − 5, X(1) ] не пуст.2) Найти оценку метода моментов (по первому моменту) и убедиться, что она иная посравнению с ОМП.3) Найти ОМП параметра θ равномерного распределения Uθ,2θ .2.6. Вопросы и упражнения1. Дана выборка X1 , .
. . , Xn из распределения Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр. Проверить, что X1 , X1 X2 , X1 (1 − X2 ) являются несмещенными оценкамисоответственно для p, p2 , p(1 − p). Являются ли эти оценки состоятельными?ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экран2.
Дана выборка X1 , . . . , Xn из распределения Пуассона Пλ , где λ > 0 — неизвестныйпараметр. Проверить, что X1 и I(X1 = k) являются несмещенными оценками соответственноλk −λдля λ иe . Являются ли эти оценки состоятельными?k!3. Дана выборка X1 , . . . , Xn из равномерного распределения U0,θ , где θ > 0 — неизвестный параметр. Проверить состоятельность и несмещенность оценок θ∗1 = X(n) , θ∗2 = 2X,θ∗3 = X(n) + X(1) для параметра θ.4. Построить оценки неизвестных параметров по методу моментов для неизвестных параметровследующих семейств распределений:a) Bp — по первому моменту, б) Пλ — по первому и второму моменту, в) Ua,b — попервому и второму моменту, г) Eα — по всем моментам, д) E1/α — по первому моменту,е) U−θ,θ — как получится, ж) Гα,λ — по первому и второму моменту, з) Na,σ2 (для σ2при a известном и при a неизвестном).5. Какие из оценок в задаче 4 несмещенные? состоятельные?УйтиСтр.
456. Сравнить вид оценок для параметра α, полученных по первому моменту в задачах 4(г)и 4(д). Доказать, что среди них только одна несмещенная. Указание. Использоватьнеравенство Йенсена.7. Построить оценки неизвестных параметров по методу максимального правдоподобия дляследующих семейств распределений: a) Bp , б) Пλ+1 , в) U0,2θ , г) E2α+3 , д) U−θ,θ ,е) Na,σ2 (a известно).8. Какие из оценок в задаче 7 несмещенные? состоятельные?3. Сравнение оценокОглавлениеJJIIJIНа стр. ...
из 179НазадВо весь экранУйтиСтр. 46Используя метод моментов и метод максимального правдоподобия, мы получилидля каждого параметра уже достаточно много различных оценок. Каким же образомих сравнивать? Что должно быть показателем «хорошести» оценки?Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже. Новеличина |θ∗ − θ| для сравнения непригодна: во-первых, параметр θ неизвестен, вовторых, θ∗ — случайная величина, так что эти величины обычно сравнить нельзя. Как,например, сравнивать |X−θ| и |Xk −θ|? Или, на одном элементарном исходе, |2.15−θ|и |3.1 − θ|?Поэтому имеет смысл сравнивать не отклонения как таковые, а средние значенияэтих отклонений, то есть Eθ |θ∗ − θ|.Но математическое ожидание модуля с. в. считать обычно затруднительно, поэтомуболее удобной характеристикой для сравнения оценок считается Eθ (θ∗ −θ)2 .
Она удобна еще и тем, что очень чутко реагирует на маловероятные, но большие по абсолютномузначению отклонения θ∗ от θ (возводит их в квадрат).Заметим еще, что Eθ (θ∗ − θ)2 есть функция от θ, так что сравнивать эти «среднеквадратические» отклонения нужно как функции от θ — поточечно. Такой подход ксравнению оценок называется среднеквадратическим.Разумеется, в зависимости от потребностей исследователя можно пользоваться идругими характеристиками, например, Eθ (θ∗ − θ)4 или Eθ |θ∗ − θ|.Существует и так называемый асимптотический подход к сравнению оценок, прикотором для сравнения оценок используется некая характеристика «разброса» оценкиотносительно параметра при больших n.3.1. Среднеквадратический подход. Эффективность оценокПусть X1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
