Н.И. Чернова - Математическая статистика (1119916), страница 6
Текст из файла (страница 6)
Убедиться, что λ̂ = X совпадает с одной из оценок метода моментов (полученной по какому моменту?), т. е. в данном случае новой оценкимы не получили.П р и м е р 9. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na,σ2 , где a ∈ R, σ > 0 — два неизвестных параметра.29§ 4. Метод максимального правдоподобияЭто распределение имеет плотность2 /2σ21f(a,σ2 ) (y) = pe−(y−a)2πσ2.Перемножив плотности в точках X1 , . . . , Xn , получим функцию правдоподобияnPY11−(Xi −a)2 /2σ2− (Xi −a)2 /2σ22~pf (X; a, σ ) =e=,n/2 ei=12πσ22πσ2а затем логарифмическую функцию правдоподобияnP(Xi − a)2n~ a, σ2 ) = ln f (X;~ a, σ2 ) = − ln(2π)n/2 − ln σ2 − i=1L(X;.22σ2В точке экстремума (по a и σ2 ) гладкой функции L обращаются в нульобе частные производныеP∂2 (Xi − a)nX − na2~=, L(X; a, σ ) =22∂a∂~ a, σ2 ) = − 2 L(X;∂σ2σn2σ2+σP(Xi − a)22σ4.Оценка максимального правдоподобия для (a, σ2 ) является решением системы уравненийnX − naσ2−= 0,n2σ2+P(Xi − a)222(σ2 )= 0.Решая, получаем хорошо знакомые оценкиâ = X,σ̂2n1 X=(Xi − X)2 = S 2 .ni=1У п р а ж н е н и е .
Проверить, что (X, S 2 ) — точка максимума, а не минимума. Убедиться, что эти оценки совпадают с некоторыми оценкамиметода моментов.П р и м е р 10. Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения U0, θ , где θ > 0.
Тогда θ̂ = X(n) = max{X1 , . . . , Xn }(см. [5, пример 4.4] или [1, пример 5, с. 91]).П р и м е р 11. Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения Uθ, θ+5 , где θ ∈ R (см. также [1, пример 4, с. 91]).30ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕПлотность этого распределения равна(1, если y ∈ [θ, θ + 5],fθ (y) = 50иначе.Запишем функцию правдоподобия(1, если θ 6 Xi 6 θ + 5 для любого i,~ θ) =5nf (X;=0 иначе(1, θ 6 X(1) 6 X(n) 6 θ + 5,5n=0 иначе.~ θ) как функцию переменной θ :Представим функцию f (X;(1~ θ) = 5n , если X(n) − 5 6 θ 6 X(1) ,f (X;0иначе.Функция правдоподобия (рис.
4) постоянна на целом отрезке. Поэтому она достигает своего максимального значения 1/5n во всех точках θ,принадлежащих отрезку [X(n) − 5, X(1) ].~ θ)f (X;615nqqaaX(n) − 5X(1)-θРис. 4. Функция правдоподобия в примере 11Любая точка θ̂ ∈ [X(n) − 5, X(1) ] может служить оценкой максимального правдоподобия. Например, оценками максимального правдоподобияявляются линейные комбинации концов отрезка:θ̂α = (1 − α)(X(n) − 5) + αX(1) ,где α ∈ [0, 1],в том числе θ̂0 = X(n) − 5 и θ̂1 = X(1) — концы отрезка.У п р а ж н е н и е . Проверить, что отрезок [X(n) − 5, X(1) ] не пуст.Найти оценку метода моментов (по первому моменту). Найти ОМП параметра θ равномерного распределения Uθ, 2θ .§ 5.
Вопросы и упражнения31П р и м е р 12. Пусть X1 , . . . , Xn — выборка из распределения Бернулли Bp с параметром p ∈ (0, 1). Построим ОМП для параметра p.Можно получить ОМП для неизвестного параметра распределения Бернулли как частный случай ОМП для параметра p биномиального распределения Bm, p с известным m. Но мы попробуем записать явным образомфункцию правдоподобия для распределения Бернулли.Функция fp (y) = P(X1 = y) принимает два значения: p и 1 − p в зависимости от того, равно y единице или нулю.
Соответственно, каждый сомножитель fp (Xi ) в функции правдоподобия равен либо p (если Xi = 1),либо 1 − p (если Xi = 0). Количество сомножителей, равных p, равночислу элементов выборки, равных единице, и равно X1 + . . . + Xn = nX.Поэтому~ p) = pnX (1 − p)n−nX .f (X;Далее находим логарифмическую функцию правдоподобия и точку экстремума этой функции по переменной p. Получаем p̂ = X.У п р а ж н е н и е .
Довести до конца вычисления ОМП.§ 5. Вопросы и упражнения1. Дана выборка X1 , . . . , Xn из распределения Бернулли Bp с параметром p ∈ (0, 1). Проверить, что X1 , X1 X2 , X1 (1−X2 ) являются несмещёнными оценками соответственно для p, p2 , p(1 − p). Являются ли этиоценки состоятельными?2.
Дана выборка X1 , . . . , Xn из распределения Пуассона Πλ с параметром λ > 0. Проверить, что X1 и I(X1 = k) являются несмещённымиλkоценками соответственно для λ иe−λ . Являются ли эти оценки состоk!ятельными?3. Дана выборка X1 , . . . , Xn из распределения Пуассона Πλ с параметром λ > 0. Проверить, что1 nXn∗X 1−θ =n−1nявляется несмещённой оценкой для параметра θ = λe−λ = P(X1 = 1).4. Дана выборка X1 , .
. . , Xn из равномерного распределения U0, θ с параметром θ > 0. Проверить состоятельность и несмещённость оценок θ∗ == X(n) , θ∗∗ = X(n) + X(1) для параметра θ.5. Построить оценки неизвестных параметров по методу моментовдля неизвестных параметров следующих семейств распределений: Bp —32ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕпо первому моменту, Πλ — по первому и второму моменту, Ua, b — попервому и второму моменту, Eα — по всем моментам, E1/α — по первомумоменту, U−θ, θ — как получится, Γα, λ — по первому и второму моменту,Na, σ2 (для σ2 при a известном и при a неизвестном).6.
Построить оценки неизвестных параметров по методу максимального правдоподобия для следующих семейств распределений: Bm, p приизвестном значении m ∈ N, Πλ+1 , U0, 2θ , E2α+3 , U−θ, θ , Na, σ2 при известном a.7. Какие из оценок в задачах 5 и 6 несмещённые? Какие из них состоятельны?8. Эмпирическая функция распределения Fn∗ (y) строится по выборкеиз равномерного распределения на отрезке [0, a], где a > 1. Для какогопараметра θ = θ(a) статистика Fn∗ (1) является несмещённой оценкой?Является ли она состоятельной оценкой того же параметра?9.
Пусть элементы выборки X1 , . . . , Xn имеют распределение с плотностью(33θy 2 e−θy , если y > 0,fθ (y) =0,если y 6 0,где θ > 0 — неизвестный параметр. Проверить, является ли оценка максимального правдоподобия асимптотически несмещённой оценкой для параметра θ .10. Дана выборка из равномерного распределения на отрезке [0, θ].Найти предел (в смысле сходимости п. н.) при k → ∞ последовательностиоценок параметра θ, полученных методом моментов по k -му моменту.Г Л А В А IIIСРАВНЕНИЕ ОЦЕНОКИспользуя метод моментов и метод максимального правдоподобия, мыполучили для каждого параметра достаточно много различных оценок.Каким же образом их сравнивать? Что должно быть показателем «хорошести» оценки? Понятно, что чем дальше оценка отклоняется от параметра, тем она хуже.
Но величина |θ∗ − θ| для сравнения непригодна:во-первых, параметр θ неизвестен, во-вторых, θ∗ — случайная величина,поэтому при разных значениях выборки эти расстояния будут, вообще говоря, различны. Для сравнения оценок используют обычно усреднённыехарактеристики рассеяния. Это может быть либо E(θ∗ − θ)2 , либо некий«предельный» разброс последовательности оценок относительно параметра. В зависимости от этого различают среднеквадратический и асимптотический подходы к сравнению оценок.§ 1. Среднеквадратический подход к сравнению оценокСреднеквадратический подход использует в качестве «расстояния» отоценки до параметра величину E(θ∗ − θ)2 .
Это среднее является функцией от параметра θ, поэтому сравнивают такие отклонения при каждомвозможном значении θ.Пусть X1 , . . . , Xn — выборка объёма n из параметрического семействараспределений Fθ , где θ ∈ Θ.О п р е д е л е н и е 9. Говорят, что оценка θ∗1 лучше оценки θ∗2 в смысле среднеквадратического подхода (или в среднеквадратичном), если длялюбого θ ∈ ΘE(θ∗1 − θ)2 6 E(θ∗2 − θ)2 ,и хотя бы при одном θ это неравенство строгое.Существует ли среди всех оценок наилучшая в смысле среднеквадратического подхода? Здравый смысл подсказывает, что ответ на этотвопрос скорее отрицателен, равно как и на любой вопрос о существовании слишком глобального экстремума. Предположим, что мы имеем дело34ГЛАВА III.
СРАВНЕНИЕ ОЦЕНОКс невырожденной задачей: ни для какой статистики θ∗ невозможно, чтобы оценка θ∗ равнялась θ п. н. при любых θ ∈ Θ.Т е о р е м а 10. В классе всех возможных оценок наилучшей в смыслесреднеквадратического подхода оценки не существует.Д о к а з а т е л ь с т в о. Пусть, напротив, θ∗ — наилучшая, т. е. для любой другой оценки θ∗1 , при любом θ ∈ Θ выполненоE(θ∗ − θ)2 6 E(θ∗1 − θ)2 .Пусть θ1 — произвольная точка области Θ. Рассмотрим статистикуθ∗1 ≡ θ1 . Тогда E(θ∗ − θ)2 6 E(θ1 − θ)2 при любом θ ∈ Θ.
В частности, приθ = θ1 получим E(θ∗ − θ1 )2 6 E(θ1 − θ1 )2 = 0. Поэтому E(θ∗ − θ1 )2 = 0.Поскольку θ1 произвольно, равенство E(θ∗ − θ)2 = 0 имеет место прилюбом θ ∈ Θ.Но величина (θ∗ − θ)2 неотрицательна, поэтому равенство нулю её математического ожидания возможно только в случае, когда θ∗ = θ п. н.(оценка в точности отгадывает неизвестный параметр), т. е. для вырожденной с точки зрения математической статистики задачи.Приведём примеры вырожденных задач, когда параметр однозначноопределяется по выборке. Так, для выборки из вырожденного распределения Iθ параметр совпадает с любым элементом выборки: θ = X1 п. н.;для выборки из равномерногораспределения Uθ, θ+1 при Θ = Z имеет место равенство θ = X1 п.
н.Если в классе всех оценок наилучшей не существует, то, возможно,следует разбить класс всех оценок на отдельные подклассы и в каждомискать наилучшую. Обычно рассматривают оценки, имеющие одинаковоесмещение b(θ) = E θ∗ − θ.Обозначим через Kb = Kb(θ) класс всех оценок со смещением, равнымзаданной функции b(θ):Kb = {θ∗ | E θ∗ = θ + b(θ)} ,K0 = {θ∗ | E θ∗ = θ} .Здесь K0 — класс несмещённых оценок.О п р е д е л е н и е 10. Оценка θ∗ ∈ Kb называется эффективной оценкой в классе Kb , если она лучше (не хуже) всех других оценок класса Kbв смысле среднеквадратического подхода, т.
е. для любой θ∗1 ∈ Kb , длялюбого θ ∈ ΘE(θ∗ − θ)2 6 E(θ∗1 − θ)2 .О п р е д е л е н и е 11. Эффективная оценка в классе K0 называетсяпросто эффективной.§ 1. Среднеквадратический подход к сравнению оценок35З а м е ч а н и е 8. Для оценки θ∗ ∈ K0 по определению дисперсииE(θ∗ − θ)2 = E(θ∗ − E θ∗ )2 = D θ∗ ,т. е. сравнение в среднеквадратичном несмещённых оценок есть просто сравнение их дисперсий. Поэтому эффективную оценку ещё называют «несмещённой оценкой с равномерно минимальной дисперсией»(«н. о.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
