1612725170-d2dcc605205feb3d5b9a0101f2221951 (828894), страница 5
Текст из файла (страница 5)
ТОЧЕЧНОЕ ОЦЕНИВАНИЕПроверим состоятельность всех оценок. По ЗБЧ ХинчинаpX k −→ EX1k =Функцияθkk+1при n → ∞.pk(k + 1)y непрерывна для всех y > 0, поэтому при n → ∞rqpkkθkθ∗k =(k + 1)X k −→ (k + 1)= θ.k+1pУ п р а ж н е н и е . Зачем нужна непрерывность функции k (k + 1)y ?Проверим несмещённость полученных оценок. По определениюE θ∗1 = E2X = 2EX = 2θ/2 = θ,т. е. оценка θ∗1 = 2X несмещённая. Рассмотрим оценку θ∗2 . Её математическое ожидание равноp∗E θ2 = E 3X 2 .Чтобы внести знак математического ожидания под корень, воспользуем√ся неравенством Йенсена. Функция g(y) = y строго вогнута в областиy > 0, а случайная величина 3X 2 имеет невырожденное распределение.Поэтому (обратите внимание на знак !)qpp∗22E θ2 = E 3X < 3EX = 3EX12 = θ.p∗Итак, оценка θ2 = 3X 2 — смещённая.
Такими же смещёнными будути оценки θ∗k при всех k > 2 (докажите!).§ 4. Метод максимального правдоподобияМетод максимального правдоподобия — ещё один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ,максимизирующее вероятность получить при n опытах данную выборку~ = (X1 , . . . , Xn ). Это значение параметра θ зависит от выборки и являXется искомой оценкой.Выясним сначала, что такое «вероятность получить данную выборку»,т.
е. что́ именно нужно максимизировать. Вспомним, что для абсолютнонепрерывных распределений Fθ их плотность fθ (y) — «почти» (с точностью до dy ) вероятность попадания в точку y:P(X1 ∈ (y, y + dy)) = fθ (y) dy.§ 4. Метод максимального правдоподобия27А для дискретных распределений Fθ вероятность попасть в точку y равнаPθ (X1 = y). В зависимости от типа распределения Fθ обозначим черезfθ (y) одну из следующих двух функций:(плотность fθ (y), если Fθ абсолютно непрерывно,fθ (y) =(6)Pθ (X1 = y),если Fθ дискретно.В дальнейшем функцию fθ (y), определённую в (6), мы будем называть плотностью распределения Fθ независимо от того, является ли этораспределение дискретным или абсолютно непрерывным.О п р е д е л е н и е 7.
ФункцияnY~ θ) = fθ (X1 ) · fθ (X2 ) · . . . · fθ (Xn ) =f (X;fθ (Xi )i=1называется функцией правдоподобия. При фиксированном θ эта функцияявляется случайной величиной. Функция (тоже случайная)~ θ) = ln f (X;~ θ) =L(X;nXln fθ (Xi )i=1называется логарифмической функцией правдоподобия.В дискретном случае при фиксированных x1 , .
. . , xn значение функции правдоподобия f (x1 , . . . , xn , θ) равно вероятности, с которой выборка X1 , . . . , Xn в данной серии экспериментов принимает значенияx1 , . . . , xn . Эта вероятность меняется в зависимости от θ :nYf (~x; θ) =fθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) =i=1= Pθ (X1 = x1 , . . . , Xn = xn ).В абсолютно непрерывном случае эта функция пропорциональна вероятности попасть «почти» в точку x1 , . . .
, xn , а именно в «кубик» состоронами dx1 , . . . , dxn вокруг точки x1 , . . . , xn .О п р е д е л е н и е 8. Оценкой максимального правдоподобия (ОМП) θ̂для неизвестного параметра θ называют такое значение θ, при котором~ θ).достигается максимум функции f (X;З а м е ч а н и е 7. Поскольку функция ln y монотонна, то точки макси~ θ) и L(X;~ θ) совпадают (обоснуйте!).
Поэтому оценмума функций f (X;кой максимального правдоподобия можно называть точку максимума (по~ θ).переменной θ ) функции L(X;28ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕНапомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции или еёпроизводной, либо крайние точки области определения функции.Смысл метода максимального правдоподобия состоит в следующем. Вероятность получить в n экспериментах выборку X1 , .
. . , Xn , описываемая функцией правдоподобия, может быть больше или меньше в зависимости от θ. Но выборка дана. Какое значение параметра следует выбратьв качестве оценки? Видимо, то, при котором вероятность получить этувыборку оказывается наибольшей. Поэтому в качестве оценки максимального правдоподобия и выбирается значение параметра θ, при котороммаксимальна функция правдоподобия.П р и м е р 8. Пусть X1 , .
. . , Xn — выборка объёма n из распределения Пуассона Πλ , где λ > 0. Найдём ОМП λ̂ для неизвестного параметра λ. Здесьfλ (y) = P(X1 = y) =λyy!e−λ ,y = 0, 1, 2, . . . ,поэтому функция правдоподобия равнаnYλXi −λλΣXi −nλλnX~ λ) =f (X;e = Qe= Qe−nλ .i=1Xi !Xi !Xi !Поскольку эта функция при всех λ > 0 непрерывно дифференцируемапо λ, можно искать точки экстремума, приравняв к нулю частную производную по λ.
Но удобнее это делать для логарифмической функцииправдоподобия: nXnYλ−nλ~~Xi ! − nλ.L(X; λ) = ln f (X; λ) = ln Qe= nX ln λ − lnXi !i=1Тогда∂~ λ) = nX − n.L(X,∂λλТочку экстремума λ̂ = X находим как решение уравненияnXλ− n = 0.У п р а ж н е н и е . Проверить, что λ̂ = X — точка максимума, а не минимума. Убедиться, что λ̂ = X совпадает с одной из оценок метода моментов (полученной по какому моменту?), т. е.
в данном случае новой оценкимы не получили.П р и м е р 9. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na,σ2 , где a ∈ R, σ > 0 — два неизвестных параметра.29§ 4. Метод максимального правдоподобияЭто распределение имеет плотность2 /2σ21f(a,σ2 ) (y) = pe−(y−a)2πσ2.Перемножив плотности в точках X1 , . .
. , Xn , получим функцию правдоподобияnPY11−(Xi −a)2 /2σ2− (Xi −a)2 /2σ22~pf (X; a, σ ) =e=,n/2 ei=12πσ22πσ2а затем логарифмическую функцию правдоподобияnP(Xi − a)2n~ a, σ2 ) = ln f (X;~ a, σ2 ) = − ln(2π)n/2 − ln σ2 − i=1L(X;.22σ2В точке экстремума (по a и σ2 ) гладкой функции L обращаются в нульобе частные производныеP∂2 (Xi − a)nX − na2~=, L(X; a, σ ) =22∂a∂~ a, σ2 ) = − 2 L(X;∂σ2σn2σ2+σP(Xi − a)22σ4.Оценка максимального правдоподобия для (a, σ2 ) является решением системы уравненийnX − naσ2−= 0,n2σ2+P(Xi − a)222(σ2 )= 0.Решая, получаем хорошо знакомые оценкиâ = X,σ̂2n1 X=(Xi − X)2 = S 2 .ni=1У п р а ж н е н и е . Проверить, что (X, S 2 ) — точка максимума, а не минимума. Убедиться, что эти оценки совпадают с некоторыми оценкамиметода моментов.П р и м е р 10.
Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения U0, θ , где θ > 0. Тогда θ̂ = X(n) = max{X1 , . . . , Xn }(см. [5, пример 4.4] или [1, пример 5, с. 91]).П р и м е р 11. Пусть X1 , . . . , Xn — выборка объёма n из равномерного распределения Uθ, θ+5 , где θ ∈ R (см. также [1, пример 4, с.
91]).30ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕПлотность этого распределения равна(1, если y ∈ [θ, θ + 5],fθ (y) = 50иначе.Запишем функцию правдоподобия(1, если θ 6 Xi 6 θ + 5 для любого i,~ θ) =5nf (X;=0 иначе(1, θ 6 X(1) 6 X(n) 6 θ + 5,5n=0 иначе.~ θ) как функцию переменной θ :Представим функцию f (X;(1~ θ) = 5n , если X(n) − 5 6 θ 6 X(1) ,f (X;0иначе.Функция правдоподобия (рис. 4) постоянна на целом отрезке. Поэтому она достигает своего максимального значения 1/5n во всех точках θ,принадлежащих отрезку [X(n) − 5, X(1) ].~ θ)f (X;615nqqaaX(n) − 5X(1)-θРис. 4.
Функция правдоподобия в примере 11Любая точка θ̂ ∈ [X(n) − 5, X(1) ] может служить оценкой максимального правдоподобия. Например, оценками максимального правдоподобияявляются линейные комбинации концов отрезка:θ̂α = (1 − α)(X(n) − 5) + αX(1) ,где α ∈ [0, 1],в том числе θ̂0 = X(n) − 5 и θ̂1 = X(1) — концы отрезка.У п р а ж н е н и е . Проверить, что отрезок [X(n) − 5, X(1) ] не пуст.Найти оценку метода моментов (по первому моменту). Найти ОМП параметра θ равномерного распределения Uθ, 2θ .§ 5. Вопросы и упражнения31П р и м е р 12. Пусть X1 , . . . , Xn — выборка из распределения Бернулли Bp с параметром p ∈ (0, 1).
Построим ОМП для параметра p.Можно получить ОМП для неизвестного параметра распределения Бернулли как частный случай ОМП для параметра p биномиального распределения Bm, p с известным m. Но мы попробуем записать явным образомфункцию правдоподобия для распределения Бернулли.Функция fp (y) = P(X1 = y) принимает два значения: p и 1 − p в зависимости от того, равно y единице или нулю.
Соответственно, каждый сомножитель fp (Xi ) в функции правдоподобия равен либо p (если Xi = 1),либо 1 − p (если Xi = 0). Количество сомножителей, равных p, равночислу элементов выборки, равных единице, и равно X1 + . . . + Xn = nX.Поэтому~ p) = pnX (1 − p)n−nX .f (X;Далее находим логарифмическую функцию правдоподобия и точку экстремума этой функции по переменной p. Получаем p̂ = X.У п р а ж н е н и е . Довести до конца вычисления ОМП.§ 5.
Вопросы и упражнения1. Дана выборка X1 , . . . , Xn из распределения Бернулли Bp с параметром p ∈ (0, 1). Проверить, что X1 , X1 X2 , X1 (1−X2 ) являются несмещёнными оценками соответственно для p, p2 , p(1 − p). Являются ли этиоценки состоятельными?2. Дана выборка X1 , . . . , Xn из распределения Пуассона Πλ с параметром λ > 0. Проверить, что X1 и I(X1 = k) являются несмещённымиλkоценками соответственно для λ иe−λ . Являются ли эти оценки состоk!ятельными?3. Дана выборка X1 , . . . , Xn из распределения Пуассона Πλ с параметром λ > 0. Проверить, что1 nXn∗X 1−θ =n−1nявляется несмещённой оценкой для параметра θ = λe−λ = P(X1 = 1).4.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
