Н.И. Чернова - Математическая статистика (1119916), страница 5
Текст из файла (страница 5)
ТОЧЕЧНОЕ ОЦЕНИВАНИЕЗ а м е ч а н и е 5. Если параметр θ = (θ1 , . . . , θk ) — вектор, а не скаляри принимает значения в множестве Θ ⊆ Rk , то в качестве функции g берутвектор-функцию g(y) = (g1 (y), . . . , gk (y)). Тогда равенство Eg(X1 ) == h(θ) представляет из себя систему из k уравнений, которая должнабыть однозначно разрешима относительно θ1 , . .
. , θk . Решая эту системуи подставляя вместо истинных моментов Egi (X1 ) выборочные моментыgi (X), получают ОММ для θ1 , . . . , θk .П р и м е р 4. Пусть X1 , . . . , Xn — выборка объёма n из равномерного на отрезке [0, θ] распределения U0, θ , где θ > 0.Найдём оценку метода моментов θ∗1 по первому моменту, т. е. с помощью функции g(y) = y :EX1 =θ2θ∗1 = 2X.θ = 2EX1 ,,Найдём оценку метода моментов θ∗k по k -му моменту:ZθEX1k=1ykθdy =θkk+1,θ=qk(k + 1)EX1k ,0тогдаθ∗kqk= (k + 1)X k .(4)П р и м е р 5. Пусть X1 , .
. . , Xn — выборка объёма n из распределения Пуассона Πλ с параметром λ > 0. Введём новый параметрθ = θ(λ) = P(X1 = 1) = λ e−λи найдём ОММ для параметра θ с помощью функции g(y) = I(y = 1) :Eg(X1 ) = EI(X1 = 1) = P(X1 = 1) = λ e−λ = θ,nX1I(Xi = 1).θ∗ = I(X = 1) =ni=1Заметим, что найти оценку для параметра λ с помощью функцииg(y) = I(y = 1) нельзя: равенство Eg(X1 ) = λ e−λ не является однозначноразрешимым относительно λ в области λ > 0. Оценку для параметра λможно найти по первому моменту: EX1 = λ, поэтому λ∗ = X.З а м е ч а н и е 6.
Может случиться так, что θ∗ = h−1 g(X) 6∈ Θ. Вэтом случае оценку корректируют.Например, в качестве ОММ берут бли−1жайшую к h g(X) точку из Θ или из замыкания Θ.§ 3. Свойства оценок метода моментов25П р и м е р 6. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na,1 с неотрицательным средним a > 0.Ищем оценку для a по первому моменту: EX1 = a, поэтому a∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно. ЕслиX < 0, то в качестве оценки для a более подойдет 0. Если же X > 0, в качестве оценки нужно брать X. Итого: a∗ = max{0, X} — «исправленная»оценка метода моментов.§ 3.
Свойства оценок метода моментовТ е о р е м а 9. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методу моментов, причём функция h−1 непрерывна. Тогдаоценка θ∗ состоятельна.Д о к а з а т е л ь с т в о. По ЗБЧ Хинчина имеемnp1 Xg(X) =g(Xi ) −→ Eg(X1 ) = h(θ).ni=1Поскольку функция h−1 непрерывна, то и pθ∗ = h−1 g(X) −→ h−1 (Eg(X1 )) = h−1 (h(θ)) = θ.Напомним, что для обратимой функции h : R → R непрерывность hи непрерывность h−1 равносильны.Если полученные разумным путём оценки обязаны быть состоятельными, то свойство несмещённости — скорее исключение, нежели правило.Действительно, несмещённость ОММ вида θ∗ = h−1 g(X) означалабы, что при всех θ ∈ Θ выполнено равенствоEh−1 g(X) = θ = h−1 (h(θ)) = h−1 Eg(X) .(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой. В этомслучае из доказательства неравенства Йенсена можно сделать вывод (сделайте его!): между левой и правой частью в (5) равенство возможно, лишьесли случайная величина g(X) вырождена либо если функция h−1 линейна на множестве значений этой случайной величины и её математическогоожидания.П р и м е р 7.
Рассмотрим последовательность оценок для неизвестного параметра θ равномерного на отрезке [0, θ] распределения, полученную в примере 4, и исследуем напрямую их свойства.26ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕПроверим состоятельность всех оценок. По ЗБЧ ХинчинаpX k −→ EX1k =Функцияθkk+1при n → ∞.pk(k + 1)y непрерывна для всех y > 0, поэтому при n → ∞rqpkkθkθ∗k =(k + 1)X k −→ (k + 1)= θ.k+1pУ п р а ж н е н и е . Зачем нужна непрерывность функции k (k + 1)y ?Проверим несмещённость полученных оценок. По определениюE θ∗1 = E2X = 2EX = 2θ/2 = θ,т.
е. оценка θ∗1 = 2X несмещённая. Рассмотрим оценку θ∗2 . Её математическое ожидание равноp∗E θ2 = E 3X 2 .Чтобы внести знак математического ожидания под корень, воспользуем√ся неравенством Йенсена. Функция g(y) = y строго вогнута в областиy > 0, а случайная величина 3X 2 имеет невырожденное распределение.Поэтому (обратите внимание на знак !)qpp∗22E θ2 = E 3X < 3EX = 3EX12 = θ.p∗Итак, оценка θ2 = 3X 2 — смещённая. Такими же смещёнными будути оценки θ∗k при всех k > 2 (докажите!).§ 4. Метод максимального правдоподобияМетод максимального правдоподобия — ещё один разумный способ построения оценки неизвестного параметра.
Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ,максимизирующее вероятность получить при n опытах данную выборку~ = (X1 , . . . , Xn ). Это значение параметра θ зависит от выборки и являXется искомой оценкой.Выясним сначала, что такое «вероятность получить данную выборку»,т. е. что́ именно нужно максимизировать. Вспомним, что для абсолютнонепрерывных распределений Fθ их плотность fθ (y) — «почти» (с точностью до dy ) вероятность попадания в точку y:P(X1 ∈ (y, y + dy)) = fθ (y) dy.§ 4.
Метод максимального правдоподобия27А для дискретных распределений Fθ вероятность попасть в точку y равнаPθ (X1 = y). В зависимости от типа распределения Fθ обозначим черезfθ (y) одну из следующих двух функций:(плотность fθ (y), если Fθ абсолютно непрерывно,fθ (y) =(6)Pθ (X1 = y),если Fθ дискретно.В дальнейшем функцию fθ (y), определённую в (6), мы будем называть плотностью распределения Fθ независимо от того, является ли этораспределение дискретным или абсолютно непрерывным.О п р е д е л е н и е 7. ФункцияnY~ θ) = fθ (X1 ) · fθ (X2 ) · .
. . · fθ (Xn ) =f (X;fθ (Xi )i=1называется функцией правдоподобия. При фиксированном θ эта функцияявляется случайной величиной. Функция (тоже случайная)~ θ) = ln f (X;~ θ) =L(X;nXln fθ (Xi )i=1называется логарифмической функцией правдоподобия.В дискретном случае при фиксированных x1 , . .
. , xn значение функции правдоподобия f (x1 , . . . , xn , θ) равно вероятности, с которой выборка X1 , . . . , Xn в данной серии экспериментов принимает значенияx1 , . . . , xn . Эта вероятность меняется в зависимости от θ :nYf (~x; θ) =fθ (xi ) = Pθ (X1 = x1 ) · . .
. · Pθ (Xn = xn ) =i=1= Pθ (X1 = x1 , . . . , Xn = xn ).В абсолютно непрерывном случае эта функция пропорциональна вероятности попасть «почти» в точку x1 , . . . , xn , а именно в «кубик» состоронами dx1 , . . . , dxn вокруг точки x1 , . . . , xn .О п р е д е л е н и е 8. Оценкой максимального правдоподобия (ОМП) θ̂для неизвестного параметра θ называют такое значение θ, при котором~ θ).достигается максимум функции f (X;З а м е ч а н и е 7. Поскольку функция ln y монотонна, то точки макси~ θ) и L(X;~ θ) совпадают (обоснуйте!). Поэтому оценмума функций f (X;кой максимального правдоподобия можно называть точку максимума (по~ θ).переменной θ ) функции L(X;28ГЛАВА II.
ТОЧЕЧНОЕ ОЦЕНИВАНИЕНапомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции или еёпроизводной, либо крайние точки области определения функции.Смысл метода максимального правдоподобия состоит в следующем. Вероятность получить в n экспериментах выборку X1 , . . .
, Xn , описываемая функцией правдоподобия, может быть больше или меньше в зависимости от θ. Но выборка дана. Какое значение параметра следует выбратьв качестве оценки? Видимо, то, при котором вероятность получить этувыборку оказывается наибольшей. Поэтому в качестве оценки максимального правдоподобия и выбирается значение параметра θ, при котороммаксимальна функция правдоподобия.П р и м е р 8.
Пусть X1 , . . . , Xn — выборка объёма n из распределения Пуассона Πλ , где λ > 0. Найдём ОМП λ̂ для неизвестного параметра λ. Здесьfλ (y) = P(X1 = y) =λyy!e−λ ,y = 0, 1, 2, . . . ,поэтому функция правдоподобия равнаnYλXi −λλΣXi −nλλnX~ λ) =f (X;e = Qe= Qe−nλ .i=1Xi !Xi !Xi !Поскольку эта функция при всех λ > 0 непрерывно дифференцируемапо λ, можно искать точки экстремума, приравняв к нулю частную производную по λ. Но удобнее это делать для логарифмической функцииправдоподобия: nXnYλ−nλ~~Xi ! − nλ.L(X; λ) = ln f (X; λ) = ln Qe= nX ln λ − lnXi !i=1Тогда∂~ λ) = nX − n.L(X,∂λλТочку экстремума λ̂ = X находим как решение уравненияnXλ− n = 0.У п р а ж н е н и е . Проверить, что λ̂ = X — точка максимума, а не минимума.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
