1625915145-5b3debabab98d9e994cc3a1bc8da0f5b (843876), страница 5
Текст из файла (страница 5)
Метод моментовДля дисперсии σ2 = DX1 у нас есть сразу две оценки:nn1 ∑1 ∑222S =(Xi − X) и S0 =(Xi − X)2 .nn−1i=1i=1Как показано в теореме 8 (с. 17), обе эти оценки состоятельны, и одна изних — несмещённая (которая?), а другая — асимптотически несмещённая.§ 2. Метод моментовРассмотрим некоторые стандартные методы получения точечных оценок. Метод моментов предлагает для нахождения оценки неизвестного параметра использовать выборочные моменты вместо истинных. Этот методзаключается в следующем: любой момент случайной величины X1 (например, k -й) является функцией от параметра θ. Но тогда и параметрθ может оказаться функцией от теоретического k -го момента.
Подставив в эту функцию вместо неизвестного теоретического k -го момента еговыборочный аналог, получим вместо параметра θ его оценку θ∗ .Пусть X1 , . . . , Xn — выборка объёма n из параметрического семейства распределений Fθ , где θ ∈ Θ ⊆ R. Выберем некоторую функциюg(y) : R → R так, чтобы существовал моментEg(X1 ) = h(θ)(3)и функция h была обратима в области Θ.Решим уравнение (3) относительно θ, а затем вместо истинного момента возьмём выборочный:()n)(∑1θ = h−1 (Eg(X1 )) ,θ∗ = h−1 g(X) = h−1g(Xi ) .ni=1Полученная таким образом оценка θ∗ называется оценкой метода моментов (ОММ) для параметра θ.Чаще всего в качестве функции g(y) берут g(y) = y k .
В этом случае()n)()(∑1Xik ,EX1k = h(θ), θ = h−1 EX1k , θ∗ = h−1 X k = h−1ni=1если, конечно, функция h обратима в области Θ.Можно сказать, что при построении оценки метода моментов мы берёмв качестве оценки такое (случайное) значение параметра θ, при которомистинный момент совпадает с выборочным.24ГЛАВА II.
ТОЧЕЧНОЕ ОЦЕНИВАНИЕЗ а м е ч а н и е 5. Если параметр θ = (θ1 , . . . , θk ) — вектор, а не скаляр и принимает значения в множестве Θ ⊆ Rk , то в качестве функции g берут вектор-функцию g(y) = (g1 (y), . . . , gk (y)). Тогда равенствоEg(X1 ) = h(θ) представляет из себя систему из k уравнений, котораядолжна быть однозначно разрешима относительно θ1 , . .
. , θk . Решая этусистему и подставляя вместо истинных моментов Egi (X1 ) выборочныемоменты gi (X), получают ОММ для θ1 , . . . , θk .П р и м е р 4. Пусть X1 , . . . , Xn — выборка объёма n из равномерного на отрезке [0, θ] распределения U0, θ , где θ > 0.Найдём оценку метода моментов θ∗1 по первому моменту, т. е. с помощью функции g(y) = y :EX1 =θ2θ∗1 = 2X.θ = 2EX1 ,,Найдём оценку метода моментов θ∗k по k -му моменту:∫θEX1k=1ykθdy =θkk+1√,θ=k(k + 1)EX1k ,0тогдаθ∗k√k= (k + 1)X k .(4)П р и м е р 5.
Пусть X1 , . . . , Xn — выборка объёма n из распределения Пуассона Πλ с параметром λ > 0. Введём новый параметрθ = θ(λ) = P(X1 = 1) = λ e−λи найдём ОММ для параметра θ с помощью функции g(y) = I(y = 1) :Eg(X1 ) = EI(X1 = 1) = P(X1 = 1) = λ e−λ = θ,n1 ∑I(Xi = 1).θ = I(X = 1) =n∗i=1Заметим, что найти оценку для параметра λ с помощью функцииg(y) = I(y = 1) нельзя: равенство Eg(X1 ) = λ e−λ не является однозначно разрешимым относительно λ в области λ > 0.
Оценку для параметраλ можно найти по первому моменту: EX1 = λ, поэтому λ∗ = X.()З а м е ч а н и е 6. Может случиться так, что θ∗ = h−1 g(X) ̸∈ Θ.В этом случае оценкуНапример, в качестве ОММ берут( корректируют.)−1ближайшую к h g(X) точку из Θ или из замыкания Θ.§ 3.
Свойства оценок метода моментов25П р и м е р 6. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na,1 с неотрицательным средним a ⩾ 0.Ищем оценку для a по первому моменту: EX1 = a, поэтому a∗ = X.Однако по условию a ⩾ 0, тогда как X может быть и отрицательно. Если X < 0, то в качестве оценки для a более подойдет 0.
Если же X > 0,в качестве оценки нужно брать X. Итого: a∗ = max{0, X} — «исправленная» оценка метода моментов.§ 3. Свойства оценок метода моментов()Т е о р е м а 9. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методу моментов, причём функция h−1 непрерывна. Тогдаоценка θ∗ состоятельна.Д о к а з а т е л ь с т в о. По ЗБЧ Хинчина имеемnp1 ∑g(X) =g(Xi ) −→ Eg(X1 ) = h(θ).ni=1Поскольку функция h−1 непрерывна, то и() pθ∗ = h−1 g(X) −→ h−1 (Eg(X1 )) = h−1 (h(θ)) = θ.Напомним, что для обратимой функции h : R → R непрерывность hи непрерывность h−1 равносильны.Если полученные разумным путём оценки обязаны быть состоятельными, то свойство несмещённости — скорее исключение, нежели правило.)(Действительно, несмещённость ОММ вида θ∗ = h−1 g(X) означалабы, что при всех θ ∈ Θ выполнено равенство()()Eh−1 g(X) = θ = h−1 (h(θ)) = h−1 Eg(X) .(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой.
В этомслучае из доказательства неравенства Йенсена можно сделать вывод (сделайте его!): между левой и правой частью в (5) равенство возможно,лишь если случайная величина g(X) вырождена либо если функция h−1линейна на множестве значений этой случайной величины и её математического ожидания.П р и м е р 7. Рассмотрим последовательность оценок для неизвестного параметра θ равномерного на отрезке [0, θ] распределения, полученную в примере 4, и исследуем напрямую их свойства.26ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕПроверим состоятельность всех оценок. По ЗБЧ Хинчинаp√kX k −→ EX1k =θkk+1при n → ∞.(k + 1)y непрерывна для всех y > 0, поэтому при n → ∞√√pkkθkθ∗k =(k + 1)X k −→ (k + 1)= θ.k+1√У п р а ж н е н и е .
Зачем нужна непрерывность функции k (k + 1)y ?Проверим несмещённость полученных оценок. По определениюФункцияE θ∗1 = E2X = 2EX = 2θ/2 = θ,т. е. оценка θ∗1 = 2X несмещённая. Рассмотрим оценку θ∗2 . Её математическое ожидание равно√∗E θ2 = E 3X 2 .Чтобы внести знак математического ожидания под корень, воспользуемся√неравенством Йенсена. Функция g(y) = y строго вогнута в областиy > 0, а случайная величина 3X 2 имеет невырожденное распределение.Поэтому (обратите внимание на знак !)√√√∗E θ2 = E 3X 2 < 3EX 2 = 3EX12 = θ.√∗Итак, оценка θ2 = 3X 2 — смещённая. Такими же смещёнными будути оценки θ∗k при всех k > 2 (докажите!).§ 4. Метод максимального правдоподобияМетод максимального правдоподобия — ещё один разумный способ построения оценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ,максимизирующее вероятность получить при n опытах данную выборку⃗ = (X1 , .
. . , Xn ). Это значение параметра θ зависит от выборки и явXляется искомой оценкой.Выясним сначала, что такое «вероятность получить данную выборку»,т. е. что́ именно нужно максимизировать. Вспомним, что для абсолютнонепрерывных распределений Fθ их плотность fθ (y) — «почти» (с точностью до dy ) вероятность попадания в точку y:P(X1 ∈ (y, y + dy)) = fθ (y) dy.§ 4. Метод максимального правдоподобия27А для дискретных распределений Fθ вероятность попасть в точку y равна Pθ (X1 = y).
В зависимости от типа распределения Fθ обозначим черезfθ (y) одну из следующих двух функций:{плотность fθ (y), если Fθ абсолютно непрерывно,fθ (y) =(6)Pθ (X1 = y),если Fθ дискретно.В дальнейшем функцию fθ (y), определённую в (6), мы будем называть плотностью распределения Fθ независимо от того, является ли этораспределение дискретным или абсолютно непрерывным.О п р е д е л е н и е 7. Функцияn∏⃗ θ) = fθ (X1 ) · fθ (X2 ) · . . . · fθ (Xn ) =f (X;fθ (Xi )i=1называется функцией правдоподобия. При фиксированном θ эта функцияявляется случайной величиной.
Функция (тоже случайная)⃗ θ) = ln f (X;⃗ θ) =L(X;n∑ln fθ (Xi )i=1называется логарифмической функцией правдоподобия.В дискретном случае при фиксированных x1 , . . . , xn значение функции правдоподобия f (x1 , . . . , xn , θ) равно вероятности, с которой выборка X1 , . . . , Xn в данной серии экспериментов принимает значенияx1 , . . . , xn .
Эта вероятность меняется в зависимости от θ :n∏f (⃗x; θ) =fθ (xi ) = Pθ (X1 = x1 ) · . . . · Pθ (Xn = xn ) =i=1= Pθ (X1 = x1 , . . . , Xn = xn ).В абсолютно непрерывном случае эта функция пропорциональна вероятности попасть «почти» в точку x1 , . . . , xn , а именно в «кубик» состоронами dx1 , . . . , dxn вокруг точки x1 , . . . , xn .О п р е д е л е н и е 8. Оценкой максимального правдоподобия (ОМП) θ̂для неизвестного параметра θ называют такое значение θ, при котором⃗ θ).достигается максимум функции f (X;З а м е ч а н и е 7.
Поскольку функция ln y монотонна, то точки мак⃗ θ) и L(X;⃗ θ) совпадают (обоснуйте!). Поэтомусимума функций f (X;оценкой максимального правдоподобия можно называть точку максиму⃗ θ).ма (по переменной θ ) функции L(X;28ГЛАВА II.
ТОЧЕЧНОЕ ОЦЕНИВАНИЕНапомним, что точки экстремума функции — это либо точки, в которых производная обращается в нуль, либо точки разрыва функции илиеё производной, либо крайние точки области определения функции.Смысл метода максимального правдоподобия состоит в следующем.Вероятность получить в n экспериментах выборку X1 , .
. . , Xn , описываемая функцией правдоподобия, может быть больше или меньше в зависимости от θ. Но выборка дана. Какое значение параметра следуетвыбрать в качестве оценки? Видимо, то, при котором вероятность получить эту выборку оказывается наибольшей. Поэтому в качестве оценкимаксимального правдоподобия и выбирается значение параметра θ, прикотором максимальна функция правдоподобия.П р и м е р 8.
Пусть X1 , . . . , Xn — выборка объёма n из распределения Пуассона Πλ , где λ > 0. Найдём ОМП λ̂ для неизвестного параметра λ. Здесьfλ (y) = P(X1 = y) =λyy!e−λ ,y = 0, 1, 2, . . . ,поэтому функция правдоподобия равна⃗ λ) =f (X;n∏i=1λX iXi !ΣXiλe−λ = ∏Xi !nXλe−nλ = ∏Xi !e−nλ .Поскольку эта функция при всех λ > 0 непрерывно дифференцируемапо λ, можно искать точки экстремума, приравняв к нулю частную производную по λ. Но удобнее это делать для логарифмической функцииправдоподобия:)( nXn∏λ−nλ⃗⃗e= nX ln λ − lnXi ! − nλ.L(X; λ) = ln f (X; λ) = ln ∏Xi !i=1Тогда∂⃗ λ) = nX − n.L(X,∂λλТочку экстремума λ̂ = X находим как решение уравненияnXλ− n = 0.У п р а ж н е н и е .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
