1612725170-875f1dc1af30a046ee4b954c4f0d36bd (828896), страница 6
Текст из файла (страница 6)
Построим для θn0 оценку g 0 (S) = θS0 = E(θn0 |S). В силу предыдущей теоремы, длялюбого θ ∈ Θ выполнено: δθS0 (θ) 6 δθn0 (θ). В частности, в точке θ0 :δθS0 (θ0 ) 6 δθn0 (θ0 ) < δθS∗ (θ0 ).Последнее неравенство противоречиво, так как по доказанному выше, оценки θS∗ и θS0 должнысовпадать почти всюду, а следовательно, должны совпадать их функции потерь. Таким образом, δθn0 (θ) = δθS∗ (θ) для всех θ ∈ Θ. Осталось показать, что оценки θn0 и θS∗ совпадают какотображения. Действительно,Eθ (θn0 − θS∗ )2 = Eθ (θn0 ± θ − θS∗ )2 = δθn0 (θ) + δθS∗ (θ) − 2Eθ (θn0 − θ)(θS∗ − θ) == δθn0 (θ) + δθS∗ (θ) − 2Eθ (θS∗ − θ)E((θn0 − θ)|S) == δθn0 (θ) + δθS∗ (θ) − 2Eθ (θS∗ − θ)(E(θn0 |S) − θ) == δθn0 (θ) + δθS∗ (θ) − 2Eθ (θS∗ − θ)(θS0 − θ) == δθn0 (θ) + δθS∗ (θ) − 2Eθ (θS∗ − θ)(θS∗ − θ) = 2δθS∗ (θ) − 2Eθ (θS∗ − θ)2 = 0.
Пример. Рассмотрим параметрическое семейство {πλ }λ>0 . Статистика S = nx являетсяполной и достаточной. Так как Eλ (x|nx) = x, то x будет единственной несмещенной оценкой.Следствие. Пусть θ̌n – полная достаточная оценка. Тогда θ̌n является единственной эффективной оценкой в классе Kb .Д ОКАЗАТЕЛЬСТВО .
Eθ (θ̌n |θ̌n ) = θ̌n . Следствие. Пусть для некоторого параметрического семейства распределений существуют полная достаточная статистика S, а также ОМП, которая имеет конечный второй момент для любого распределения из рассматриваемого параметрического класса. Тогда указанная ОМП будет единственной эффективной оценкой всоответствующем классе Kb .20Д ОКАЗАТЕЛЬСТВО . В качестве следствия факторизационной теоремы Неймана – Фишера мы уже отмечали, что θ̂n = g(S). Но в силу известных свойств условного математическогоожидания Eθ (θ̂n |S) = g(S) п.н.
Пример. Рассмотрим параметрическое семейство {U [0, θ]}θ>0 . Согласно следствию, ОМПθ. Очевидно также, чтоx(n) – единственная эффективная оценка в классе Kb , где bn (θ) = − n+1n+1∗оценка θn = n x(n) является единственной эффективной в классе K0 .Понятие R-эффективности.В этом разделе мы получим нижнюю оценку для функции потерь δθn∗ (θ) = Eθ (θn∗ − θ)2 впараметрическом семействе плотностей при некоторых условиях регулярности (R), которыеуточним позже.Теорема (неравенство Рао–Крамера). Пусть выполнены условия регулярности (R).Тогда для любой оценки θn∗ ∈ Kb = {θn∗ | Eθ∗ = θ + bn (θ)} справедливо неравенство0(1 + bn (θ))2δθn∗ (θ) >+ b2n (θ),nI(θ)0где I(θ) = Eθ (lx1 (θ))2 – информация Фишера (или информация о неизвестном параd0метре, содержащаяся в одном наблюдении;Z здесьZ lx (θ) = dθ log fθ (x)).→→−→ (θ)λn (d z ) = G(θ), где Ψ−→ (θ) –Д ОКАЗАТЕЛЬСТВО .
Имеем E θ∗ (X) = · · · θ∗ (−z )Ψ−θ nznzXnфункция правдоподобия, а λn – n-кратная продакт-мера. Продифференцируем G по параметру. Но для этого нам необходимы дополнительные ограничения. Например, для возможности дифференцирования можно потребовать, чтобы параметрическое семейство плотностей0было бы непрерывно дифференцируемым по параметру, и равномерно по θ ∈ (θ − ε, θ + ε)должно выполняться неравенство00→−→|L−z (θ )| 6 gθ,ε ( z )для каждого θ ∈ Θ и некоторого положительного ε = ε(θ), причемZZ→22 −n −→Egθ,ε (X) = · · · gθ,ε(→z )Ψ−z (θ)λ (d z ) < ∞.Вот эти условия и составляют (R). При этих условиях можно внести производную под знакинтеграла:dG(θ) =dθZZ···0→→n −→z )Ψ−θn∗ (−z (θ)λ (d z )Z=Xn···XnZ=ZZ···0Ψ−→ (θ)→→n −→z) zθn∗ (−Ψ−z (θ)λ (d z )→Ψ−z (θ)=0→→n −∗ 0→−→θn∗ (−z )L−z (θ)Ψ z (θ)λ (d z ) = Eθ (θn LX (θ)).XnОбоснование последнего равенства.
Применяя неравенство Коши – Буняковского и формулуконечных приращений, мы с помощью условий (R) получим для любого ∆ ∈ (θ − ε, θ + ε)ZZ→ (θ + ∆) − L−→L−z (θ)→n −→· · · θn∗ zΨ−z (θ)λ (d z )∆21sZ6Z···sZ→→n −→(θn∗ (−z ))2 Ψ−z (θ)λ (d z )Z···→2 −n −→gθ,ε(→z )Ψ−z (θ)λ (d z ) < ∞,так как мы рассматриваем только оценки с конечным вторым моментом:ZZ→→n −∗ 2→z ))2 Ψ−Eθ (θn ) = · · · (θn∗ (−z (θ)λ (d z ) < ∞.Тем самым, мы построили не зависящую от ∆ интегрируемую мажоранту для разностногоаналога производной.
Остается воспользоваться классической теоремой Лебега о мажорируемой сходимости, которая позволяет нам внести оператор дифференцирования (т. е. пределпо ∆) под знак интеграла.Далее, поскольку G(θ) = θ + bn (θ), тоd00→G(θ) = Eθ (θn∗ L−z (θ)) = 1 + bn (θ).dθЗаметим, что для вырожденной случайной величины ξ ≡ 10E1 = θ − θ + 1, b = 1 − θ, b = −1,000(θ) = 1 + bn (θ) = Eθ L−(θ) = 0. Тогда получаем пару тождествт. е. Eθ θn∗ L−→→zz(Eθ L0X (θ) = Eθ Eθn∗ L0X (θ) = 0,Eθ θn∗ L0X (θ) = 1 + b0n (θ),откуда (Eθ (θn∗ − Eθn∗ )L0X (θ))2 = (1 + b0n (θ))2 .
Применив к левой части этого тождества неравенство Коши – Буняковского (Eξη)2 6 Eξ 2 Eη 2 , получим(Eθ (θn∗ − Eθn∗ )L0X (θ))2 6 Dθn∗ · E(L0X (θ))2 .А так как EL0X (θ) = 0 и EL0X (θ) =nPi=1Elx0 i (θ), то у случайной величины L0X (θ) второй моментсовпадает с дисперсией. Дисперсия в классе независимых случайных величин аддитивна:DL0X (θ)=nXDlx0 i (θ) = nDlx0 1 (θ) = nI(θ).i=1В итоге получаем неравенствоDθ θn∗ >(1 + b0n (θ))2.nI(θ)Найдём связь между дисперсией и функцией потерь:δθn∗ = Eθ (θn∗ − θ ± Eθn∗ )2 = Dθn∗ + b2n (θ),так как соответствующий второй смешанный момент равен 0.
Заметим, что единственное неравенство в приведенном доказательстве появляется при использовании неравенства Коши – Буняковского. Равенство в нём возможно, когда либо ξ иη линейно связаны, либо по крайней мере одна из этих величин тождественно равна нулю(θn∗ ≡ const).Определение. Оценка θn∗ из класса Kb называется R-эффективной, если в неравенствеРао – Крамера достигается равенство.22Следствие. Для того, чтобы в неравенстве Рао – Крамера достигалось равенство,необходимо и достаточно, чтобы либо θn∗ ≡ const п.
н., либоL0X (θ) = cn (θ)(θn∗ − Eθn∗ ) п. н.,где cn (θ) – константа.Малосодержательный случай θn∗ ≡ const п. н. мы исключаем из рассмотрения. Тогда LX (θ) =An (θ)θn∗ + Bn (θ) + S(X), где An , Bn – новые константы, а S – некоторая статистика (т. е. независящая от параметра функция от выборки).
Потенциируя последнее равенство, получаем,что с необходимостью функция правдоподобия должна допускать следующую факторизацию:ΨX (θ) = exp{An (θ)θn∗ + Bn (θ)}h(X) п. н.,что является критерием R-эффективности.Отметим, что1. R-эффективная оценка θn∗ всегда будет достаточной.2. Правая часть в неравенстве Рао – Крамера зависит только от смещения b и параметрического семейства.3. Для регулярных параметрических семейств из R-эффективности следует эффективность (обратное, вообще говоря, не верно).Пример. Рассмотрим параметрическое семейство распределений Пуассона {Πλ }.
Мы знаем, что x – эффективная оценка в K0 . Функция правдоподобияλnxΨX (λ) = Q e−nλ = exp nx log λ − nλh(x).xi !Тогда x является R-эффективной по критерию. Проверим R-эффективность по определению.Имеем:λ, I(λ) = Dlx0 1 (λ),nx1⇒ lx0 1 (λ) = − 1 ⇒ Dlx0 1 (λ) = .λλθn∗ = x ⇒ δx (θ) = Dx =λx −λfλ (x) = ex!Таким образом, в неравенстве Рао – Крамера достигается равенство.Пример. Рассмотрим нормальное распределение {N(α,1) }. Оценка x является эффективной в классе K0 .
Функция правдоподобия1X11122exp −exp − (−2xα + nα ) h(x).ΨX (α) =(xi − α) =(2π)n/22(2π)n/22Итак, и для этого параметрического семейства x – R-эффективная оценка.Контрпример. Для показательного распределения {Eα }(αe−αx , x > 0,fα (x) =0, x < 0.Функция правдоподобияn −αnxΨX (α) = α e= exp{−αnx + n log α} = exp −αn231+ n log α .(1/x)Значит, оценка α̂n = 1/x не является R-эффективной, хотя является эффективной в соответствующем классе Kb .Упражнение. Проверить по определению, что оценка α̂n не является R-эффективной (напомним, что если xi имеет распределение Eα , то nx имеет распределение Γn,α ).Связь R-эффективных оценок с ОМП.Теорема.
При выполнении условий регулярности (R) если θn∗ – R-эффективная оценка в классе K0 , то она совпадает с ОМП: θn∗ = θ̂n .1Д ОКАЗАТЕЛЬСТВО . Так как θn∗ ∈ K0 , то Dθ θn∗ = Eθ (θn∗ − θ)2 = nI(θ). При этом согласноследствию имеет место представлениеL0X (θ) = c(θ)(θn∗ − θ).(1)Так как bn (θ) = 0, то b0n (θ) = 0. Тогда из доказательства неравенства Рао – Крамера имеемEθ (θn∗ − θ)L0X (θ) = 1.(2)Подставляя (1) в (2), получаем c(θ)E(θn∗ − θ)2 = 1. Стало быть, коэффициент c(θ) положителен, т. е.
L0X меняет знак с плюса на минус при переходе через точку θ = θn∗ . Таким образом,точка θn∗ доставляет максимум логарифмической функции правдоподобия. Значит, θn∗ = θ̂n . Байесовский подход к построению оценок. Байесовскиеоценки.До сих пор в качестве критерия точности оценки мы рассматривали функцию потерьδθn∗ (θ) = Eθ (θn∗ − θ)2 .При достаточно широких условиях мы построили оценки, для которой функция потерь является нижней огибающей для всех функций потерь из некоторого класса.
Но для построенияэтой оценки необходимым условием является полнота, а это условие трудно проверить.Идея Байеса состоит в сравнении усредненных (или взвешенных) функций потерь.Определение. Пусть на параметрическом множестве (Θ, F) задана конечная мера Q(·).Тогда усредненная функция потерь есть интегралZ∗δQ (θn ) =δθn∗ (θ) Q(dθ).Θ∗∗∗∗∗Определение. Оценка θn,1«лучше» θn,2(θn,1≺ θn,2) относительно меры Q, если δQ (θn,1)<∗δQ (θn,2).Достоинством данного подхода является то, что в классе всех оценок с двумя конечнымимоментами (это самый широкий из классов, которые мы можем рассматривать) существует оптимальная оценка, минимизирующая усредненную функцию потерь.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
