Аркашов Н.С. - Высшая математика. Теория вероятностей и математическая статистика (1275646), страница 18
Текст из файла (страница 18)
Среди несмещенных оценокнаилучшая оценка параметра для заданного параметрического семействаможет существовать. Ее называют эффективной оценкой. Эффективнаяоценка имеет наименьшую дисперсию из всех несмещенных оценок.К сожалению, такое определение эффективной оценки непригодно дляпрактического использования, так как для проверки оптимальности однойоценки требуется сравнивать дисперсии всех оценок всех несмещенныхоценок.
Поэтому желательно иметь критерий, позволяющий проверятьоптимальность оценки на основании характеристик распределения толькоэтой оценки. Один из таких критериев основан на неравенстве РаоКрамера, которое сформулировано ниже.Для формулировки точного результата введем дополнительноеусловие. Пусть функция распределения F (t, θ) рассматриваемой моделиимеет плотность или ряд распределения, которые мы, как и прежде,обозначаем одинаково: f (t, θ)). Будем предполагать, что функцияf (t, θ) удовлетворяет некоторым аналитическим условиям, которые будемназывать условиями регулярности (условия (R)), и суть которыхзаключается в возможности менять порядок дифференцирования поθи интегрирования по~xфункции правдоподобияΠ(~x, θ),соответствующей f (t, θ). Точная формулировка этих условий довольносложна, приведемp в качестве примера условие из [1], достаточное для(R): функцияf (t, θ) дифференцируема по θ ∈ Θ, и функция i(θ),называемая информацией по Фишеру и определяемая равенством2∂ ln f (Xi , θ),(12.7)i(θ) = E∂θсуществует, строго положительна и непрерывна по θ для всех θ ∈ Θ.116Примером модели, для которой не выполнены условия регулярности,~ ⊂является модель X= U[0; θ] , θ > 0.Теорема 12.2.
(Неравенство Рао-Крамера.)~ ⊂Пусть X= F (t, θ), θ ∈ Θ, выполнены условия регулярности. Тогда длялюбой несмещенной оценки θ̃ параметра θ выполняется неравенство:Dθ̃ ≥1.ni(θ)(12.8)Если для некоторой несмещенной оценки θ̌ окажется, что ее дисперсиясовпадает с правой частью неравенства Рао-Крамера (говорят, что дляэтой оценки в неравенстве Рао-Крамера достигается равенство), то оценкаθ̌ является эффективной, так как для любой другой несмещенной оценкиθ̃ неравенство (12.8) продолжает выполняться и, следовательно, Dθ̃ ≥ Dθ̌для всех θ ∈ Θ.§ 12.3.Решение типовых примеровПример 12.1. В условиях примера 11.4 найти ОМП неизвестногопараметра λ.Решение. Для распределения Пуассона Πλ ряд распределения имеетвид:λtf (t, λ) = P(Xi = t) = e−λ .t!Искомая оценка должна быть решением уравнения правдоподобия (12.3)или (12.4).
Для решения этого уравнения вычислим последовательно:f (Xi , λ) = e−λλXi,Xi !ln f (Xi , λ) = −λ + Xi ln λ − ln(Xi !),d1ln f (Xi , λ) = −1 + Xi ,dλλnnXd1X1ln f (Xi , λ) = −n +Xi = −n + nX.dλλλi=1i=1Тогда уравнение (12.4) и его решение имеют вид:−n +1nX = 0 ⇐⇒ λ = X.λ117Заметим, чтоправдоподобиявтораяпроизводнаялогарифмическойфункцииd21ln Π(λ) = − 2 nX < 0dλ2λ~ ⊂при всех λ, так как при нашем предположенииX= Πλвсеэлементы выборки X1 , X2 , ..., Xn , а значит, и выборочное среднееX, с вероятностью единица неотрицательны.
Значит, найденное решениеλ=X уравнения правдоподобия является единственной точкоймаксимума функций Π(λ) и ln Π(λ), а следовательно, статистика λ̂ =X является ОМП параметра λ.~ ⊂Пример 12.2. Пусть X= U[0,θ] , где θ > 0.параметра θ.Найти ОМП дляРешение.Найдем функцию правдоподобия, соответствующую~ из равномерного распределениявыборке XU[0,θ] . Плотностьраспределения закона U[0,θ] при t = Xi равна:f (Xi , θ) =если Xi ∈ [0, θ],если Xi ∈/ [0, θ]1θ,0,(12.9)Тогда функция правдоподобия вычисляется следующим образом:~ θ) =Π(θ) = Π(X,nYi=1f (Xi , θ) =1θn ,0,если Xi ∈ [0, θ] для всех i = 1, 2, ..., n;иначе.Это соотношение можно переписать в следующих равносильныхформах:( 1 1max Xi ≤ θ;θn , если 1≤i≤nθn , если θ > X(n) ;Π(θ) =⇐⇒ Π(θ) =0, иначе.0, иначе.~ θ) позволяет легко изобразитьПоследнее задание функции Π(θ) = Π(X,ее график (см.
рис. 12.1). Из графика видно, что своего наибольшегозначения функция Π(θ) достигает при θ = X(n) . Следовательно, оценка~ = X(n) .максимального правдоподобия имеет вид: θ̂(X)Пример 12.3. В условиях примера 11.5 найти ОМП неизвестногопараметра θ = (θ1 , θ2 ).118Решение.Найдем функцию правдоподобия, соответствующую~ из равномерного распределения U[θ ,θ ] . Так как плотностьвыборке X1 2распределения закона U[θ1 ,θ2 ] при t = Xi равнаf (Xi , θ) =1θ2 −θ1 ,0,если Xi ∈ (θ1 , θ2 ),если Xi ∈/ [θ1 , θ2 ],то функция правдоподобия представляется в видеΠ(θ1 , θ2 ) =nYp(Xi , θ) =1(θ2 −θ1 )n ,если θ2 ≥ X(n) , θ1 ≤ X(1) ;иначе.i=1Или по-другому:Π(θ1 , θ2 ) =0,1(θ2 −θ1 )n ,0,если всеXi ∈ [θ1 , θ2 ];иначе.(12.10)Из последнего равенства видно, что функция правдоподобия отличнаот нуля (более того, строго положительна) лишь при значениях (θ1 , θ2 ),удовлетворяющих неравенствам:θ1 ≤ X(1) ≤ X(n) ≤ θ2 .Значит, своего наибольшего значения функция Π(θ1 , θ2 ) достигает лишьпри таких (θ1 , θ2 ).
Однако при таких значениях (θ1 , θ2 ) разность (θ2 − θ1 )принимает свое наименьшее значение (X(n) − X(1) ) при θ2 = X(n) ,θ1 = X(1) . А значит, в силу (12.10), функция Π(θ1 , θ2 ) принимает своенаибольшее значение при тех же значениях (θ1 , θ2 ), то есть искомая ОМПимеет вид: θˆ2 = X(n) , θˆ1 = X(1) .~ ⊂Пример 12.4. Пусть X= U[0; θ] , θ > 0. Сравнить с помощьюсреднеквадратического подхода оценки параметра θ : θ∗1 = 2X и θ̂ = X(n) .Решение.Проверим сначала свойство несмещенности обеихоценок. Вычисляем математические ожидания, используя результатыпредыдущего параграфа (см.
решение примера 11.2):Eθ∗1 = E(2X) = 2EX = 2θ= θ,2Eθ̂ = EX(n) =nθ.n+1Видим, что из двух оценок θ∗1 = 2X является несмещенной, а θ̂ =X(n) — смещенной. Чтобы выяснить, какая из оценок лучше, вычислим119для каждой квадратичную характеристику. Для несмещенной оценки онасовпадает с дисперсией:E(θ∗1 − θ)2 = Dθ∗1 = D(2X) = 4Dnn1X1 XXi = 4 2Dθ Xi =n i=1n i=114 θ2θ2nDθ X1 ==.(12.11)2nn 123nПри вычислении квадратичной характеристики оценки θ̂n = X(n) мыбудем использовать плотность ее распределения, найденную при решениипримера 11.2.=4E(X(n) − θ) =22EX(n)=− 2θEX(n) + θ =2Zθ0y2ny n−1nθdy − 2θ+ θ2 =θnn+1n2n 22θ2θ2 −θ + θ2 =.n+2n+1(n + 1)(n + 2)(12.12)Сравнивая квадратичные характеристики, вычисленные в (12.11) и(12.12), видим, чтоθ22θ2≥3n(n + 1)(n + 2)для всех θ > 0 и для всех n ≥ 1.Следовательно, ОМП θ̂ = X(n) лучше в среднеквадратичном, чемОММ θ∗1 = 2X.Пример 12.5.
Исследовать с помощью неравенства Рао-Крамераоптимальность оценки X в моделях:~ ⊂а) X= E 1θ , θ > 0;~б) X ⊂= Πλ , λ > 0.Решение.а) Вычислим дисперсию оценки, применяя свойствадисперсии и учитывая, что DXi = θ2 :Dθ∗ = DX = Dnn1X1 X1θ2Xi = 2DXi = 2 nDX1 = .n i=1n i=1nn(12.13)Найдем правую часть неравенства Рао-Крамера для рассматриваемоймодели, для этого вычислим последовательно:f (Xi , θ) =1 − XiXi ∂ ln f (Xi , θ)1 Xie θ ; ln f (Xi , θ) = − ln θ −;=− + 2;θθ∂θθθ120i(θ) = E∂ ln f (Xi , θ)∂θ=2221 XiXi − θ=E − + 2=E=θθθ21DXiθ212E(X−θ)=== 2;i444θθθθ1θ2= .ni(θ)n(12.14)Сравнивая (12.13) и (12.14), видим, что для оценки θ∗ = X в неравенствеРао-Крамера достигается равенство, следовательно, она эффективна.б) Прежде всего вспомним, что для распределения Пуассона Πλматематическое ожидание и дисперсия равны EXi = λ, DXi = λ.
Тогдадисперсия нашей оценки равна:nn1X1 X1λDλ = DX = DXi = 2DXi = 2 nDX1 = .n i=1n i=1nn∗(12.15)Аналогично пункту а), вычисляем правую часть неравенства Рао-Крамера:∂ ln f (Xi , λ)XiλXi; ln f (Xi , λ) = −λ+Xi ln λ−ln(Xi !);= −1+ ;Xi !∂λλ222∂ ln f (Xi , λ)XiXi − λi(λ) = E=E−1 =E=∂λλλf (Xi , λ) = e−λ=1E(Xi − λ)2 =λ21=ni(λ)11DXi = ;λ2λλ.n(12.16)Сравнивая (12.15) и (12.16), видим, что для оценки λ∗ = X в неравенствеРао-Крамера достигается равенство, следовательно, она эффективна.§ 12.4.Задачи для самостоятельного решения12.1 По выборке (X1 , .
. . , Xn ) из бернуллиевского распределения Bp снеизвестным параметром p ∈ (0; 1) построить оценку параметра p методоммаксимального правдоподобия. (Указание: показать, что вероятностьпопадания в точку t для элементов выборки равна f (t, p) = pt (1 −p)1−t , где t может принимать только два значения: 0 и 1). Исследовать121состоятельность и несмещенность полученной оценки.12.2 По выборке (X1 , . . . , Xn ) из биномиального распределенияBm,p построить оценку максимального правдоподобия параметра p приизвестном m > 0.
Исследовать состоятельность и несмещенность оценки.12.3 По выборке из показательного распределения Eα построитьоценку максимального правдоподобия параметра α > 0. Исследоватьсостоятельность оценки.12.4 Построить оценку максимального правдоподобия по выборке израспределения Парето с плотностью θ, t ≥ 1,tθ+1.fθ (t) =0,t<1Доказать состоятельность полученной оценки.12.5 По выборке (X1 , . . . , Xn ) из распределения Лапласа с плотностьюfλ (t) = λ2 e−λ|t| ,t ∈ R, построить оценку параметра λ > 0 методоммаксимального правдоподобия.12.6 Пусть дана выборка из нормального распределения с параметрами αи σ2 .
Используя метод максимального правдоподобия, построить оценкиа) неизвестного математического ожидания α;б) неизвестной дисперсии σ2 , если α известно;в) неизвестной дисперсии σ2 , если α неизвестно.Исследовать полученные оценки на несмещенность и состоятельность.12.7 Используя метод максимального правдоподобия, оценить параметр θравномерного распределения на отрезкеа) [−θ; θ], θ > 0; б) [θ; θ + 1].Исследовать полученные оценки на несмещенность и состоятельность.12.8 С помощью метода максимального правдоподобия построить оценкупараметра θ > 0, если распределение выборки имеет плотностьа) θtθ−1 при t ∈ [0; 1]; б) 2t/θ2 при t ∈ [0; θ].Исследовать полученные оценки на состоятельность.12.9 Дана выборка из распределения с плотностью 2 −33t θ , t ∈ [0; 1],fθ (t) =0,t 6∈ [0; 1].Найти оценку параметра θ > 0 методом максимального првдоподобия,исследовать ее на несмещенность и состоятельность.12.10 По выборке (X1 , .
. . , Xn ) методом максимального правдоподобиянайти оценку параметра p ∈ (0, 1), если известно, чтоP {X1 = 1} = p/2, P {X1 = 2} = p/2, P {X1 = 3} = 1 − p.122Будет ли полученная оценка несмещенной и состоятельной?12.11 По реализации ~x = (4; 5; 2) выборки из равномерного распределенияна отрезке [0; θ] найти реализации оценок параметра θ, предложенных впримере 11.2.12.12 По реализации ~x = (0; 2; 0; 3) выборки из распределения Пуассонас параметром λ > 0 найти реализации оценок параметра λ по первому ивторому моментам, и оценки максимального правдоподобия.12.13 По реализации ~x = (−2; 3; 4; −2; 1) выборки из равномерногораспределения на отрезке [θ1 ; θ2 ] найти реализации оценок параметров,предложенных в примере 11.5, и оценки максимального правдоподобия изпримера 12.4.~ ⊂12.14 Дана выборка X= U[0,θ] , θ > 0 — неизвестный параметр.Сравнить, какая из оценок для параметра θ лучше в среднеквадратичном:θ∗1 = 2X, θ∗2 = n+1n X(n) .~ ⊂12.15 Пусть X= F (t, θ), где θ = Eθ X1 , DX1 < ∞.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
