2002. Теория вероятности и математическая статистика. Лектор - В.Г.Ушаков (1120051), страница 12

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 12)

Если же взять T(X) = max Xi, то оценкаокажется смещённой, хотя асимптотически она останется несмещённой. Покажем, что этаоценка имеет лучшую дисперсию, чем если бы выполнялись условия регулярности (позжепокажем, что эта оценка — оптимальная).t ≤ 0,0, nt n−1 t  nP(max X i < t ) =   , t ∈ (0,θ ], pmax X i (t ) =  θ n , t ∈ [0,θ ], θ 0,t ∉ [0,θ ].t >θ,1,θE max X i = ∫ t0nt n−1nn +1dt =θ ⇒Emax X i = θ ,nθn +1nследовательно, эта оценка — несмещённая. В то же времяE(max X i )2θ2nt n−1n 2n 2  n  2ndt =θ ⇒ D max X i =θ −= ∫t⋅θ 2 ,θ =2nn+2n+2θ(n + 2)(n + 1) n +102n +1nθ 2θ21(n + 1)max X i =~ 2,=22nn(n + 2)(n + 1) n(n + 2) n2Dследовательно, оценка лучше эффективной.

Такие оценки называются сверхэффективными ивозможны только в нерегулярных моделях.§5. Теорема Рао-Блекуэлла-Колмогорова. Оптимальность оценок,являющихся функцией полной достаточной статистикиТеорема 4 [К. Р. Рао, Д. Блекуэлл, А. Н. Колмогоров]. Пусть T(X) — достаточная статистика выборки X1, …, Xn.

Тогда если существует оптимальная оценка T1(X) для функцииτ (θ ), то T1(X) = ϕ (T(X)).Доказательство. Пусть T1(X) — некоторая несмещённая оценка функции τ (θ ). Обозначим T2(X) = Eθ (T1(X)|T(X)). Поскольку T(X) — достаточная статистика, T2(X) не зависит отθ. Из свойств условного математического ожидания получаем,Eθ T2(X) = Eθ (Eθ (T1(X)|T(X))) = Eθ T1(X),следовательно, T2(X) также является несмещённой оценкой τ (θ ). Далее, из равенстваT2(X) = Eθ (T1(X)|T(X)) ⇔ T2 (X ) = ∫ T1 (X (ω ))PT ( X (ω )) (dω )Ωи из теоремы Радона-Никодима следует, что существует такая измеримая функция ϕ, чтоT2(X) = ϕ (T(X)).Имеем следующую цепочку равенств:Dθ T1(X) = Eθ (T1(X) – τ (θ ))2 = Eθ (T1(X) – T2(X) + T2(X) – τ (θ ))2 == Eθ (T1(X) – T2(X))2 + 2Eθ ((T1(X) – T2(X))(T2(X) – τ (θ ))) + Dθ T2(X).Второе слагаемое полученного выражения равно нулю.

Действительно,Eθ ((T1(X) – T2(X))(T2(X) – τ (θ )) = Eθ (T1(X) – T2(X))T2(X) – τ (θ )Eθ (T1(X) – T2(X)) == Eθ T1 (X )T2 (X ) − Eθ T22 (X ) ,а поскольку Eθ (T1(X)|T(X)) измерима относительно σ (T(X)) — меры, порождаемой случайной величиной T(X),56Eθ T1 (X )T2 ( X ) = Eθ (T1 (X )Eθ (T1 (X )T (X ))) = Eθ (Eθ ((T1 (X )Eθ (T1 (X )T (X )))T (X ))) == Eθ (Eθ (T1 (X )T (X )))Eθ (Eθ (T1 (X )T (X ))) = Eθ T22 ( X ) ,*'')''( *'')''(T2 ( X )T2 ( X )утверждение верно (второе слагаемое равно нулю). Таким образом,Eθ (T1(X) – T2(X))2 ≥ 0 ⇒ Dθ T1(X) ≥ Dθ T2(X),причём равенство достигается тогда и только тогда, когда T1(X) – T2(X) = 0 с вероятностью 1.Теорема доказана.Теорема 5 [А.

Н. Колмогоров]. Пусть T(X) — полная достаточная статистика. Тогдаϕ (T(X)) оптимально оценивает τ (θ ) тогда и только тогда, когдаEθ ϕ (T(X)) = τ (θ ),То есть ϕ (T(X)) — несмещённая.Доказательство. Пусть T1(X) = ϕ1(T(X)) — несмещённая оценка τ (θ ) и T(X) — полнаядостаточная статистика. Предположим, что существует другая несмещённая оценка T2(X) == ϕ 2(T(X)). В этом случае для любого θEθ (ϕ1(T(X)) –ϕ 2(T(X))) = 0 ⇒ ϕ1(x) – ϕ 2(x) = 0 почти всюду по распределению.Откуда следует, что единственна T(X) = ϕ1(T(X)) ≡ ϕ 2(T(X)). Равномерная минимальностьдисперсии доказывается по аналогии с теоремой Рао-Блекуэлла-Колмогорова.Теорема доказана.Примеры.

1. X1, …, Xn ~ Pois(θ ). Оценим функцию τ (θ ) = θ 2. ФункцияnT (X ) = ∑ X i ~ Pois(nθ )i =1является полной достаточной статистикой. Обозначивn∑Xi= ξ , рассмотрим статистикуi =1T1 ( X ) =ξ (ξ − 1).ψ (n )Найдём функцию ψ (n) из условия несмещённости T1(X):ξ (ξ − 1)11n2 222 2Eθ(Eθ ξ − Eθ ξ ) = ψ (n) (n θ + nθ − nθ ) = ψ (n)θ ,=ψ (n ) ψ (n )откуда очевидно, что достаточно положить ψ (n) = n 2:21   n n 1Eθ T1 (X ) = 2 Eθ  ∑ X i  − Eθ  ∑ X i   = 2 n 2θ 2 + nθ − nθ = θ 2 .n   i=1  i=1   n()Следовательно, в силу теоремы Колмогорова T1(X) — оптимальная оценка τ (θ ) = θ 2.12. X1, …, Xn ~ Pois(θ ). Оценим функцию τ (θ ) = . ФункцияθnT (X ) = ∑ X i ~ Pois(nθ )i =1является полной достаточной статистикой.

Предположим, T1(X) — оптимальная оценка. Тогда в силу теоремы Колмогорова она является функцией полной достаточной статистикиT1(X) = ϕ (T(X)). Следовательно,57∞Eθ ϕ (T (X )) = ∑ ϕ (k )e −nθ(nθ )kk!k =0=∞∞1nknj∀θ > 0 ⇔ ∑ ϕ (k ) θ k +1 = e nθ = ∑ θ j ∀θ > 0 .θk!k =0j =0 j!В левой части последнего равенства стоит полином со свободным членом, равным нулю, а вправой части — со свободным членом, равным единице, причём эти полиномы тождественно1равны на положительной полуоси, что невозможно.

Таким образом, для функции τ (θ ) = вθданном случае не существует оптимальной оценки.§6. Метод моментовПусть X1, …, Xn — выборка с распределением F(x,θ ), где θ ∈ Θ ⊂ Rm. ОбозначимEθ X 1k = α k (θ ) .Предположим, что система уравнений α i1 (θ ) = Ai1 ,α (θ ) = A , i2i2i j ≠ il ⇐ j ≠ l%α im (θ ) = Aim ,однозначно разрешима, причём её решение даётся обратимыми функциями()() θ1 = ψ 1 Ai1 ,!, Aim ,%i j ≠ il ⇐ j ≠ l.θ = ψ A ,!, A ,mi1im mОценки, полученные таким способом называются точечными оценками, полученными методом моментов. Суть метода заключается в том, что выборочные моменты приравниваютсятеоретическим, откуда получаются значения параметров.

Сразу очевиден главный недостаток метода: если какие-либо моменты не существуют, то метод может оказаться не применим, например, параметр выборки, имеющей распределение Коши с плотностьюp(x,θ ) =1,2π 1 + (x − θ )()не может быть оценён этим методом, так как у случайной величины с распределением Кошиотсутствуют моменты всех порядков.Пример.

X1, …, Xn ~ U([θ1,θ2]).1 nθ1 + θ 2θ1 + θ 2A==,∑ Xi = X ,1 2n i=12⇒ 2θ 2 + θ1θ 2 + θ 22θ + θ1θ 2 + θ 221 nEθ X 12 = 1,  1= A2 = ∑ X i2 .33n i=1Eθ X 1 =Эта система эквивалентна следующейθ1 + θ 2 = 2 X ,2θ1θ 2 = 4 X − 3 A2 .θ1 и θ2 являются корнями уравнения t 2 − 2 Xt + 4 X 2 − 3 A2 = 0 и58θ = X − 3(A − X )2 ,θ1 = X − 3S 2 ,12⇔2θ 2 = X + 3S 2 ,θ 2 = X + 3(A2 − X ) ,Теорема 6.

Пусть θ1, …, θm являются непрерывными функциями от моментовθˆi = ψ i (Aj1 ,!, A jm ),i = 1,!, m .Тогда оценки, полученные методом моментов с моментами порядков j1, …, jm будут состоятельными и асимптотически несмещёнными.Доказательство. Согласно нашим предположениям система имеет единственное решение θˆi = ψ i Aj1 ,!, A jm , i = 1,!, m , причём ψi — непрерывные функции.

По усиленному за-()кону больших чисел ψi сходятся с вероятностью 1 к теоретическим моментам, а из непрерывности функций ψi отсюда следует, что оценки, получаемые методом моментов при n → ∞сходятся с вероятностью 1 к θi. Теорема доказана.Метод моментов даёт состоятельные оценки, но часто их эффективность и асимптотическая эффективность меньше единицы.§7. Метод максимального правдоподобия1°°.

Метод максимального правдоподобия. Пусть L(X,θ ) — функция правдоподобиявыборки X.Определение 1. Оценкой максимального правдоподобия θˆ(X ) параметра θ называетсятакое значение параметра, что()max L(X ,θ ) = L X ,θˆ(X ) .L(X,θ)θˆ(X )0θСправедливо локальное утверждение, что в точках, в которых плотность больше, достигаетсябольшее значение вероятности.

Таким образом, то, что наблюдается в эксперименте, наиболее вероятно при данном значении параметра.Примеры. 1. X 1 ,!, X n ~ N θ1 ,θ 22 , θ1 ∈ R, θ2 > 0,(L ( X ,θ 1 ,θ 2 ) =)(12π θ 2)n 1exp − 2 2θ 2n∑ (Xi =1i2− θ1 )  .Будем рассматривать функцию правдоподобия лишь на множестве, на котором она положительна (так как в нулях заведомо не будет максимума, поскольку для того, чтобы интегралравнялся единице, должна существовать хотя бы одна точка, в которой значение положительно). Возьмём логарифм функции правдоподобия:59nn1ln L(X ,θ1 ,θ 2 ) = − ln θ 22 − ln 2π − 2222θ 2n∑ (Xi =1− θ1 ) .2iВозьмём частные производные и приравняем их нулю (в данном случае корнями системыбудут максимумы): ∂ ln L 1 n ∂θ = θ 2 ∑ (X i − θ1 ) = 0,12 i =1 ln Ln ∂ 2 = − n 2 + 1 4 ∑ (X i − θ1 )2 = 0, ∂ θ 22θ 2 2θ 2 i=1( )(1)(2)n(1) ⇒ θ1 = 1 ∑ X i = X= θˆ1 (X ),n i=1n(2) ⇒ θ 22 = 1 ∑ (X i − X )2 = S 2 = θˆ2 (X ).n i =1Заметим, что θˆ1 (X ) и θˆ2 (X ) — достаточные статистики.x ≥ 0,1,2.

X1, …, Xn ~ U([θ1,θ2]), θ1 < θ2, H (x ) = x < 0,0,L ( X ,θ 1 ,θ 2 ) =1H (θ 2 − max X i )H (min X i − θ1 )(θ 2 − θ1 )nLmin Ximax Xiθ1θ2Функция правдоподобия по θ1 возрастает, а по θ2 — убывает, следовательно, оценками максимального правдоподобия являются θˆ1 = min X i , θˆ2 = max X i .Оценка максимального правдоподобия может быть не единственной:3. X1, …, Xn ~ U([θ,θ + 1]),L(X,θ ) = H(θ + 1 – max Xi)·H(min Xi – θ ).60L1max Xi – 1θmin XiВ этом случае оценкой максимального правдоподобия будет любое значение параметра, лежащее между max Xi – 1 и min Xi, то есть α·(max Xi – 1) + (1 – α)·min Xi, 0 ≤ α ≤ 1.

Если дополнительно потребовать несмещённость оценки, тоEθ T (X ) = θ ⇒ α =1.22°°. Свойства метода максимального правдоподобия.1) Если θˆ(X ) — оценка максимального правдоподобия θ и τ (θ ) — взаимно однозначная функция θ, то оценкой максимального правдоподобия функции τ (θ ) является функцияτ θˆ(X ) .2) Если существует достаточная статистика T(X), то оценка максимального правдоподобия есть функция T(X): θˆ(X ) = ϕ (T (X )).3) Критерий факторизации:()L(X ,θ ) = g (T (X ),θ )⋅ h&(X ) .*')'(константа по θ4) Если существует эффективная оценка параметра θ, то она совпадает с оценкой мак~~симального правдоподобия: ∃θ (X ) ⇒ θˆ(X ) = θ (X ) .

Действительно,~∂ ln L(X ,θ )θ (X ) − θ = an (θ )⋅∂θ∀θ .~Пусть теперь θ = θˆ(X ) — оценка максимального правдоподобия. Тогда θ (X ) − θˆ(X ) = an ⋅ 0 ,так как это точка, в которой достигается максимум функции правдоподобия.Определение 2. Последовательность случайных величин {ξn} асимптотически нормальна, если существуют такие an, bn ∈ R, чтоξ n − an⇒ ξ ~ N (0,1).bnНапример, если {ξn} удовлетворяет условиям центральной предельной теоремы и Sn == ξ1 + … + ξn, тоS n − ES n⇒ N (0,1) ,DS nследовательно, Sn — асимптотически нормальная последовательность.По аналогии оценка Tn(X) называется асимптотически нормальной, еслиTn (X ) − an (θ )⇒ N (0,1) .bn (θ )61Рассмотрим неравенство Рао-Крамера:Dθ Tn (X ) ≥U=(τ ′(θ ))2 ,Eθ U 2 (X ,θ )∂p (X 1 ,θ )∂ ln L(X ,θ ) n ∂ ln p (X i ,θ )=∑⇒ Eθ U 2 (X ,θ ) = nEθ= n ⋅ i (θ ) ,∂θ∂θ∂θi =1где i(θ ) — некоторая функция.Определение 3.

Оценка Tn(X) функции τ (θ ) называется асимптотически эффективной, еслиDθ Tn (X )⋅ ni (θ )n→1 .→∞(τ ′(θ ))2Пусть выполняются следующие два условия:1) функция правдоподобия удовлетворяет условиям регулярности для первых двух производных (условиям регулярности второго порядка),2) оценка максимального правдоподобия θˆ(X ) для всех θ существует, единственна идостигается во внутренней точке множества Θ.Тогда оценка максимального правдоподобия θˆ(X )a) асимптотически несмещена,b) состоятельна,c) асимптотически эффективна иd) асимптотически нормальна:()n ⋅ i (θ ) θˆ(X ) − θ ⇒ N (0,1) .§8.

Характеристики

Список файлов лекций