1612725170-875f1dc1af30a046ee4b954c4f0d36bd (828896), страница 4
Текст из файла (страница 4)
Далее мы еще вернемся к этому вопросу.10Состоятельность ОМП.Пусть {f (θ)}θ∈Θ – параметрическое семейство плотностей относительно σ-конечной меры λ(·), а lxi (θ) = log fθ (xi ). Обозначим через θ0 истинное значение параметра наблюдаемогораспределения. Bведем в рассмотрение функцию ϕ(θ) = Eθ0 lx1 (θ), где θ ∈ Θ. При условиисуществования функции ϕ(θ) для каждого θ ∈ Θ исследуем её свойства. Сформулируем условия, в рамках которых будут доказаны последующие утверждения.Условия (A):1. (Θ, d) – метрический компакт с метрикой d.2.
Параметрическое семейство плотностей находится во взаимно-однозначном соответствии с параметрическим множеством Θ.(fθ1 (x) = fθ2 (x) почти всюду относительно σ−конечной меры λ ⇔ θ1 = θ2 ).3. Носители всех распределений из параметрического семейства не зависят от θ (т. е. suppfθодин и тот же для всех распределений).Лемма. Пусть выполнены условия (A). Тогда ϕ(θ) < ϕ(θ0 ) для всех θ 6= θ0 .Д ОКАЗАТЕЛЬСТВО . Обозначим X = suppfθ0 . Оценим сверху разностьZZϕ(θ) − ϕ(θ0 ) = fθ0 (z̄) log fθ (z̄) λ(dz̄) − fθ0 (z̄) log fθ0 (z̄) λ(dz̄) =XZ=Xfθ (z̄)λ(dz̄) =fθ0 (z̄) logfθ0 (z̄)Zfθ0 (z̄) log f (z̄)θ± 1 λ(dz̄) =fθ0 (z̄)XXZ= f (z̄)θfθ0 (z̄) log 1 +− 1 λ(dz̄).fθ0 (z̄)XТак как log(1 + x) 6 x для всех x > −1 и знак равенства возможен только при x = 0, тоZZZfθ (z̄) ϕ(θ) − ϕ(θ0 ) 6 fθ0 (z̄) −1 +λ(dz̄) = fθ (z̄) λ(dz̄) − fθ0 (z̄) λ(dz̄) = 1 − 1 = 0.fθ0 (z̄)XXXВ силу второго пункта условий (A) и условий теоремы, неравенство будет строгим.
Замечание. Если множество Θ является метрическим компактом, то единственный абсолютный экстремум функции ϕ будет отделимым (это легко доказывается от противного), т. е.при любом δ > 0sup ϕ(θ) < ϕ(θ0 ).θ: d(θ,θ0 )>δЭто обстоятельство является очень важным для доказательства состоятельности ОМП.(n)Определение. Величину LX (θ) = n1 LX (θ) будем называть нормированной логарифмической функцией правдоподобия. Так как умножение на константу есть монотонное преобразование, то экстремальные точки этой функции совпадают с экстремальными точкамилогарифмической функции правдоподобия, а значит, и самой функции правдоподобия.Лемма.
Пусть выполнены условия (A), и lx (θ) ∈ Lip(K(x)), где Eθ K(x1 ) < ∞. Тогда(n)sup |LX (θ) − ϕ(θ)| −−→ 0 при n → ∞.θ∈Θп.н.11Замечание. Процесс доказательства полностью аналогичен доказательству обобщеннойтеоремы Гливенко – Кантелли.(n)Д ОКАЗАТЕЛЬСТВО . Отметим, что для каждого θ выполнено LX (θ) −−→ ϕ(θ) в силу УЗБЧ.п.н.Пусть ε > 0. Так как параметрическое множество Θ является метрическим компактом, то длякаждого ε > 0 в Θ существует конечная ε-сеть. Пусть { θi | i 6 N (ε) } – совокупность всехузлов ε-сети, Si (ε) = { θ ∈ Θ | d(θ, θi ) 6 ε } – замкнутый шар радиуса ε с центром θi .
Совокупность всех Si (ε) образует конечное покрытие Θ. Поэтому(n)(n)sup |LX (θ) − ϕ(θ)| = max sup |LX (θ) − ϕ(θ)|.i6N (ε) θ∈Si (ε)θ∈ΘЗаметим, что(n)(n)(n)sup |LX (θ) − ϕ(θ)| = sup |LX (θ) ± LX (θi ) ± ϕ(θi ) − ϕ(θ)| 6θ∈Si (ε)θ∈Si (ε)(n)(n)(n)6 sup |LX (θ) − LX (θi )| + sup |ϕ(θi ) − ϕ(θ)| + |LX (θi ) − ϕ(θi )|.θ∈Si (ε)θ∈Si (ε)Всмомним, что lx (θ) ∈ Lip(K(x)), поэтому |lx (θ1 ) − lx (θ2 )| 6 K(x)d(θ1 , θ2 ). Оценим первоеnnPP(n)(n)слагаемое: sup |LX (θ) − LX (θi )| = sup | n1(lxj (θ) − lxj (θi )| 6 sup |d(θ, θi ) n1K(xj )|.θ∈Si (ε)θ∈Si (ε)j=1j=1θ∈Si (ε)В последнем выражении под знаком модуля стоит величина1nnPK(xj ) – среднее арифмети-j=1ческое независимых одинаково распределенных случайных величин с конечным первым моnP(n)(n)ментом. Тогда lim sup sup |LX (θ) − LX (θi )| = lim sup | n1 εK(xi )| = εEθ0 K(x1 ).
Оценкаn→∞второго слагаемого:n→∞θ∈Si (ε)j=1sup |ϕ(θi ) − ϕ(θ)| = sup |Eθ0 (lx1 (θ) − lx1 (θi ))| 6 sup Eθ0 |lx1 (θ) − lx1 (θi )| 6θ∈Si (ε)θ∈Si (ε)θ∈Si (ε)6 Eθ0 K(x1 ) sup d(θ, θi ) 6 εEθ0 K(x1 ).θ∈Si (ε)Первое неравенство в этой цепочке – следствие применения неравенства треугольника, второе – монотонности математического ожидания.
Таким образом, ϕ ∈ Lip(Eθ0 K(x1 )) иlim sup sup |ϕ(θi ) − ϕ(θ)| 6 εEθ0 K(x1 ).n→∞θ∈Si (ε)(n)В силу УЗБЧ имеем lim sup |LX (θi ) − ϕ(θi )| = 0. В итоге:n→∞(n)lim sup sup |LX (θ) − ϕ(θ)| 6 2εEθ0 K(x1 ).n→∞θ∈Si (ε)Так как левая часть неравенства не зависит от ε, лемма доказана. Теорема (Сильная состоятельность ОМП). Пусть выполнены условия (A), и lx (θ) ∈∈ Lip(K(x)), где Eθ K(x1 ) < ∞.
Тогда ОМП сильно состоятельна, т. е. θb −−→ θ0 .п.н.Упражнение. Доказать теорему самостоятельно методом от противного, используя двепредыдущие леммы.12Пример. Рассмотрим параметрическое семейство пуассоновских распределений с параметром λ, отделенным от нуля, т. е. {πλ }λ>δ>0 . Тогда lx (λ) = x log λ − λ − log x!. Заметим, чтофункция lx (t) липшицева при t ∈ Θ, если sup |lx0 (t)| < ∞. В нашем случае | λx − 1| = | xδ − 1| =t∈Θ= K(x). Таким образом, Eλ K(x) существует, и значит, выполняются условия теоремы.Пункт 3 условий (A) является техническим ограничением и может быть существенно ослаблен.
Отметим, что параметрическое семейство {U [0, θ]}θ>0 не удовлетворяет этому условию.Сравнение оценок.Для одного и того же параметра можно построить бесконечное число оценок. Например,для семейства {U[0,θ] }θ>0 ,была построена последовательность оценок по методу моментов:∗θnk= ((k + 1)xk )1/k , k ∈ N. Кроме того, методом максимального правдоподобия мы построили оценку θbn = X(n) . Причем, все эти оценки сильно состоятельные. Какую же оценку изэтого счетного набора предпочесть?Введем в рассмотрение так называемую функцию потерь:δθn∗ (θ) = Eθ (θn∗ − θ)2 ,где Eθ обозначает математическое ожидание, вычисленное при условии, что θ – истинное значение параметра наблюдаемого распределения.
Если мы находимся в рамках параметрического семейства плотностей {fθ }θ∈Θ , то можно записать функцию потерь более подробно:ZZδθn∗ (θ) = · · · (θn∗ (z̄) − θ)2 Ψz̄ (θ)λn (dz̄).XnВеличина функции потерь и будет критерием качества (или точности) выбираемых оценок.∗∗∗ (θ1 ) < δθ ∗ (θ1 ).в точке θ1 , если δθn,1«лучше» оценки θn,2Определение. Оценка θn,1n,2∗∗, если при всех θ«лучше» оценки θn,2Определение.Оценка θn,1∗ (·) ≤ δθ ∗ (·).δθn,1n,2и хотя бы для одного θ неравенство будет строгим.Заметим, что второе определение употребляется чаще, но не всегда применимо, посколькудве функции потерь могут быть несравнимы. Наша цель – указать по возможности более широкий класс оценок, в котором возможно отыскать оценку с минимальной функцией потерь.Другими словами, график этой функции должен быть нижней огибающей для функций потерьвсех оценок из рассматриваемого класса.Определение.
Оценка называется несмещенной, если Eθ θn∗ = θ, ∀θ ∈ Θ. Если θn∗ =θ + bn (θ), то оценка называется смещенной, а bn – ее смещением.Для несмещенной оценки δθn∗ (θ) = Dθn∗ .Заметим, что понятие несмещенности и состоятельности не связаны. Например, для пуассоновского семейства распределений {πλ } примером несмещенной оценки является θn∗ = x1 , при этом, очевидно, здесь нет никакой состоятельности.Пример. Сравним оценки θn∗ = 2X и θn∗ = x(n) для параметра θ равномерного распределения на отрезке [0, θ], θ > 0.
Для первой оценкиEθ θn∗ = 2Eθ X =2θnEx1 = 2 = θ.n213Следовательно, оценка несмещенная. Значит, функция потерь для этой оценки совпадает сдисперсией.Упражнение. Показать, что оценка θbn = x(n) смещенная и вычислить ее смещение.Вернемся к нашему примеру и найдем функции потерь для обеих оценок: 2 !44θ4 θ2 θ24 θ2θ242Ex1 −=−==.δθn∗ (θ) = D(2X) = 2 nDx1 = Dx1 =nnn2n 34n 123nТак как Fx(n) =t n,θто px(n) =ZθδX(n) (θ) =nθt n−1,θи мы получаем(t − θ)2 pX(n) (t) dt =0Zθ(t2 − 2θt + θ2 )ntn−1dt,θn0откуда следуетnδx(n) (θ) = nθθn+22θn+2 θn+2−+n+2 n+1n=θ2.(n + 1)(n + 2)Сравнивая функции потерь, мы делаем вывод, что ОМП на порядок точнее (по n) для данногопараметрического класса распределений.
Заметим, что при k 6= 1 нельзя явно найти функциюпотерь для оценки по методу моментов, так как выражение!2ZZ rX11kz1k − θ(k + 1)dz̄···nθn[0,θ]nне считается в явном виде.Асимптотически нормальные оценки.Определение. Оценка θn∗ называется асимптотически нормальной (АНО), если приn→∞√ ∗n(θn − θ) ⇒ η ∈ N (0, σ)для некоторого σ. Эквивалентным определением будет√ ∗n(θn − θ)⇒ η0 ∈ N (0, 1),σгде σ(θ) называется коэффициентом рассеивания или коэффициентом асимптотической нормальности.Упражнение.
Показать, что любая АНО будет состоятельной.Напомним, что нами была доказана теорема о том, что из слабой сходимости ξn ⇒ ξ приусловии, что supn E|ξn |I(|ξn | > N ) → 0 при N → ∞ (условие равномерной интегрируемости)вытекает сходимость моментовEξn → Eξ.Следовательно, если последовательность ξn = n(θn∗ −θ)2 удовлетворяет условию равномернойинтегрируемости и θn∗ – АНО, то мы получим ξn ⇒ η 2 , где η ∈ N (0, σ). Тогда при выполненииуказанных условийnδθn∗ (θ) = Eθn (θn∗ − θ)2 → Eη 2 = σ 2 .14Это означает, что при n → ∞ имеет место следующая эквивалентность:δθn∗ (θ) ∼σ 2 (θ).nПоэтому естественным представляется следующее правило сравнения оценок:∗∗∗∗Определение.
Пусть θn,1и θn,2– две АНО. Тогда θn,1«лучше» θn,2, если для любого θσ1 (θ) ≤ σ2 (θ).Другими словами, мы сформулировали так называемый асимптотический подход к сравнению оценок.Пример. При условии Eg 2 (x1 ) < ∞ статистика g(x) является асимптотически нормальной оценкой для соответствующего момента: θn∗ = g(x) → θ = Eg(x1 ).
В самом деле, в силуцентральной предельной теоремы имеем√nPn(θn∗− θ) =i=1g(xi ) − Eg(x1 )√⇒ η ∈ N (0, σ),nгде σ 2 = Dg(x1 ) – коэффициент рассеивания.Теорема (суперпозиции). Пусть θn∗ произвольная АНО, коэффициент рассеиваниякоторой σ(θ) > 0 непрерывен. Тогда суперпозиция θen∗ = H(θn∗ ), где H ∈ C1 (∪n suppFθn∗ ) и0H (θ) 6= 0 при всех θ, будет АНО для параметра θe = H(θ), причем новый коэффициент0рассеивания вычисляется по формуле σe = σ|H (θ)|.Д ОКАЗАТЕЛЬСТВО .
По формуле конечных приращений получаем√e =n(θen∗ − θ)√√0n(H(θn∗ ) − H(θ)) = H (θbn∗ ) n(θn∗ − θ),где min(θn∗ , θ)) 6 θbn∗ 6 max(θn∗ , θ)).Ранее мы отметили, что всякая АНО является состоятельной, т. е. θn∗ → θ. В силу гладко00сти функции H по “принципу двух милиционеров” получаем, что H (θn∗ ) → H (θ).Воспользуемся следующим утверждением из курса теории вероятностей: если ξn ⇒ ξ иηn −→ c = const, то ξn ηn ⇒ cξ.p00В нашем случае ηn = H (θn∗ ), c = H (θ). Тогда из приведенного утверждения следует, что√e ⇒ H 0 (θ)η,n(θen∗ − θ)00где η ∈ N(0,σ) .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
