Лекции по методам математической статистики (1162373), страница 5
Текст из файла (страница 5)
. . , xns−x ), x = n1xi , s2 = (xi − x)2 . U — свободная статистика11и T и U независимы.Статистика T1 подчинена1 T2 , если T1 есть измеримая функция от T2 , T1 = ϕ(T2 ).Статистики T = T (x) и T 0 = T 0 (x) эквивалентны, если существуют измеримые функцииf (·) и g(·), такие, что T = f (T 0 ) и T 0 = g(T ) P-п.в.Пример. Для N(0, σ 2 ) рассмотрим статистикиT1 = (x1 , x2 , . . . , xn ),T2 = (x21 , x22 , . . . , x2n ),T3 = (x21 + x22 + · · · + x2m , x2m+1 + · · · + x2n ), T4 = x21 + x22 + · · · + x2n .Эти статистики по-разному редуцируют данные. Больше всего — последняя (минимальная).Достаточная статистика T называется минимальной, если она дает наибольшую редукциюданных среди всех достаточных статистик, т.е.
если для любой достаточной статистики Uсуществует функция h такая, что T = h(U ) ( P-п.в.).1 англ.ancillary — подчиненная, вспомогательная (А.А.Боровков, Математическая статистика).17Минимальные достаточные статистики существуют, если X — евклидово, а семейство P — доминируемо.Всякая полная достаточная статистика является минимальной достаточной статистикой(но не наоборот!).Утверждение.
Если минимальная достаточная статистика существует, то для того, чтобы достаточная статистика былаполной, необходимо, чтобы она была минимальной.Доказательство. Предположим, что T = h(S) есть минимальная достаточная статистика, а S — полная. Рассмотримфункцию ψ(S) = S − Eϑ (S|T ) и пусть λ — распределение (мера) S. ТогдаZEϑ ψ(S) =ψ(s)λ(ds) = 0,откуда в силу полноты S следует S = g(T ) = Eϑ (S|T ) (mod λ).Пример построения минимальной достаточной статистики.Утверждение. Пусть P — конечное семейство с плотностями p0 (x), p1 (x), ..., pk (x) с одним и тем же носителем. Тогда p (x)pk (x) 1, ...,T1 (x) =p0 (x)p0 (x)— минимальная достаточная статистика.Доказательство. Из теоремы о факторизации следует с очевидностью, что T — достаточная статистика, если ∀ϑ, ϑ0p (x)отношение p ϑ (x) есть функция от T .ϑ0Но тогда T1 (x) есть функция от T .Следствие.
Утверждение легко обобщается на счетный случай.Лемма. Если P — семейство с общим носителем и P0 ⊂ P, T — минимальная достаточная статистика для P0 и достаточнаядля P, то она же минимальная достаточная статистика для P..Доказательство. Если T1 — достаточная статистика для P, то она достаточна и для P0 , откуда следует T = f (T1 )Пример. Рассмотрим P = {N(ϑ, 1)}.
Пусть P0 = {N(ϑ0 , 1), N(ϑ1 , 1)} Тогда1 P(x −ϑ )2 −P(x −ϑ )2pϑ1 (x)01ii= e2,pϑ0 (x)Pтак что T =xi — есть достаточная минимальная статистика для всего класса P.Замечание. Минимальная достаточная статистика не обязана быть полной. Соответствующие примеры легко получаются, когда размерность статистики больше, чем размерность параметра. Например, совместная плотность минимальной достаточной статистикиS = (x(1) , x(n) ) для семейства U (ϑ, 1 + ϑ) равнаn(n − 1)(v − u)n−2 , ϑ 6 u < v 6 ϑ + 1,gϑ (u, v) =0 в остальных случаях.√Если √взять функцию ϕ(v − u) и сделать ортогональное преобразование (v − u)/ 2 = t,(v + u)/ 2 = z, то интеграл по треугольнику ϑ 6 u < v 6 ϑ + 1 будет равенZ1Zϕ(v − u)gϑ (u, v)dudv = n(n − 1)ϕ(x)xn−2 (1 − x)dx,(x =√2t).0Интеграл в правой части от ϑ не зависит и легко подобрать функцию ϕ(x) 6≡ 0, обращаюn−1щую его в нуль.
Например, для ϕ(x) = ax + b интеграл равен a n+1+ b.Выпуклые функции потерьПусть функция потерь L(ϑ, d) выпукла по d. Напомним, что функция ϕ(x) на (a, b) называется выпуклой, если для любых a < x < y < b и 0 < γ < 11ϕ(γx + (1 − γ)y) 6 γϕ(x) + (1 − γ)ϕ(y).Если неравенство строгое, то функция строго выпукла. Для дифференцируемых функцийдля выпуклости необходимо и достаточноϕ0 (x) 6 ϕ0 (y), a < x < y < bили ϕ00 (x) > 0, a < x < b.Для выпуклых функций справедливо неравенство Иенсена:ϕ(Eξ) 6 Eϕ(ξ).1 Последствияоценивания τ (ϑ) величиной d.18(5.4)Примеры: 1/Eξ < E(1/ξ), E(log ξ) < log(Eξ).Неравенство Иенсена. Пусть функция ϕ(x), −∞ < x < ∞ выпукла, т.
е. ϕ(αx + (1 − α)z) 6 αϕ(x) + (1 − α)ϕ(z), 0 6 α 6 1.Для x < y < z можно записать очевидное неравенство (при y = αx + (1 − α)z):ϕ(z) − ϕ(y)ϕ(y) − ϕ(x)6,y−xz−y(5.5)откуда следуетlimx:x<yϕ(y) − ϕ(x)ϕ(z) − ϕ(y)6 c1 (y) 6 c2 (y) 6 lim.y−xz−yz:y<z(5.6)Выбирая c1 (y) 6 c(y) 6 c2 (y)1 , имеем (x − y)c(y) + ϕ(y) 6 ϕ(x), −∞ < x < ∞. Другими словами: для всякой точки x0существует число c = c(x0 ), такое, что ϕ(x) > ϕ(x0 ) + c(x − x0 ) для всех x. Полагая теперь x = ξ, x0 = Eξ и применяя E кполучившемуся неравенству, получаем неравенство (5.4).Теорема (Рао-Блекуэлла).
Пусть ξ — вектор наблюдений из распределенияPϑ ∈ P = {Pϑ , ϑ ∈ Θ} и пусть статистика T достаточна для P. Пусть δ есть некотораяоценка для τ (ϑ) и пусть функция потерь L(ϑ, d) строго выпукла по d. Тогда если δ имеет конечные математическое ожидание и риск R(ϑ, δ) = EL(ϑ, δ(ξ)) < ∞ и если η(T ) = E(δ(ξ)|T ),то для риска оценки η(T ) справедливо неравенствоR(ϑ, η) < R(ϑ, δ),(5.7)если только с вероятностью 1 не выполняется равенство δ(ξ) = η(T ).Доказательство. Положим в неравенстве Иенсена ϕ(d) = L(ϑ, d), δ = δ(ξ), причем в немξ|tиспользуется Pϑ (x|t) — условное распределение ξ при T = t.
ТогдаL(ϑ, η(t)) < E(L(ϑ, δ(ξ))|t),если только с вероятностью 1 не выполняется δ(ξ) = η(T ).Взяв математические ожидания от обеих сторон этого неравенства, получаем (5.7).2Замечание. Если L(ϑ, δ(ξ)) = (τ (ϑ) − δ(ξ)) , то в этом случае получаем, что дисперсияоценки η не превосходит дисперсии оценки δ, а повторное усреднение уже не улучшает оценку.Особенно сильные результаты дает этот метод в случае, когда T (ξ) — полная достаточнаястатистика.Теорема (А.Н.Колмогоров).
Пусть T (ξ) — полная достаточная статистика. Тогда η(T )оптимально оценивает τ (ϑ) тогда и только тогда, когдаEϑ η(T (ξ)) = τ (ϑ),(5.8)т. е. η(T ) — несмещенная оценка.Доказательство. Пусть T1 (ξ) = ϕ1 (T (ξ)) — несмещенная оценка τ (ϑ) и T (ξ) — полнаядостаточная статистика. Предположим, что существует другая несмещенная оценка ϕ2 (T (ξ)).В этом случае для любого ϑEϑ (ϕ1 (T (ξ)) − ϕ2 (T (ξ))) = 0=⇒ϕ1 (ξ) − ϕ2 (ξ) = 0с вероятностью 1, откуда следует единственность оценки. Равномерная минимальность риска(дисперсии) следует из теоремы Рао-Блекуэлла.Вывод: указанная процедура вычисления условного математического ожидания любуюнесмещенную оценку превращает в н.о.м.д.Пример.Дана независимая выборка объема n из экспоненциального распределения (λe−λx , x >P0).Найти н.о.м.д. для значения функции распределенияF (a).
Поскольку L(x, λ) = λn e−λ xi ,Pочевидно, что достаточная статистика T (x) = xi . Распределение величины T (ξ) определяn n−1 e−λsется2 плотностью вероятности pT (s) = λ s(n−1)!.1 одно2 Этуили оба неравенства могут быть строгими.формулу можно получить с помощью характеристической функции суммы независимых сл. величин19Выберем оценку величины F (a) в виде1, ξ1 < at(ξ) = t(ξ1 ) =0, ξ1 > aEϑ t(ξ1 ) = P {ξ1 < a} = F (a).(5.9)Теперь найдем условную плотность вероятностиpξ1 |T −ξ1 (y|s − y) =λe−λy λn (s − y)n−2 e−λ(s−y) (n − 1)!pξ1 (y)pT −ξ1 (s − y)==pT (s)λn sn−1 e−λs (n − 2)!(1 − y/s)n−2= (n − 1), 0 6 y 6 s.sНаконец, искомая оценка есть условное математическое ожидание t(ξ1 ):min(a,TZ )(n−2) dy(n − 1)(1 − y/s)t1 (T ) =ss=T(n−1)min(a, T )=1− 1−.T0Несмещенность.Можно попытаться облегчить нахождение оптимальных оценок путем сужения их класса.Одним из условий беспристрастности, применимым к оценкам, является условие несмещенности оценок1 :Eϑ δ(ξ) = τ (ϑ), ∀ϑ ∈ Θ.Не для всех функций τ (·) такие оценки существуют.
Например, для биномиального распределения несмещенной оценки для g(p) = p1 не существует, так как должно было бы бытьnXδ(k)Cnk pk q n−k =k=01,pчто не выполняется при p → 0.Если существует несмещенная оценка для τ (·), такая функция называется допускающейнесмещенную оценку (ДНО).Лемма. Пусть ξ имеет распределение из семейства P = {Pϑ , ϑ ∈ Θ} и пусть T — полнаядостаточная статистика для P.Тогда каждая ДНО-функция имеет, и при том только одну (P -п.н.), несмещенную оценку,которая является функцией от T .Доказательство. Существование следует из теоремы Рао-Блэкуэлла, так как любая несмещенная оценка, не являющаяся функцией от T , улучшается ее условным математическиможиданием η(T ) = E{δ(ξ)|T } при фиксированном T и она остается несмещенной. Единственность следует из того, что в противном случае разность f (T ) = η1 (T ) − η2 (T ) равна нулюP-п.н.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
