Лекции по методам математической статистики (1162373), страница 4
Текст из файла (страница 4)
Таким же образом убеждаемся, что B1 −k2 , а B2 сходитсяпо вероятности к неотрицательному значению EH(ξ) < M .2◦ Пусть теперь δ и ε — фиксированные произвольно малые положительные числа, а P (S) — совместная вероятностная, функция для случайных величин x1 , x2 , . . . , xn . При достаточно больших n, скажем, для всех n > n0 = n0 (δ, ε),имеем1ε,311P2 = P (B1 > − k2 ) < ε,231P3 = P (|B2 | > 2M ) < ε.3P1 = P (|B0 | > δ 2 ) <Пусть S — множество всех точек x = (x1 , x2 , .
. . , xn ), для которых удовлетворяются все три неравенства1B1 < − k2 ,2|B0 | < δ 2 ,|B2 | < 2M.Дополнительное множество S состоит из всех точек x, для которых не выполняется хотя бы одно из этих трехнеравенств, так что P (S) 6 P1 + P2 + P3 < ε и поэтому P (S) > 1 − ε. Таким образом, вероятность попадания точки xв множество S, совпадающая с P -мерой множества S, превышает 1 − ε, если n > n0 (δ, ε).При ϑ = ϑ0 ± δ правая часть равенства (4.2) принимает значение B0 ± B1 δ + 21 B2 δ 2 .
В каждой точке x, принадлежащей S, сумма первого и третьего слагаемых в этом выражении по абсолютной величине меньше, чем (M + 1)δ 2 ,1 k2а B1 δ < − 12 k2 δ. Если δ < M2 +1 , то знак всего выражения при ϑ = ϑ0 ± δ определяется вторым слагаемым, так что∂ ln Lln L> 0 при ϑ = ϑ0 − δ и ∂ ∂ϑ< 0 при ϑ = ϑ0 + δ.∂ϑln LДалее, по условию 1), функция ∂ ∂ϑдля почти всех x есть непрерывная функция от ϑ из A. Таким образом, припроизвольно малых δ и ε уравнение правдоподобия имеет с вероятностью, превышающей 1 − ε, корень, заключенныйв пределах ϑ ± δ, если только n > n0 (δ, ε).
Следовательно, первая часть доказательства закончена.3◦ Пусть далее, ϑ∗ = ϑ∗ (x1 , . . . , xn ) есть решение уравнения правдоподобия, существование которого уже установлено. Учитывая (4.2) и (4.3), получаем для конечных значений n√k n(ϑ∗ − ϑ0 ) =k1√n P∂ ln fin1−Bk21−∂ϑ0∗α0B ϑ k−ϑ22 2(4.5)Из вышесказанного следует, что знаменательдроби в правой части этого равенства сходится по вероятности к 1.ln fДалее, согласно формуле (4.4), ∂ ∂ϑестьслучайнаявеличина со средним значением 0 и стандартным отклоне0n P∂ ln fiнием k. В силу теоремы Линдеберга-Леви, суммаасимптотически нормальна N(0, nk2 ), и, следовательно,∂ϑ0iчислитель дроби в правой части равенства (4.5) асимптотически нормален N(0, 1).√Наконец, из теоремы сходимости следует, что k n(ϑ∗ − ϑ0 ) — величина асимптотически нормальная N(0, 1), такln f 2что ϑ∗ асимптотически нормальна N(ϑ0 , nk1 2 ), где k2 = E ∂ ∂ϑ.01 Пустьнезависимые случайные величины ξ1 , .
. . , ξn одинаково распределены и имеют конечное среднее значение m. Тогдаn1 Pξi сходится по вероятности к m. Для доказательства используются свойства характеристических функцийnвеличина ξ =i=1(сходимость к константе).14Можно ввести коэффициент эффективности (уровень эффективности), равныйe(ϑ∗ ) =min D ϑ∗.D ϑ∗Здесь числитель взят из неравенства Рао-Крамера.Асимптотическая эффективность e∞ оценки ϑ∗ находится по формуламen =1Dϑ∗n E ,∂ ln Ln 2Dϑ∗n ∼∂ϑ1,nk2e∞ =k2E∂ ln f∂ϑ2 = 1,0так что наша теорема доказана.
Соответствующая теорема дли дискретного распределения доказывается аналогичнымобразом.В случае нескольких неизвестных параметров следует ввести условия, служащие непосредственным обобщениемусловий 1) - 3). Тогда можно доказать, таким же способом, как и выше, используя многомерную форму теоремыЛиндеберга-Леви, что уравнения правдоподобия имеют систему решений, являющихся асимптотически нормальнымии совместно асимптотически эффективными оценками для параметров.5Достаточные статистикиСтатистическая структураПусть P = {P } — некоторое семейство вероятностных мер (распределений) на измеримомпространстве (X, A).
Тройка (X, A, P) называется статистической структурой.Замечания. 1. Если P состоит из одного элемента, то это вероятностное пространство.2. Часто семейство P параметризуется P = {Pϑ , ϑ ∈ Θ}. Множество Θ — параметрическоепространство (пространство параметров). Естественно считать, что ϑ1 6= ϑ2 ⇒ Pϑ1 6= Pϑ2 .3. В математической статистике пространство (X, A) интерпретируется как пространствовозможных наблюдений, или как выборочное пространство.Говорят, что статистическая структура (X, A, P) доминируется σ-конечной мерой µ на (X, A), если все меры Pϑ ∈ P абсолютнонепрерывны относительномеры µ, т.е. для всякой меры Pϑ ∈ P существует функция (плотность Pϑ по µ) L(x|ϑ) от x ∈ X, такая,Rчто Pϑ (A) = L(x|ϑ)µ(dx) для всех A ∈ A.
В этом случае функция X ∗ Θ 3 (x, ϑ) 7→ L(x|ϑ) ∈ [0, ∞) называется функциейAправдоподобия (likehood).5.1Методы нахождения эффективных оценок.СтатистикаВсякая измеримая функция от наблюдения называется статистикой. Более точно, если(X, A, P) — статистическая структура, то измеримое отображение T измеримого пространства (X, A) в некоторое измеримое пространство (Y, B) называется статистикой. (Она жеслучайная величина в вероятностном пространстве (X, A, P ), P ∈ P).Две статистики T1 : X → Y и T2 : X → Y называются эквивалентными, если событиеA = {T1 6= T2 } ∈ A является P-пренебрежимым, т.е.
P (A) = 0 для всех P ∈ P.Две статистики T1 и T2 на (X, A, P) называются независимыми, если для всякого P ∈ Pнезависимы сл. величины T1 и T2 , рассматриваемые в вероятностном пространстве (X, A, P ).Статистика T (ξ) на (X, A, P) называется интегрируемой, если для всякого распределенияPϑ , ϑ ∈ Θ сл. в. T (ξ), рассматриваемая в вероятностном пространстве (X, A, Pϑ ), интегрируема.
Математическое ожидание сл. в. T , соответствующее распределению Pϑ , обозначаетсякак Eϑ T или Eϑ T (ξ).Достаточная статистикаСтатистика T : (X, A) → (Y, B) называется достаточной, если при заданном значении статистики T распределение наблюдения x не зависит от ϑ, т.е. более точно, для всякого A ∈ Aвеличина Pϑ {x ∈ A|T (x)} не зависит от ϑ (и значит, не несет никакой информации относительно ϑ)1 . Следующая теорема дает удобный способ отыскания достаточной статистики.1 Илиточнее: если существует вариант условных функций распределения при заданных T , который не зависит от ϑ.15Теорема факторизации (Неймана-Фишера).Пусть L — функция правдоподобия.
Статистика T : (X, A) → (Y, B) является достаточной,если и только если существует A-измеримая неотрицательная функция h на X и B-измеримаянеотрицательная функция gϑ на Y такие, чтоL(x|ϑ) = gϑ (T (x))h(x)(5.1)для всех ϑ ∈ Θ, x ∈ X.Доказательство. (Ограничимся дискретным случаем). L(x|ϑ) = Pϑ (ξ = x). Если T — достаточная статистика, x ∈ X и T (x) = t ∈ Y , тоL(x|ϑ) = Pϑ (ξ = x) = Pϑ (ξ = x, T (ξ) = t) == Pϑ (T (ξ) = t)Pϑ (ξ = x|T (ξ) = t) = gϑ (t)h(x) = gϑ (T (x))h(x),где gϑ (t) = Pϑ (T (ξ) = t) а h(x) = Pϑ (ξ = x|T (ξ) = t) не зависит от ϑ.Если же функция правдоподобия L имеет вид L(x|ϑ) = gϑ (T (x))h(x), то при T (x) = t иPϑ (T (ξ) = t) > 0 получаемPϑ (ξ = x|T (ξ) = t) =Pϑ (ξ = x)Pϑ (ξ = x, T (ξ) = t)==Pϑ (T (ξ) = t)Pϑ (T (ξ) = t)P (ξ = x)Pϑ=Pϑ (ξ = y)=y:T (y)=tg (t) h(x)Pϑ=gϑ (t)h(y)h(x)P,h(y)y∈T −1 (t)y:T (y)=tа последнее выражение, очевидно, не зависит от ϑ.Полная статистикаСтатистика T называется (ограниченно) полной, если для всякой (ограниченной) числовой статистики f (T ) из Eϑ f (T (ξ)) = 0, ∀ϑ следует f (T (ξ)) = 0 P-п.в.
т.е.Pϑ {f (T (ξ)) = 0} = 1, ∀ϑ.(5.2)Для некоторых распределений полноту статистики можно доказать непосредственно (например, для равномерного, U [0, ϑ]), для большинства распределений из так называемого экспоненциального семейства этот факт доказывается с помощью теоремы:Теорема (*). Пусть статистическая структура (X, A, P = {Pϑ , ϑ ∈ Θ}) допускает функцию правдоподобия видаmXdPϑ(x) = L(x|ϑ) = c(ϑ) exp{γk (ϑ)Tk (x)}dµk=1(экспоненциальное семейство распределений) и существует подмножество Θ0 ⊂ Θ такое, что образ отображенияΘ0 3 ϑ 7→ γ(ϑ) = {γ1 (ϑ), ..., γm (ϑ)} ∈ Rmсодержит хотя бы одну точку вместе с ее окрестностью и c(ϑ) 6= 0, если ϑ принадлежит этой окрестности.
Тогда статистикаT (x) = {T1 (x), ..., Tm (x)} является полной (и достаточной).Доказательство. Можно считать, что γ(Θ0 ) содержит "параллелепипед"R = {(γ1 , ..., γm ) : −C < γk < C; k = 1, ..., m}, C > 0,ПустьEϑ f (T ) = 0, ∀ϑ ∈ Θ0(5.3)для некоторой статистики f (T ). Положим f (t) = f + (t) − f − (t), f ± (t) > 0, и обозначим через λ образ меры µ при отображенииT : (X, A) → (Rm , Bm ), т.е. λ(B) = µ(T −1 (B)) для всех B ∈ Bm .
Тогда для всех γ ∈ RZZe(γ,t) f + (t)λ(dt) =e(γ,t) f − (t)λ(dt),где (γ, t) =mPγk tk и, в частности,1Zf + (t)λ(dt) =Zf − (t)λ(dt);при этом последние интегралы без ограничения общности можно считать равными единице (умножив их, например, наConst 6= 0). ПолагаяZP ± (B) =f ± (t)λ(dt), B ∈ Bm ,B16имеем, что P + и P − суть вероятностные меры на (Rm , Bm ) и при этомZZe(γ,t) P + (dt) =e(γ,t) P − (dt), ∀γ ∈ R.Отсюда следует, что эти интегралы определены в полосе{γ = u + iv : u ∈ Rm , v ∈ Rm }m-мерной комплексной плоскости и, более того, в этой полосе являются аналитическими функциями от γ.
По теореме об аналитическом продолжении эти интегралы совпадают в указанной полосе и, в частности,ZZei(v,t) P + (dt) =ei(v,t) P − (dt), v ∈ Rm .RmRmПоследние интегралы представляют собой характеристические функции распределения P + и P − соответственно, а из их совпадения следует P + = P − и, значит, f + (t) = f − (t) п.в. по мере λ , т.е. f (t) = 0 λ-п.в. Таким образом, равенство (5.3) влечет(5.2).Свободная статистикаМножество A ∈ A называется свободным (относительно семейства P = {Pϑ , ϑ ∈ Θ} вероятностных мер на (X, A)), если Pϑ (A) не зависит от ϑ ∈ Θ.
Статистика U : (X, A) → (Z, C) называется свободной, если распределение этой статистики не зависит от ϑ ∈ Θ, т.е. {x : U (x) ∈ C}есть свободное множество для всех C ∈ C.Замечание. Интуитивно ясно, что свободная статистика не несет никакой информацииотносительно истинного значения параметра ϑ. Напротив, достаточная статистика содержитв себе всю информацию (столько информации, сколько в самом наблюдении) относительнопараметра ϑ. Часто достаточная (и ограниченно полная) статистика T и свободная статистикаU дополняют друг друга в том смысле, что отображение x 7→ (T (x), U (x)) биективно (истатистики T и U независимы как случайные величины).Теорема Басу (D.Basu).
Пусть T (ξ) — достаточная ограниченно полная статистика иU (ξ) — свободная статистика. Тогда статистики T (ξ) и U (ξ) независимы.Доказательство. Так как статистика T : (X, A) → (Y, B) достаточная, а статистика U : (X, A) → (Z, C) свободная, то длявсякого C ∈ C)Pϑ {U (ξ) ∈ C|T (ξ)} − Pϑ {U (ξ) ∈ C} = g(T (ξ))есть свободная ограниченная статистика иEϑ g(T (ξ)) = 0, ∀ϑ,откуда в силу ограниченной полноты статистики T (ξ) имеемPϑ {U (ξ) ∈ C|T (ξ)} = Pϑ {U (ξ) ∈ C}, Pϑ − п.в., ∀ϑ.Это влечет независимость сл.в. T (ξ) и U (ξ) в вероятностном пространстве (X, A, Pϑ ) для всех ϑ, так как при B ∈ B имеемPϑ {T (ξ) ∈ B, U (ξ) ∈ C} = Eϑ I{T (ξ)∈B} Pϑ {U (ξ) ∈ C|T (ξ)} == Eϑ I{T (ξ)∈B} Pϑ {U (ξ) ∈ C} = Pϑ {U (ξ) ∈ C}Eϑ I{T (ξ)∈B} == Pϑ {U (ξ) ∈ C}Pϑ {T (ξ) ∈ B}.Пример. Для N(µ, σ 2 ) рассмотрим статистикиnnPPT = (x, s2 ) и U = ( x1s−x , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
