1612725170-875f1dc1af30a046ee4b954c4f0d36bd (828896), страница 5

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 5)

Тогда по свойству нормального распределения σe2 = DH (θ)η = (H (θ))2 σ 2 .0Следовательно, σe = σ|H (θ)|. ∗Следствие. Все оценки θn,k= ((k + 1)xk )1/k , k ∈ N, являются АНО для параметра θравномерного распределения на отрезке [0, θ].В этом случае H(t) = ((k + 1)t)1/k , t > 0 и θn∗ = xk – это АНО.Вычислим коэффициент рассеивания σ внутренней аддитивной оценки xk :2σ =Dxk1=Ex2k1−(Exk1 )2θ2k=−2k + 1Кроме того, H 0 (t) = (k + 1)1/k t1/k−1 k −1 .15θkk+12=θ2k · k 2,(2k + 1)(k + 1)2Поскольку θn∗ −−→п.н.H0θkk+1θk,k+1то(k + 1)1/k=kθkk+11/k−1·θθk · k√=√= σ̃.(k + 1) 2k + 12k + 1Вывод: чем больше k, тем точнее получается оценка. Напомним, что в пределе мы имеемlim ((k + 1)xk )1/k = x(n) . k→∞Ранее было показано, что при некоторых минимальных ограничениях справедливо следующее асимптотическое представление для функции потерь АНО:δθn∗ (θ) ∼σk2.nОднако функция потерь для x(n) имеет иной порядок по n:δx(n) =2θ2.(n + 1)(n + 2)Разумеется, это не является доказательством того, что x(n) не АНО.

Докажем√это факт напрямую. Заметим, что для любого n с вероятностью 1 выполняется неравенство n(x(n) − θ) < 0.Но если бы x(n) была АНО, то предельная случайная величина η имела бы распределениеN (0, σ), которое симметрично. Иными словами, тогда бы имело место соотношение√P( n(x(n) − θ) < 0) → P(η < 0) = 1/2,чего не может быть.Достаточные статистики.Определение.

Статистика S = S(X) называется достаточной для параметра θ, еслиусловное распределение выборки Pθ (X ∈ A|S) ≡ g(A, S) при фиксации S как сопутствующего наблюдения (возможно, многомерного) не зависит от параметра θ.Достаточность означает, что в статистике S содержится вся информация о выборке, достаточной для построения оптимальных оценок. Дальнейшая конкретизация положения выборочных значений бессмысленна. Если выборка из дискретного распределения, то в вышеприведенном определении вместо ортопроекции можно использовать классическое условноераспределение Pθ (X ∈ A|S = si ), которое можно интерпретировать как распределение наповерхности S = si в выборочном пространстве.

Если S – достаточная статистика, то этораспределение не зависит от параметра θ при всевозможных значениях si .Замечание. Статистика S = X является достаточной всегда.Пример. Покажем, что статистика S = nx является достаточной для параметра λ классапуассоновских распределений {πλ }λ>0 . Oбластью значений исследуемой статистики являетсямножество Z+ .Пусть k ∈ Z+ . ТогдаPλ (X = ~z), k = S(~z),Pλ (S(X) = k)Pλ (X = ~z, S(X) = k)Pλ (X = ~z|S(X) = k) ==Pλ (S(X) = k)0,k 6= S(~z).16Распределение Пуассона устойчиво, поэтому S == S(~z) =nPnPxi ∈ Πnλ .

Таким образом, в случае k =i=1zi выполняется соотношение:i=1Pλ (S(X) = k) =(nλ)k −nλe .k!Следовательно,nQPλ (X = ~z|S(X) = k) =Pλ (xi = zi )i=1Pλ (S(X) = k)=e−λn k!λkk!=.nnQQ−λnkke (nλ)zi !nzi !i=1i=1Последнее выражение не зависит от λ при всех k и ~z. Значит, статистика S достаточная.Упражнение. Дать интерпретацию с вероятностной точки зрения следующего выражения:k!,nQknzi !i=1где k =nPzi .i=1Теорема (Факторизационная теорема Неймана–Фишера). Статистика S является достаточной для параметра θ тогда и только тогда, когда функция правдоподобияΨX (θ) допускает факторизациюΨX (θ) = ϕ(S, θ)h(X) п.н.,где каждая из функций ϕ и h зависит только от указанных аргументов.Д ОКАЗАТЕЛЬСТВО . Проведем доказательство теоремы только для параметрического класса дискретных распределений при условии, что их носители не зависят от параметра.Достаточность.

Наши рассуждения вполне аналогичны только что проведенным в рассмотренном выше примере. Имеем nQPθ (xi = zi )i=1, si = S(~z),Pθ (X = ~z, S = si ) Pθ (S = si )=Pθ (X = ~z|S = si ) =Pθ (S = si )0,si 6= S(~z).Запишем функцию правдоподобия для дискретных распределений: Ψ~z (θ) =nQPθ (xi = zi ).i=1Исходя из условий теоремы,Ψ~z (θ) = ϕ(S(~z), θ)h(~z) п.н.Таким образом, в случае si = S(~z) имеемPθ (X = ~z|S = si ) =ϕ(S(~z), θ)h(~z)P=Pθ (X = ~y )~y :S(~y )=siϕ(S(~z), θ)h(~z)P=ϕ(S(~y ), θ)h(~y )~y :S(~y )=si17h(~z)P.h(~y )~y :S(~y )=siПоследнее выражение не зависит от параметра θ, что и требовалось показать.

Упражнение. Доказать необходимость приведенной теоремы.Пример. Функция правдоподобия ΨX (λ) для пуассоновского семейства распределений{πλ }λ>0 имеет видλnx −λnΨX (λ) = Qe .nxi !i=1Положим ϕ(x, λ) = λnx e−λn и h(X) = 1/nQxi !. Тогда статистика S = nx является достаточ-i=1ной.Следствие. Пусть S : Xn → Rk – достаточная статистика. Если отображениеg : Rk → Rm – взаимно-однозначное, то S 0 = g(S) также будет достаточной статистикой.Д ОКАЗАТЕЛЬСТВО . Действительно, ΨX (θ) = ϕ(g −1 (S 0 ), θ)h(X) = ϕ(Se 0 , θ)h(X) п.н.

Следствие. Оценка максимального правдоподобия является функцией от достаточной статистики.Д ОКАЗАТЕЛЬСТВО . Действительно, θ̂n = arg maxθ ϕ(S, θ). Так что указанная экстремальная точка будет зависеть от выборочных значений только через статистику S. Пример. Вариационный ряд будет достаточной статистикой.Пример.

Рассмотрим параметрическое семейство нормальных распределений {N (α, σ)},где α ∈ R и σ > 0. Построим двумерную достаточную статистику для параметра θ = (α, σ).Вычислим функцию правдоподобияΨX (θ) =1√σ 2π!nn( P (x − α)2 )ii=1exp −=2σ 21√σ 2π!n()21nαexp − 2 (nx2 − nxα) − 2 .2σ2σПоложим h(X) = 1 иϕ(S, θ) =1√σ 2π!n)2nα1exp − 2 (nx2 − nxα) − 2 ,2σ2σ(где S = (x2 , x). Согласно теореме Неймана – Фишера векторная статистика S является достаточной для параметра θ.Напомним ОМП двумерного параметра нормального распределения:(σb2 = x2 − (x)2 ,αb = x.Статистика S1 = (bα, σb2 ) тоже будет достаточной поскольку является взаимно-однозначнымотображением уже построенной достаточной статистики S.Упражнение.

Построить скалярную достаточную статистику для параметра (α, σ).Улучшение оценок с помощью достаточных статистик.В соответствии со среднеквадратичным подходом мы ищем нижнюю огибающую для функций потерь δθn∗ (θ) = Eθ (θn∗ − θ)2 , оценок из того или иного класса. Возникает закономерныйвопрос: в каком именно классе оценок искать наилучшую? Рассмотрим класс всех оценок с18конечным вторым моментом. Пусть θn∗ = const = θ0 ∈ Θ.

Тогда δθn∗ (θ) = 0 при θ = θ0 . Таккак θ0 произвольно, то это означает, что искомая нижняя огибающая должна быть тождественным нулем. В свою очередь, это означает, что искомая наилучшая оценка тождественносовпадает с параметром, чего не может быть (любая оценка не зависит от параметра!). Этотпример показывает, что необходимо сузить класс рассматриваемых оценок.Прежде всего отметим одно замечательное свойство достаточных статистик.Теорема. Пусть S – достаточная статистика. Тогда для произвольной оценки θn∗с конечным вторым моментом функция θS∗ = E(θn∗ |S) зависит только от выборки,т. е.

является оценкой, причем δθn∗ (θ) > δθS∗ (θ) при всех θ.Д ОКАЗАТЕЛЬСТВО . Заметим, что если S – достаточная статистика, то условное распределение Pθ (θn∗ ∈ A|S) при фиксированном S не зависит от параметра θ. А так как условноесреднее есть известный интеграл от соответствующего условного распределения, то и оно небудет зависеть от параметра.Далее, представим функцию потерь для θn∗ следующим образом:δθn∗ (θ) = Eθ (θn∗ − θ)2 = Eθ (θn∗ − θ ± θS∗ )2 = Eθ (θS∗ − θn∗ )2 + δθS∗ (θ) + 2Eθ (θn∗ − θS∗ )(θS∗ − θ).Вспомним, что для скалярной случайной величины ξ и вектора сопутствующих наблюденийη имеют место формулы: Eξg(η) = E(E(ξg(η)|η)) = g(η)E(ξ|η). Положим ξ = θn∗ − θS∗ иg(η) = gθ (S) = θS∗ − θ. В результате имеемEθ (θn∗ − θS∗ )(θS∗ − θ) = Eθ (gθ (S)E(θn∗ − θS∗ |S)) = Eθ (gθ (S)(Eθ (θn∗ |S) − θS∗ ) = 0.Таким образом, δθn∗ (θ) = Eθ (θn∗ − θS∗ )2 + δθS∗ (θ). Так как Eθ (θn∗ − θS∗ )2 > 0, то δθn∗ (θ) > δθS∗ (θ).

Понятие полноты статистики.Определение. Статистика S называется полной относительно параметрического семейства {Fθ }θ∈Θ , если для любой измеримой функции g такой, что Eθ g 2 (S) < ∞, тождество(по параметру θ) Eθ g(S) ≡ 0 влечет за собой g(· ) ≡ 0 почти наверное относительно каждогораспределения из рассматриваемого параметрического класса.Пример.

Рассмотрим пуассоновское параметрическое семейство {πλ }λ>0 и статистикуS = nx. Как мы уже знаем, она является достаточной для параметра λ. Исследуем ее полноту.nPxi ∼ πnλ . ТогдаРаспределение Пуассона устойчиво относительно свертки, поэтому nx =Eλ g(nx) =∞Pk=0kg(k) (nλ)e−nλ .k!i=1∞PРассмотрим тождество Eλ g(nx) = 0, откудаk=0kg(k) (nλ)= 0k!для всех λ > 0. Если ввести обозначение z = nλ, то последнее выражение перепишется в ви∞Pkде эквивалентного тождестваg(k) zk! = 0 при всех z > 0. Это влечет за собой g(k) ≡ 0, такk=0как степенной ряд является аналитической функцией, а из теоремы единственности следует,что все коэффициенты этого ряда равны нулю.Пример. Рассмотрим параметрическое семейство {U [0, θ]}θ>0 и ОМП θ̂n = x(n) . ДокажемRθn−1полноту этой статистики.

Имеем Eθ g(x(n) ) = g(t) ntθn dt = 0. Следовательно, для каждого0θ > 0 должно быть выполнено соотношениеRθg(t)tn−1 dt = 0, из которого0Rθ2g(t)tn−1 dt = 0θ1для всех θ1 < θ2 . ОтсюдаRследует, что для любого борелевского множества A ∈ B верноаналогичное утверждение: g(t)tn−1 dt = 0. Допустим, что g(t) 6= 0 почти всюду относительноA19меры Лебега. Тем самым, одно из множеств, A+ = { t | g(t) > 0 } или A− R= { t | g(t) < 0 },имеет положительную меру. Пусть для определенности Λ(A+ ) > 0. Тогда g(t)tn−1 dt > 0.A+Противоречие с равенством интеграла нулю для каждого A ∈ B.Построение эффективных оценок.Определение. Пусть задан класс K оценок с конечными вторыми моментами, т.

е. K ⊆⊆ L2 (Ω, P). Оценка θ̌n называется эффeктивной в классе K, если для любой оценки θn∗ ∈ Kвыполняется неравенство δθ̌n (· ) 6 δθn∗ (· ) для всех θ.Пусть Kb = { θn∗ | Eθ θn∗ = θ + bn (θ) } есть класс всех оценок с фиксированным смещениемbn (θ).Теорема.

Пусть S – полная достаточная статистика. Тогда θS∗ является единственной эффективной оценкой в классе Kb .Д ОКАЗАТЕЛЬСТВО . Используя формулу полной вероятности для условного математического оожидания, проверим, что θS∗ ∈ Kb :Eθ θS∗ = Eθ (E(θn∗ |S)) = Eθ θn∗ = θ + bn (θ).Покажем, что в классе Kb существует единственная оценка, представимая в виде: θ̃n =g̃(S).

Допустим, что это не так, т. е. существует еще и другая оценка gb(S) ∈ Kb . Обозначимg 0 = g̃ − gb. Так как статистика S – полная, то Eθ g 0 (S) = Eθ g̃(S) − Eθ gb(S) ≡ 0, и значит,функции g̃ и gb совпадают почти всюду относительно каждого распределения рассматриваемого параметрического класса.Далее, предположим, что имеется оценка θn0 ∈ Kb такая, что существует θ0 ∈ Θ: δθn0 (θ0 ) <δθS∗ (θ0 ).

Характеристики

Список файлов лекций