С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 14
Текст из файла (страница 14)
ТогдаZZsup Et (θ̂ − t)2 ≥ Et (θ̂ − t)qk (t)dt ≥ Et (θ̂k − t)2 qk (t)dt.tПереходя к верхнему пределу при k → ∞, получаемZ2sup Et (θ̂ − t) ≥ lim Et (θ̂k − t)2 qk (t)dt ≥ Eτ (θ∗ − τ )2 .tОстается взять супремум по τ .Рассмотрим теперь два примера.Пример3.Однопараметрическоесемействонормальныхраспределений N(a, 1).Возьмем в качестве априорного нормальное распределениеN(0, σ 2 ) с (ненормированной) плотностью exp(−t2 /2σ 2 ) и найдемсоответствующую байесовскую оценку. Апостериорная условнаяплотность p(t|~x) как функция аргумента t пропорциональна)(N2Xt1exp − 2 −(Xi − t)2 ,2σ2 i=1т.е. является плотностью нормального распределения.
Для нахожденияпараметров этого нормального распределения выделим полный квадратв показателе:µ¶NNNXX1t2 X22+(Xi − t) =+ N t − 2tXi +Xi222σσi=1i=1i=1"#2PNµ¶1Xi=+Nt − 1 i=1+ ··· .2σ+N2σТаким образом, речь идет о нормальном распределени赶X̄σ2N,.1 + N1σ2 1 + N σ 2Байесовская оценка — соответствующее математическое ожидание, т.е.âσ =X̄.1 + N1σ2Теория оценивания79Докажем, что оценкаa∗ = X̄ = lim âσσ→∞минимаксна (напомним, см. параграф 9, что она еще и эквивариантнаяэффективная). Для этого воспользуемся теоремой 2.
ИмеемEτ (a∗ − τ )2 = Vτ X̄ = 1/N.С другой стороны,Zlimσ→∞Et (âσ − t)2 qk (t)dt= limσ→∞ Vâσ = limσ→∞σ21=.1 + N σ2NУсловие теоремы 2 выполнено (со знаком равенства в неравенстве), такчто a∗ минимаксна.Пример 1. Вероятность успеха.Мы найдем минимаксную оценку с помощью теоремы 1, т.е.среди байесовских. В качестве априорного распределения для pестественно взять бета-распределение B(λ1 , λ2 ), подобрав его параметры~ пропорциональнанадлежащим образом. Условная плотность p(t|X)tS (1 − t)N −S tλ1 −1 (1 − t)λ2 −1(S = X1 +· · ·+XN — суммарное число успехов), т.е.
является плотностьюбета-распределения D(S + λ1 , N − S + λ2 ). Байесовская оценка (т.е.соответствующее среднее значение) имеет видp̂Тогдаλ1 ,λ2X̄ + λN1S + λ1==.+λ2N + λ1 + λ21 + λ1N·¸Nλλ+λ112p̂λ1 ,λ2 − p =X̄ +− p(1 +)N + λ1 + λ2NN80Глава 2иEp (p̂λ1 ,λ2 − p)22"µ¶2 #Nλ1λ1 + λ22E(X̄−p)+−pp(N + λ1 + λ2 )2NN£¤12=Np(1−p)+(λ−p(λ+λ))112(N + λ1 + λ2 )2© 21p [(λ1 + λ2 )2 − N ]=2(N + λ1 + λ2 )ª−p[2λ1 (λ1 + λ2 ) − N ] + λ21 .√Последнее выражение не зависит от p при λ1 = λ2 = 12 N . Такимобразом, оценкаX̄ + 2√1N∗p =1 + √1N=удовлетворяет условиямтеоремы1 — она байесовская с априорным√√распределением B( N /2, N /2) иEp (p∗ − p)2 =N1√√=4(N + N )24(1 + N )2не зависит от p. Поэтому p∗ минимаксна. В то же времяp(1 − p)< Ep (p∗ − p)2Nдля всех p, удовлетворяющих неравенству14p(1 − p) <.(1 + √1N )2Ep (X̄ − p)2 =Легко проверить, что дополнительная область представляет собойпромежуток с центром в точке 1/2, имеющий не такую уж малую длину(4/N )1/4 (1 + o(1)).
Даже при N = 40000 длина этого промежутка ещепорядка 0.1.В учебнике [1] определяются и изучаются асимптотически байесовскиеи асимптотически минимаксные оценки. В частности, оказывается,что при некоторых условиях регулярности оценки максимальногоправдоподобия являются асимптотически байесовскими (для любойаприорной плотности q) и асимптотически минимаксными. Темсамым, в этих условиях все рассмотренные подходы к оптимальности"асимптотически совпадают".Теория оценивания2.1181ПриближенноеправдоподобиярешениеуравненияМы опишем сейчас практически приемлемую процедуру численногорешения уравнения правдоподобияdl(θ)=0dθ(см. параграф 3).
Обозначим для краткости через f (θ) левую частьэтого уравнения и предположим, чтоf дифференцируема. Выберемнекоторое начальное приближение t0 к корню нашего уравнения (выборt0 обсуждается ниже) и линеаризуем уравнение в окрестности точки t0 ,т.е. запишемf (θ) ≈ f (t0 ) + (θ − t0 )f 0 (t0 ).Не следует забывать, что как корень θ̂M L , так и последовательныеприближения {tk } к нему, представляют собой случайные величины— функции от выборки.
Это обстоятельство несколько изменитстандартную процедуру линеаризации.Изменение (мы не пытаемся его мотивировать) состоит в том, чтослучайная величина f 0 (t0 ) заменяется "близкой"в некотором смыслек ней неслучайной величиной −I(t0 ) (мы знаем из параграфа 5, чтопри некоторых условиях регулярности Eθ f 0 (θ) = −I(θ)). В результатеполучаем "приближенное"равенствоf (θ) ≈ f (t0 ) − I(t0 )(θ − t0 )Приравнивая правую часть к нулю и решая получающееся уравнение,находим кореньt1 = t0 + I −1 (t0 )f (t0 ).Затем аналогичным образом строим последовательные приближенияtk+1 = tk + I −1 (tk )f (tk ).(2.11)Полученный рецепт можно теперь "обосновать"следующим образом.Предположим, что последовательность {tk } сходится. Тогда из (2.11)следует, что t∞ = limk→∞ tk удовлетворяет уравнению правдоподобия.На практике (см.
ниже пример) поступают так. В качестве t0 беретсясостоятельная оценка параметра θ. Оценки t1 , t2 , . . . трактуются какее улучшения. Часто оказывается, что уже t1 или t2 асимптотическиэффективна.82Глава 2В качестве примера рассмотрим оценивание параметра сдвигараспределения Коши с плотностьюp(x) =11.π 1 + (x − θ)2Легко проверить, что уравнение правдоподобия здесь оказываетсяалгебраическим уравнением степени 2N − 1, где N — объем выборки.Решать это уравнение аналитически невозможно. В то же времяпоследовательные приближения (2.11) строить легко.
Некоторуютрудность представляет лишь выбор начального приближения t0 —распределение Коши не имеет математического ожидания, а X̄,естественная оценка центра распределения, несостоятельна. Можнопредположить, что связана эта несостоятельность со слишком большимивесами крайних порядковых статистик — минимума, максимума иблизких к ним по номеру в вариационном ряде. Уменьшая этивеса, мы, видимо, должны получить более подходящие линейныекомбинации наблюдений.
Самой естественной оценкой такого видаявляется эмпирическая медиана med. По определению для нечетногоN она совпадает с центральной порядковой статистикой, а для четногоN — с полусуммой двух центральных порядковых статистик. Можнодоказать, что med — состоятельная оценка параметра θ. Кроме того,она асимптотически нормальна с коэффициентом разброса π 2 /4. Дляулучшения ее сделаем первое приближение. Фишеровская информацияI(θ) для параметра сдвига постоянна — не зависит от θ.
Вычисления,которые мы не приводим, показывают, что I = N/2. По формуле (2.11)получаемNmed −Xi4 X.t1 = med +N i=1 1 + (Xi − med)2Можно проверить, что t1 асимптотически нормальна с коэффициентомразброса 2, т.е. асимптотически эффективна (так же, как и оценкамаксимального правдоподобия).2.12Уменьшение смещения методом “складногоножа”Здесь мы рассмотрим один практический прием, часто позволяющийуменьшить смещение оценки, не ухудшая ее асимптотическиеТеория оценивания83свойства. Этот прием называется методом "складного ножа"(jackknife) первого порядка.
Можно доказать, что применение его коценке максимального правдоподобия при широких предположениях ненарушает асимптотическую эффективность.~ = (X1 , . . . , XN )T — исходная выборка, θ̂(X)~ — оценкаИтак, пусть X~ (i) выборку, из которой удалено i-епараметра θ. Будем обозначать Xнаблюдение. ПоложимNX1~ (i) )~ =θ̃(X)θ̂(XN i=1и~ = N θ̂(X)~ − (N − 1)θ̃(X).~θ∗ (X)Оценка θ∗ и называется оценкой "складного ножа". Предположим, чтодля смещения исходной оценки θ̂ имеется разложение видаEθ̂ − θ =ТогдаEθ̃ − θ =α1α2+ 2 + ··· .NNα1α2++ ···N − 1 (N − 1)2и¶´ µα2α2Eθ − θ = α1 ++ · · · − α1 ++ ···NN −1∗³=α2+ ··· .N (N − 1)Поэтому смещение порядка O(1/N ) исходной оценки θ̂ превращается всмещение порядка O(1/N 2 ) новой оценки θ∗ . В качестве иллюстрациирассмотрим эмпирическую дисперсию S 2 .
Не очень сложные вычисленияпоказывают, что метод "складного ножа"преобразует ее в исправленную2эмпирическую дисперсию Sиспр.. Действительно,N1 X 2s21s22S =X − X̄ =−,N i=1 iN N22где для удобства мы обозначили s1 = X1 + · · · + XN , s2 = X12 + · · · + XN2 .84Глава 2Далее,22~ (i) ) = s2 − Xi − (s1 − Xi )S 2 (XN −1(N − 1)2s2s21N Xi2s1=−+ 2Xi−.N − 1 (N − 1)2(N − 1)2 (N − 1)2ПоэтомуN1 X 2 ~S̃ =S (X(i) )N i=12=s2s21s1s1s2−+2·−N − 1 (N − 1)2N (N − 1)2 (N − 1)2иN S 2 − (N − 1)S̃ 2s22s21s21s2− s2 +−2+NN −1N (N − 1) N − 1µ¶2s2s2s1Ns21=−=−N − 1 N (N − 1) N − 1 N N 2N2=S 2 = Sиспр..N −1= s2 −В справочнике [3] можно найти другие подобные приемы, а также ссылкина соответствующие оригинальные работы.Глава 3Доверительные интервалыЭту небольшую главу можно рассматривать как связку,обеспечивающую переход от задач оценивания к задачам проверкигипотез.
Кроме того, излагается очень важный результат, относящийсяк нормально распределенным величинам — так называемая леммаФишера.3.1Основные определения и асимптотическаятеория доверительных интерваловПредположим, что θ — некоторый функционал от теоретическогораспределения, ε — малое положительное число. Дополнительное число1 − ε будем называть доверительной вероятностью (и действительно,это число будет характеризовать надежность предполагаемогостатистического вывода или уровень доверия к нему).Доверительным интервалом (confidence interval) для θ,отвечающим доверительной вероятности 1 − ε, называется интервалhθ, θi со случайными концами, обладающий двумя свойствами:1.
его концы θ и θ являются статистиками, т.е. функциями от выборки~ (и ни от чего больше);X2. интервал hθ, θi "ловит"значение функционала θ с вероятностью, неменьшей 1 − ε, т.е.Pθ (hθ, θi 3 θ) ≥ 1 − ε(3.1)(каково бы нираспределение).былоаприори85допустимоетеоретическое86Глава 3Тип интервала (открытый, замкнутый, полуоткрытый) в большинствезадач принципиального значения не имеет. При необходимости егоследует уточнить.Мы использовали зеркально отраженный знак принадлежности,чтобы подчеркнуть важное обстоятельство: в записи h· · · i 3 θменяющимся является интервал, в то время как θ — фиксированное(неизвестное статистику) число.В многомерном случае вместо интервалов используютсядоверительные множества, определяющиеся аналогичным образом.Как правило, построить доверительное множество (интервал) удаетсятолько в случае, когда совокупность априори допустимых теоретическихраспределений не слишком обширна, например, когда она описываетсяконечным набором параметров.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
