С.С. Валландер - Лекции по статистике и эконометрике (1160549), страница 13
Текст из файла (страница 13)
Предположим также, что областьизменения θ — вся числовая ось R.Оценка θ̂ параметра сдвига θ называется эквивариантной, если длялюбого c ∈ Rθ̂(X1 + c, . . . , XN + c) = θ̂(X1 , . . . , XN ) + c.Для краткости мы будем писать подобные равенства в виде~ + c→ ) = θ̂(X)~ + c.θ̂(XЗдесь c→ —вектор, все компоненты которого равны c. Класс всехэквивариантных оценок параметра θ мы обозначим Keq .Статистику S будем называть инвариантной, если~ + c→ ) = S(X).~S(XВ очевидном смысле инвариантные статистики не содержат информациио параметре сдвига. Примеры таких статистик легко строятся с помощьюстатистикиS0 = (X2 − X1 , X3 − X1 , . . . , XN − X1 ).Очевидно, любая статистика вида f (S0 ) инвариантна.Нам потребуется простой вспомогательныйэквивариантных оценках.Лемма.
Если θ̂ — эквивариантная оценка, торезультатобEθ θ̂ = E0 θ̂ + θ.Действительно,ZZθ̂(~x)p(~x − θ→ )d~x =Eθ θ̂ =RNθ̂(~y + θ→ )p(~y )d~yRNZ=[θ̂(~y ) + θ]p(~y )d~y = E0 θ̂ + θ.RNСформулируем теперь основной результат параграфа.Теорема.Теория оценивания711. Оценка ПитменаR∞0θ̂ =→~−∞ up(X − u )duR∞→~−∞ p(X − u )duявляется единственной эффективной в классе Keq оценкой;2.
θ̂0 — несмещенная оценка;3. если θ̂ ∈ Keq , тоθ̂ − E0 (θ̂|S0 ) = θ̂0 .Доказательство.Разобьем для удобства все доказательство на части.1. Докажем, что оценки видаθ̂ − E0 (θ̂|S0 ), θ̂ ∈ Keq— несмещенные.Для этого заметим сначала (см. приложение D), чтоE0 (θ̂|S0 ) = f (S0 )— инвариантная статистика. ПоэтомуZEθ f (S0 ) =f (S0 (~x))p(~x − θ→ )d~xNRZZ→=f (S0 (~y + θ ))p(~y )d~y =RNRNf (S0 (~y ))p(~y )d~y= E0 f (S0 ) = E0 (E0 (θ̂|S0 )) = E0 θ̂.Отсюда при помощи леммыEθ (θ̂ − E0 (θ̂|S0 )) = Eθ θ̂ − Eθ f (S0 ) = E0 θ̂ + θ − E0 θ̂ = θ.2.
Докажем, что оценки вида θ̂−E0 (θ̂|S0 ) — эквивариантные. Запишемсначала такую оценку в виде~ − f (S0 (X)).~θ̂(X)~ на X~ + c→ , получаемЗаменяя X~ + c→ ) − f (S0 (X~ + c→ )) = θ̂(X)~ + c − f (S0 (X)),~θ̂(Xчто и требовалось доказать.72Глава 23. Докажем, что для любой статистики S с конечным математическиможиданием E0 (S) справедлива формулаR∞→→~~−∞ S(X − u )p(X − u )duE0 (S|S0 ) =.R∞~ − u→ )dup(X−∞Для этого обозначим правую часть написанного равенства через S ∗и докажем два определяющих свойства условного математическогоожидания (см. приложение D). Сначала проверим, что S ∗ есть функцияот S0 . Для этого достаточно сделать замену переменной v = X1 − u:Z ∞∗S =S(v, X2 − X1 + v, .
. . , XN − X1 + v)−∞· p(v, X2 − X1 + v, . . . , XN − X1 + v)dvµZ ∞¶−1p(v, X2 − X1 + v, . . . , XN − X1 + v)dv.·−∞Докажем теперь второе свойство — равенство математическихожиданий. Зафиксируем ограниченную функцию Z = Z(S0 ) и докажем,чтоE0 (ZS ∗ ) = E0 (ZS).Подставляя определения, меняя порядок интегрирования и делая замену~y = ~x − u→ , получимE0 (ZS ∗ )µZZ¶Z(S0 (~x))S(~x − u→ )p(~x − u→ )duµZ¶−1·p(~x − v → )dvp(~x)d~xZ µZ=Z(S0 (~x))S(~x − u→ )p(~x − u→ )p(~x)!µZ¶=−1·→p(~x − v )dvd~x duZ µZ=Z(S0 (~y + u→ ))S(~y )p(~y )p(~y + u→ )µZ·¶−1p(~y + u→ − v → )dv!d~y du.Теория оценивания73Воспользуемся теперь инвариантностью S0 , а затем снова поменяемпорядок интегрирования.
ПолучимZE(ZS ∗ ) =Z(S0 (~y ))S(~y )p(~y )µZµZ¶−1 !·p(~y + u→ )p(~y + u→ − v → )dvdu d~y .Остается заметить, что внутренний (по переменной u) интеграл равен 1:µZZ→p(~y + u )¶−1→→p(~y + u − v )dvduµZ¶−1Z→→= p(~y + u )p(~y + w )dwduRp(~y + u→ )duR= 1.=p(~y + w→ )dwОкончательно получаемZ∗E0 (ZS ) =Z(S0 (~y ))S(~y )p(~y )d~y = E(ZS).Равенство E0 (S|S0 ) = S ∗ доказано.4.
Докажем утверждения 2 и 3 теоремы. Согласно предыдущемупункту доказательстваR~ −θ̂ − E0 (θ̂|S0 ) = θ̂(X)R=~ − u→ )p(X~ − u→ )duθ̂(XR~ − u→ )dup(X~ − θ̂(X~ − u→ )]p(X~ − u→ )du[θ̂(X)R~ − u→ )dup(XR~ − u→ )duup(X= R= θ̂0~ − u→ )dup(X(мы пользуемся эквивариантностью θ̂).Таким образом, утверждение 3 теоремы доказано. Утверждение 2теперь вытекает из п.1 доказательства.5. Докажем, что для любой эквивариантной оценки θ̂ Eθ (θ̂ − θ)2 не74Глава 2зависит от θ.
Действительно,ZEθ (θ̂ − θ)2 =(θ̂(~x) − θ)2 p(~x − θ→ )d~x =ZRNZ=[θ̂(~y + θ→ ) − θ]2 p(~y )d~y =RNRN[θ̂(~y )]2 p(~y )d~y = E0 (θ̂2 ).6.Докажем, наконец, утверждение 1 теоремы — эффективность. Сучетом п.5 имеемEθ (θ̂ − θ)2 = E0 (θ̂2 ) = E0 [(θ̂0 + E0 (θ̂|S0 ))2 ]= E0 ((θ̂0 )2 ) + E0 [(E0 (θ̂|S0 ))2 ] + 2E0 [θ̂0 E0 (θ̂|S0 )].Проверим, что последнее слагаемое равно нулю. По формуле полногоматематического ожиданияE0 [θ̂0 E0 (θ̂|S0 )] = E0 [E0 [θ̂0 E0 (θ̂|S0 )]].Проверим, чтоE0 [θ̂0 E0 (θ̂|S0 )|S0 ] = 0.Действительно, "локально постоянный"множитель E0 (θ̂|S0 ) выноситсянаружу, аE0 [θ̂0 |S0 ] = E0 [θ̂ − E0 (θ̂|S0 )|S0 ]= E0 (θ̂|S0 ) − E0 (E0 (θ̂|S0 )|S0 ) = 0.Для завершения доказательства замечаем, чтоEθ (θ̂ − θ)2 = E0 ((θ̂0 )2 ) + E0 [(E0 (θ̂|S0 ))2 ]≥ E0 ((θ̂0 )2 ) = Eθ (θ̂0 − θ)2(последнее равенство следует из эквивариантности θ̂0 (см.
п.2) и п.5).Рассмотрим теперь два примера.Пример3.Однопараметрическоесемействонормальныхраспределений N(a, 1).Для построения эффективной эквивариантной оценки â0 заметим, что()NX1~ − a→ ) = (2π)−N/2 exp −p(X(Xi − a)2 =2 i=1()NX√√1= N −1/2 (2π)−N/2 exp −(Xi − X̄)2 · N ϕ( N (a − X̄)).2 i=1Теория оценивания75Первый множитель при вычислении оценки Питмена сокращается, и мыполучаем√R √aNϕ(N (a − X̄))da√â0 = R √= X̄.N ϕ( N (a − X̄))daДействительно, по аргументу a функция√√N ϕ( N (a − X̄))является плотностью нормального распределения N(X̄, 1/N ).
Поэтомуинтеграл в знаменателе равен 1, а интеграл в числителе — среднемузначению указанного нормального распределения.Пример 5. Найдем эффективную эквивариантную оценку дляпараметра равномерного распределения на hθ, 1 + θi. Имеем½~ − θ) = 1, Xmax − 1 ≤ θ ≤ Xmin ,p(X0, иначе.ПоэтомуR Xminθ̂0 =2.10Xmax −1 uduXmin − Xmax + 1Другиеоценки21 Xmin− (Xmax − 1)2Xmin + Xmax − 1==.2 Xmin − (Xmax − 1)2подходыкпонятиюоптимальнойМы рассмотрим два таких подхода, приводящие к байесовским иминимаксным оценкам.Байесовский подход основан на предположении, что исследователюизвестны некоторые априорные предпочтения в множестве возможныхзначений параметра θ.
Другими словами, предполагается, чтофактическое значение параметра θtrue является реализовавшимсязначением некоторой случайной величины θ с плотностью распределенияq(t).Буквой t в этом параграфе мы далее будем обозначать конкретныезначения параметра, а буквой θ — параметр как случайную величину.Оценка θ∗ , минимизирующая полное математическое ожидание~ − θ)2 ,E(φ(X)76Глава 2называетсябайесовской,отвечающейаприорнойплотностиq. Здесь φ — переменная оценка, аргумент, по которому ипроизводитсяминимизация.Слова"полноематематическоеожидание"расшифровываются так:Z~ − θ)2 = Eq (Et (φ(X)~ − t)2 ) = Et (φ(X)~ − t)2 q(t)dt,E(φ(X)т.е. как взвешенное с помощью априорной плотности q среднее значение~ − t)2 . Другими словами, мы рассматриваеммер эффективности Et (φ(X)в пространстве RN +1 совместное распределение величин X1 , .
. . , XN , θ,плотность которого задается формулой p(~x; t)q(t), и соответствующеематематическое ожидание.~ (см.Из свойств условного математического ожидания E(θ|X)приложение D) вытекает, что именно оно дает нам байесовскую оценку.Для вычисления ее следует воспользоваться соответствующей условнойплотностьюp(~x; t)q(t)p(t|~x) = R,p(~x; τ )q(τ )dτтак чтоR~ t)q(t)dttp(X,~E(θ|X) = R(2.10)~ t)q(t)dtp(X,При всей привлекательности предлагаемого в байесовском подходеусреднения, следует подчеркнуть, что убедительно мотивировать выбортого или иного априорного распределения обычно очень трудно.Впрочем, сторонники байесовского подхода считают предположение осуществовании такого априорного распределения важнейшей частьюсвоей теоретической концепции (см., например, [13]).Заметим, что нормировка априорной плотности q несущественна— в формуле (2.10) нормирующие множители сокращаются.
Поэтомув качестве (ненормированной) плотности априорного распределенияможно взять, например, плотность видаexp(−t2 /2σ 2 )Тогда, например, в случае параметра сдвига при σ → ∞ изформулы (2.10) в пределе получается эквивариантная оценка Питменаиз параграфа 9.Перейдем теперь к определению минимаксных оценок. Оценка θ∗называется минимаксной, если для любой другой оценки θ̂sup Et (θ̂ − t)2 ≥ sup Et (θ∗ − t)2ttТеория оценивания77(т.е.
θ∗ минимизирует супремум, стоящий в левой части этогонеравенства).Мы видим, что оба подхода — байесовский и минимаксный —предлагают свои способы сравнения оценок. Любые две оценки при этомстановятся сравнимыми, но выбор того или иного способа сравненияостается открытым. Мы увидим ниже, что асимптотически все подходыдают примерно одно и то же.Простейшая связь байесовости и минимаксности выражаетсяследующей теоремой.ТЕОРЕМА 1.
Пусть θ∗ — байесовская оценка, отвечающаянекоторому априорному распределению q. Предположим, что для почтивсех t, принадлежащих носителю supp q плотности q, математическоеожидание Et (θ∗ − t)2 постоянно:Et (θ∗ − t)2 = c,а для остальных tEt (θ∗ − t)2 ≤ c.Тогда θ∗ — минимаксная оценка.Напомним, что носитель supp q по определению есть множество техt, где q(t) 6= 0.Докажем теорему 1. Пусть θ̂ — другая оценка. ТогдаZ2sup Et (θ̂ − t) ≥ Et (θ̂ − t)2 q(t)dtt(взвешенное среднее не превосходит супремума). Правая частьнаписанного неравенства по предположению байесовости не меньшеZEt (θ∗ − t)2 q(t)dt = c = sup Et (θ∗ − t)2 ,tчто и требовалось доказать.Распределение q, отвечающее минимаксной оценке, называетсянаихудшим. К сожалению, оно не всегда существует — это может бытьсвязано, в частности, с неограниченностью множества Θ измененияпараметра θ.
Приведем теорему, позволяющую обойти эту трудность.ТЕОРЕМА 2. Предположим, что для оценки θ∗ существуетпоследовательность априорных плотностей qk , такая, что при всех τZ∗2Eτ (θ − τ ) ≤ limr→∞ Et (θ̂k − t)2 qk (t)dt78Глава 2(θ̂k — байесовская оценка, отвечающая qk ). Тогда θ∗ минимаксна.Доказательство почти не отличается от доказательства теоремы 1.Пусть θ̂ — другая оценка.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
