1612725170-875f1dc1af30a046ee4b954c4f0d36bd (828896), страница 7
Текст из файла (страница 7)
И эта байесовскаяоценка определяется параметрическим семейством и усредняющей мерой.Заметим, что без ограничения общности можно предполагать, что Q – вероятностная мера(так как всегда можно ввести в рассмотрение меру Q(·)/Q(Θ)). Предполагаем в дальнейшем,что у этой меры существует плотность q(θ) относительно σ-конечной меры µ(dθ) при условии, что Θ – это область в R и что задано параметрическое семейство плотностей {fθ }θ∈Θотносительно σ-конечной меры λ(·) на X.24∗∗Теорема.
Для любого Q существует байесовская оценка θQ: δQ (θQ) = infδQ (θn∗ ).∗θnД ОКАЗАТЕЛЬСТВО . По определению усредненной функции потерь для любой оценки θn∗ZZ Z→→ q(θ)µ(dθ).n −→z ) − θ)2 Ψ−δθ (θn∗ ) = · · · (θn∗ (−z (θ)λ (d z )XnΘТак как интегрант этого повторного интеграла неотрицательная функция, то по теореме Фубини данный интеграл можно рассматривать как кратный на множестве Θ × Xn . Далее заметим,→что q(θ)Ψ−пространстве Θ × Xn относительно новойz (θ)) будет плотностьюZна расширенномZ→−→ (θ)λn (d z ) = 1. Следовательно, по теореме Фупродакт-меры λn (·)µ(·), так как · · · Ψ−zXnбиниZZ···−→→Ψ−z (θ)λ (d z )q(θ)µ(dθ) =nΘ×XnZZq(θ) Z···− µ(dθ) =→→Ψ−z (θ)λ (d z )nXnΘZq(θ)µ(dθ) = 1,Θe ∗ −θ)2 , где θ∗ и θ – случайные величитак как Q есть вероятностная мера.
Тогда δQ (θn∗ ) = E(θnnны на введенном расширенном вероятностном пространстве, а мера Q будет распределением(так называемым априорным) параметра θ . Мы ищем оценку θe∗ , минимизирующую выражеe ∗ − θ)2 .ние E(θnВспомним, что если ξ – скалярная случайная величина, η – вектор сопутствующих наблюb L(η) , где L(η) = {g(η) | Eg 2 (η) < ∞} реализуетсядений, то на ортопроекции gb(η) = E(ξ|η) = ξ|расстояние от элемента ξ до подпространства L(η), т. е.infg(η)∈L(η)E(ξ − g(η))2 = E(ξ − E(ξ|η))2 .И это соотношение верно на любом вероятностном пространстве.e ∗ − θ)2 .
Пусть θ∗ (X) = g(X) ∈ L(X), т. е. считаем выборВ нашем случае мы ищем infE(θnn∗θnку вектором сопутствующих наблюдений. Попадаем в условия вышеописанной модели. Тогдаeeсуществует единственная в L2 оценка θen∗ = E(θ|X).Осталось понять, как считать E(θ|X).Напомним, что если пара (ξ, η) имеет абсолютно непрерывноеZ распределение с плотно→−стью совместного распределения p (t, z ), то gb(η) = E(ξ|η) =tp (t|η)λ(dt), где условнаяξ,ηξRплотность распределения вычисляется по формуле БайесаZpξ,η (t, η)→−→и pη ( z ) = pξ,η (t, −z )λ(dt).pξ (t|η) =pη (η)eВ нашем случае θen∗ = E(θ|X)=Rtq(t|X)µ(dt), где q(t|X) – апостериорная плотностьΘраспределения параметра при фиксации выборки:q(t|X) = Rq(t)ΨX (t).q(s)ΨX (s)µ(ds)ΘТаким образом, задача решена полностью и дан алгоритм построения байесовских оценок.25Байесовский подход не лишен субъективизма, так как выбор Q в наших рассужденияхникак не был обоснован.
Меру Q иногда называют мерой уверенности исследователя.Пример. Рассмотрим семейство нормальных распределений {N(α,1) } с α ∈ N(0,σ) , т. е.считаем, что параметр α находится в окрестности нуля, являясь положительным и отрицательным с одинаковыми шансами (с точки зрения исследователя).Выпишем функцию правдоподобия! n/2 n/2221X1−nX1ntexp −(xi − t)2 =exp+ tnX −.Ψx (t) =2π22π221Посчитаем апостериорную плотность. Так как q(t) = √ expσ 2πквадрат по переменной t, получимfx exp − 1q(t)Ψx (t) = C2Xnt−n + 1/σ 2−t2, то выделяя полный2σ 22 !.XnМы получили плотность нормального распределения с параметром сноса. Тогда выn + 1/σ 2ражение для математического ожидания естьZeE(θ|x)=tq(t|x)µ(dt) =XnX=.2n + 1/σ1 + 1/nσ 2ΘПри больших значениях величины nσ 2 получаем близость оценки к ОМП X.Интервальное оценивание.
Метод доверительных интервалов.До сих пор мы имели дело с параметрическим семейством {Fθ } (возможно, представленным плотностями) и строили функцию от выборки θn∗ (X) той же размерности, что и параметр– т. е. точку, в том или ином смысле приближающую истинное значение параметра наблюдаемого распределения. Была задана мера точности – функция потерь δθn∗ (θ). При интервальномоценивании в качестве оценки неизвестного параметра предлагается не одна точка, а целоемножество.Определение. Пара упорядоченных статистик (θn− (X), θn+ (X)) называется доверительным интервалом уровня доверия 1 − ε (иногда говорят уровня ε), если при всех объемахнаблюдений справедлива следующая оценка вероятности покрытия случайным интерваломнеизвестного параметраP (θn− < θ < θn+ ) > 1 − ε.При знаке равенства получаем минимальный доверительный интервал.Это определение означает, что при малых ε (типичные порядки ε = 10−2 ÷ 10−4 ) событиепод знаком вероятности практически достоверно, т.
е. с очень высокой вероятностью реализуется двойное неравенство θn− < θ < θn+ (т. е. по существу можно убрать знак вероятности!).Конструкция оправдана, если доверительный интервал достаточно мал и его длина −−→ 0 прип.н.n → ∞. В данном методе мы получаем не усредненную характеристику погрешности оценки,а практически детерминированную.26Пример (Иллюстрация основного приема построения доверительных интервалов). Рассматриваем однопараметрическое семейство {Nα,1 } с неизвестным параметром сдвига. Задача: построить доверительный интервал заданного уровня для α.√1-й шаг построения. Рассмотрим функционал G(α, X) = n(X − α) ∈ N(0,1) – стандартный нормальный закон. Хотя G(α, X) явно зависит от α, но его распределение от α независит.2-й шаг. Отметим монотонность и непрерывность по α этого функционала (при этом знакмонотонности должен быть одинаков для всех X; в данном случае – убывание). Далее, потаблицам N0,1 построим симметричный двойной барьер (в данном случае распределение симметрично)P (−tε < G(α, X) < tε ) = 1 − εP (−tε < G(α, X) < tε ) = Φ(tε ) − Φ(−tε ) = 1 − 2Φ(−tε ) = 1 − ε.Таким образом, построение доверительного интервала в данном примере сводится к решеZxt21ε√ e− 2 dt – функция Лапласа (здесь мы испольнию уравнения Φ(−tε ) = , где Φ(x) =22π−∞зовали свойство симметрии этой функции: Φ(x) = 1 − Φ(−x)).3-й шаг.
Неравенство −tε < G(α, X) < tε разрешаем относительно α в силу монотонностиG(α, ·):tεtεX−√ <α<X+√ .nnА поскольку P (−tε < G(α, X) < tε ) = 1 − ε, то с той же вероятностью будет выполнено и вышеприведенное двойное неравенство. Таким образом, мы построили доверительный интервалуровня доверия 1 − ε для α с границами αn− = X − √tεn , αn+ = X + √tεn .Замечание.
Если рассматривать не {N(α,1) }, а {N(α,σ0 ) }, где σ0 известно, то используем√n(X − α)следующий функционал G(α, X) =∈ N(0,1) . В итоге получимσ0σ0 tεσ0 tε= 1 − ε.P X− √ <α<X+ √nn√Ширина доверительного интервалавданномслучае2σ0 tε / n, т. е. погрешность приближения√параметра имеет порядок 1/ n.Теперь приведем теорему, описывающую общую схему построения доверительных интервалов, все основные элементы которой содержатся в вышеприведенном примере.Теорема. Пусть для данного параметрического семейства Fθ существует функционал G(θ, X), распределение которого не зависит от θ.
Причем функционал G(θ, X)имеет строгую монотонность одного знака по θ для всевозможных значениях выборки и непрерывен по параметру. Тогда для наперед заданного ε > 0 пара (неупоря(1)(2)(1)(2)доченная) чисел {G−1 (tε , X), G−1 (tε , X)} с условием P (tε < G(θ, X) < tε ) > 1 − εобразует доверительный интервал уровня 1 − ε, где G−1 (t, X) – обратная функцияпо первому аргументу.Д ОКАЗАТЕЛЬСТВО .
Проведя эквивалентное преобразование неравенств при монотонновозрастающей функции G мы получим(2)−1 (1)−1 (2)P (t(1)ε < G(θ, X) < tε ) = P (G (tε , X) < θ < G (tε , X)) > 1 − ε.Для монотонно убывающей функции G индексы (1) и (2) нужно поменять местами.
27Пример. Рассматриваем нормальное распределение {N0,σ }, где σ – неизвестно. ПостроnPnS202x2i ≡им доверительный интервал для σ . Строим функционал G(σ, X) = 2 , где S20 = n1σi=1nn x2XPi≡ X 2 – второй выборочный момент. Следовательно, G(σ, X) ==ξi2 , где ξi ∈ N(0,1) ,2i=1 σi=1ξi – независимы.Определение. Сумма m квадратов независимых одинаково распределенных величин ξi ,имеющих стандартное нормальное распределение, имеет распределение χ2m – Хи - квадратс m степенями свободы.(1)(2)(1)Тогда G(σ, X) ∈ χ2n . По таблицам находим точки tε и tε такие, что P (tε < G(σ, X) <(2)tε ) = 1 − ε.
Проведя эквивалентные преобразования неравенств получим следующий доверительный интервал: 2nS0 nS20, (1) .(2)tεtεПостроение доверительных интервалов для параметровнормального распределения. Случай двух неизвестныхпараметров.Лемма (Р. Фишер). Пусть X – стандартный нормальный вектор, а C = kcij kn×n –ортогональная матрица. Тогда Y = XC является стандартным нормальным вектором.nPД ОКАЗАТЕЛЬСТВО .
Пусть Y = (y1 , . . . , yn ). Заметим, что yk =xi cik для k = 1, . . . , n.i=1В силу устойчивости нормального распределения все yk нормальны с параметрами α и σ 2 .Определим эти параметры, вспомнив их вероятностный смысл – математического ожиданияи дисперсии:nnX Xα = Eyk = Exi cik =cik Exi = 0;i=12σ = Dyk =Eyk2=EnXxi cik2=i=1i=1nXExi xj cik cjk =i,j=1nXi,j=1δij cik cjk =nXc2ik = 1.i=1Предпоследний знак равенства написан в силу того, что матрица C ортогональна, и значит, еестолбцы образуют ортонормированный базис.Осталось доказать независимость всех yk в совокупности. Согласно лемме, доказаннойв курсе теории вероятностей, координаты вектора, имеющего многомерное нормальное распределение, независимы тогда и только тогда, когда они некоррелированы.
Случайный векторY нормальный, поскольку он представляет собой невырожденное линейное преобразованиенормального случайного вектора X (это утверждение также было доказано в курсе теориивероятностей). Вычислим матрицу ковариаций случайного вектора Y :Cov(yk , ym ) = Eyk ym =nXExi xj cik cjm =i,j=1nXcik cim = δkm .i=1Таким образом, случайный вектор Y является стандартным нормальным. 28Следствие 1. Пусть выполнены условия леммы Фишера и r < n. Тогда квадратичнаяnPформа Q(X) =x2i −y12 −. . .−yr2 не зависит от случайного вектора (y1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
