Лекции по методам математической статистики (1162373), страница 6
Текст из файла (страница 6)
в силу полноты T .Теорема. Пусть ξ имеет распределение из семейства P = {Pϑ , ϑ ∈ Θ} и пусть T — полнаядостаточная статистика для P.Тогда1. Для каждой ДНО-функции существует несмещенная оценка, которая равномерно минимизирует риск для любой функции потерь L(ϑ, d), выпуклой относительно d, в частности,эта оценка является НРМД (или НОМД);2. вышеуказанная оценка — единственная несмещенная оценка, которая является функцией от T ; это единственная несмещенная оценка с минимальным риском при условии, чториск конечен и L(ϑ, d) строго выпукла по d.3.
Вычисление условного математического ожидания.1 Средние погрешности недо- и переоценки равны. Бывает еще так называемая медианная несмещенность — частоты недои переоценки равны: Pϑ (δ(X) < τ (ϑ)) = Pϑ (δ(X) > τ (ϑ)), ∀ϑ.20НРМД оценка может быть получена как условное математическое ожидание E[δ(ξ)|T ], гдеδ(ξ) — любая несмещенная оценка для τ (ϑ) (ее можно выбрать так, чтобы сделать вычислениеE[δ(ξ)|T ] как можно проще).Пример. Распределение U (0, ϑ).
ξ(n) = max{ξ1 , ..., ξn } — полная достаточная статистика. Так как Eξ1 = ϑ/2, то E[ξ1 |ξ(n) = t] будет НРМД оценкой для ϑ/2. Если ξ(n) = t, тоP {ξ1 = t} = 1/n и с вероятностью (n − 1)/n величина ξ1 равномерно распределена на (0, t)1 .Следовательно,1n−1tn+1tE[ξ1 |t] = t +=.nn 2n 2Таким образом, [(n + 1)/n]T /2 и [(n + 1)/n]T суть НРМД оценки для ϑ/2 и ϑ соответственно.Если снять условие выпуклости функции потерь, например, L(ϑ, d) 6 M , то можно придумать такую несмещенную оценку δ(ξ), что R(ϑ0 , δn ) → 0 для произвольного значения ϑ = ϑ0 .Теорема.
Пусть функция потерь L(ϑ, d) для оценивания τ (ϑ) ограничена, L(ϑ, d) 6 M и пусть L(ϑ, τ (ϑ)) = 0 для всехϑ. Допустим также, что τ (ϑ) — ДНО-функция и пусть ϑ0 — произвольное значение ϑ. Тогда существует последовательностьнесмещенных оценок δn , для которых R(ϑ0 , δn ) → 0.Доказательство. Поскольку τ (ϑ) — ДНО-функция, существует некоторая несмещенная оценка δ(ξ). Для любого 0 < π < 1пусть(τ (ϑ0 )с вероятностью 1 − π,0δπ(ξ) = 1[δ(ξ) − τ (ϑ0 )] + τ (ϑ0 ) с вероятностью π.π0 (ξ) — несмещенная оценка для всех π и всех ϑ, так какТогда δπ0Eϑ δ π(ξ) = (1 − π)τ (ϑ0 ) +π[τ (ϑ) − τ (ϑ0 )] + πτ (ϑ0 ) = τ (ϑ).π0 ) равен сумме (1 − π) × 0 и умноженной на π ожидаемой потери от оценкиПри ϑ = ϑ0 риск R(ϑ0 , δπчто0R(ϑ0 , δπ) 6 πM.1[δ(ξ)π− τ (ϑ0 )] + τ (ϑ0 ), так0 ) → 0.Если π → 0, то R(ϑ0 , δπ.(Басу доказал этот факт для более общего случая невыпуклых функций потерь.)Этот результат показывает, что за исключением тривиальных случаев для ограниченных функций потерь не существуетнесмещенных оценок не только с равномерно минимальным риском, но и с локально минимальным риском, поскольку прикаждом ϑ0 риск может быть сделан произвольно малым даже для несмещенных оценок.
Затруднение, связанное с невыпуклыми0 − τ (ϑ )| → 0.функциями потерь, возникает из-за возможности сколь угодно больших ошибок, так как при π → 0 ошибка |δπ0Для больших объемов выборки начинает влиять локальное поведение функции потерь вблизи истинного значения τ (ϑ),2поэтому процедура минимизации функции риска равносильна минимизации E[δ(ξ) − τ (ϑ)] .Замечание.
Такого рода трудностей не возникает при использовании медианной несмещенности.5.2Методы нахождения НРМД оценокМожно пользоваться рассмотренным ранее теоремами в несколько иных формулировках.Теорема Рао-Блэкуэлла: "Оптимальная оценка, если она существует, является функцией отдостаточной статистики" и Колмогорова: "Если существует полная достаточная статистика,то всякая функция от нее является оптимальной оценкой своего математического ожидания".1.
Решение уравнений для оценки δ. Если T — полная достаточная статистика, то НРМДоценка любой ДНО-функции τ (ϑ) однозначно определяется совокупностью уравнений длявсех ϑ ∈ Θ.Примеры.а). Для распределения Бернулли (P {ξ = 1} = p, P {ξ = 0} = 1 − p) легко показать, чтоnPT (ξ) =ξi является полной достаточной статистикой. Поэтому любую оценку функции τ (p)i=1следует искать в виде δ(T ). Пусть τ (p) = pq = p(1 − p). Поскольку T имеет биномиальноераспределение, уравнение для нахождения δ(T ) запишем в виде (условие несмещенности)Eδ(T ) =nXδ(t)Cnt pt q n−t = pqt=01 Это следует из того, что по условию, n-мерная случайная величина ξ имеет равномерное распределение на n-мерном кубеQ(ϑ) = {x = (x1 , ..., xn ) : 0 < x1 < ϑ, ..., 0 < xn < ϑ}.
Для 0 < t < ϑ множество уровня T (ξ) = t — это та часть поверхности кубаQ(t), что лежит в положительном октанте. Мера s(·) на этой поверхности — это обычная (n − 1)-мерная мера Лебега. Отсюдаусловная плотность ξ при данном = t постоянна на поверхности уровня T (ξ1 , ..., ξn ) = t. Поэтому условное распределение ξ приданном T — равномерное (на указанной поверхности).21для всех 0 < p < 1. Обозначим ρ = p/q, тогда q = (1 + ρ)−1 иnXδ(t)Cnt ρt = ρ (1 + ρ)n−2 =t=0n−1Xt−1 tCn−2ρ , 0 < ρ < ∞.t=1t(n−t)Сравнивая коэффициенты при степенях ρ, получаем δ(t) = n(n−1).б). Рассмотрим распределение Пуассона с параметром ϑ и оценим функцию τ (ϑ) = ϑ2 .nPФункция T (ξ) =ξi — полная достаточная статистика.
Рассмотрим статистикуi=1T1 = C(n)T (T − 1) и найдем неслучайную функцию C(n). Из условия несмещенности получаемEϑ C(n)T (T − 1) = C(n)(Eϑ T 2 − Eϑ T ) == C(n)(n2 ϑ2 + nϑ − nϑ) = n2 C(n)ϑ2 = ϑ2 ,Таким образом, при C(n) = n−2 наша оценка оптимальная.2. Метод моментов (более старый и простой метод).Вычисляются моменты как функции параметров, точные моменты заменяются выборочными, затем решается система уравнений относительно параметров.Пример. Рассмотрим распределение U (ϑ1 , ϑ2 ).ϑ1 + ϑ21X= A1 =ξi = ξ,2n1X 2ϑ2 + ϑ1 ϑ2 + ϑ22Eϑ ξ12 = 1= A2 =ξi = ξ 2 .3nEϑ ξ1 =Эта система эквивалентна следующейϑ1 + ϑ2 = 2ξ,ϑ1 ϑ2 = 4 ξ 2 − 3ξ 2 .ϑ1 и ϑ2 являются корнями уравнения t2 − 2ξt + 4 ξ 2 − 3ξ 2 = 0 иq√bϑ1 = ξ − 3(ξ 2 − ξ 2 ) = ξ − 3S 2 ,q√bϑ2 = ξ + 3(ξ 2 − ξ 2 ) = ξ + 3S 2 ,где S 2 =66.11nnP(ξi − ξ)2 .i=1Линейное оценивание.Теорема Гаусса-Маркова.Предположим, что наблюдению доступны лишь линейные комбинации неизвестных величин(наблюдения косвенные)ξi =kXaij αj + νi , i = 1, 2, .
. . , n.(6.1)j=1Пусть νi — независимые сл. величины, Eµ = 0, Dν = σ 2 , i = 1, 2, . . . , n.Требуется оценить αj , j = 1, 2, . . . , k, точнее, найти линейные (1) несмещенные (2) оценкиαbj с минимальной дисперсией (3).Запишем равенство (6.1) в виде22ξ=kXaj αj + ν,(6.2)j=1где aj = (a1j , a2j , . . . , anj ) , ξ, ν, aj ∈ Rn , n > k, векторы-столбцы aj линейно независимы, илив видеξ = Aα + ν, α ∈ Rk ,(6.3)Tпричем Eν = 0, Eνν T = σ 2 I.1.
(Линейность) Будем искать оценку αbj в виде αbj =nPbji ξi = (bj , ξ), bj = (bj1 , bj1 , . . . , bjn )T .i=12. Требование несмещенности дает:Ebαj =nXi=1bjikXais αs =knXXs=1s=1!bji aisαs = αj .(6.4)i=1Отсюда (bj , as ) = δjs , j, s = 1, 2, .
. . , k.nnPPb2ji = σ 2 ||bj ||2 .3. Вычислим дисперсию Dbαj = D bji ξi = σ 2i=1i=1Требование минимальности дисперсии приводит к следующей задаче на условный экстремум:Для каждого j найти min ||bj ||2 при условии (bj , as ) = δjs , j, s = 1, 2, . . . , k. Воспользуемся методом множителей Лагранжа. Напомним, что для нахождения минимума ϕ(x) приусловиях gi (x) = 0, i = 1, 2, . .
. , m, нужно, чтобы градиент gradϕ(x) был ортогонален всемповерхностям gi (x) = 0, i = 1, 2, . . . , m,gradϕ(x)может быть разложен по век т.е. градиентmPторам gradgi (x)), i = 1, 2, . . . , m: grad ϕ(x) −λi gi (x) = 0 при некоторых λi . Выражениеi=1в скобках — так называемая функция Лагранжа. Введем функцию ЛагранжаL = ||bj || − 22kXλjs (bj , as )(6.5)s=1kPи, дифференцируя по bji , получаем 2bji − 2λjs asi или bj =s=1несмещенности: (bj , ap ) =kPkPλjs as . Используем условиеs=1λjs (as , ap ) = δjp .s=1Отсюда λjs = (aj , as )− и окончательно1αbj =kX(aj , as )− (as , ξ).s=1Поскольку в векторно-матричной форме (aj , as ) = (AT A)js , тоαb = (A∗ A)−1 AT ξ.(6.6)Найдем матрицу ковариаций αb.
Посколькуαb − α = (AT A)−1 AT ξ − α = (AT A)−1 AT (Aα + ν) − α == (AT A)−1 AT Aα + (AT A)−1 AT ν − α = (AT A)−1 AT ν,тоE(bα − α)(bα − α)T = E(AT A)−1 AT νν T A(AT A)−1 = σ 2 (AT A)−1 .1 Знак −говорит о том, что берется соответствующий элемент матрицы, обратной к матрице ||(aj , as )||.23(6.7)Рассмотрим метод наименьших квадратов. Пусть αe выбираются из условия1nkXX(ξi −aij αj )2 ∼ min .i=1αjj=1Дифференцируя по αs , получимnkn XknXXXX2(ξi −aij αej )ais = 0 ⇒aij ais αej =ais ξi .i=1j=1i=1 j=1(6.8)i=1Отсюда получаемαe = (A∗ A)−1 A∗ ξ,т.е. ту же оценку,что и αb (eα=αb).Таким образом, справедлива Теорема Гаусса-Маркова:Пусть ξ измеряется по схеме (6.1).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
