Ульянов (новое издание) (1115355), страница 23
Текст из файла (страница 23)
Пусть X = (X1 , . . . , Xn ) — выборка из равномерного распределения на[0, θ], θ > 0. Тогда функция правдоподобия будет иметь видLn (x, θ) =1I{x >0} I{x(n) <θ} .θn | (1){z }h(x)Таким образом T (X) = X(n) достаточная статистика.115Лекция 1515.1Достаточные и полные статистикиРоль достаточных статистик в теории оценивания раскрывает следующая теорема.Теорема 15.1 (теорема Рао - Блекуэлла - Колмогорова).
Если оптимальнаяоценка существует, то она является функцией от достаточной статистики.Доказательство. При доказательстве нам потребуются два свойства условногоматематического ожидания:Ef (x, z) = E(E(f (x, z)|z)),E(g(z)|z) = g(z).(1)(2)Эти свойства были доказаны ранее, поэтому мы не будем останавливаться на ихдоказательстве.Пусть теперь T (X) — достаточная статистика, и пусть T1 (X) — несмещеннаяоценка для τ (θ), т.е.ET1 (X) = τ (θ).Рассмотрим функцию H(T ) = E(T1 |T ). Тогда из (1) слудует, чтоEH(T ) = E(E(T1 |T )) = ET1 = τ (θ),т.е. H(T ) является несмещенной оценкой для τ (θ).Используя равенства (1) и (2) получимE((T1 − H(T ))(H(T ) − τ (θ)) = E(E((T1 − H(T ))(H(T ) − τ (θ))|T ))= E((H(T ) − H(T ))(H(T ) − τ (θ))) = 0.ТогдаD(T1 ) = E(T1 − τ (θ))2 = E(T1 − H(T ) + H(T ) − τ (θ))2= E(T1 − H(T ))2 + D(H(T )) > D(H(T )).Таким образом H(T ) — оптимальная оценка.При отыскании явного вида оптимальных оценок важную роль играет свойствополноты достаточной статистики.Определение 15.1.
Достаточная статистика T (X) называется полной, если длялюбой функции ϕ(z) из равенства Eθ ϕ(T ) = 0, ∀θ ∈ Θ cледует, что ϕ(T ) = 0 свероятностью 1.116Замечание. В определении полноты утверждается, чтоPθ (x : ϕ(T (x) 6= 0)) = 0,где Pθ — распределение, порождаемое вектором (x1 , . . . , xn ) на Rk .Пример. Пусть X = (X1 , . . . , Xn ) — выборка из равномерного распределения на[0, θ], θ > 0. На прошлой лекции мы показали, что статистика T (X) = X(n) являетсядостаточной. Проверии ее полноту. Выпишем плотность распределения X(n) : n−1 zn n , z ∈ [0, θ],h(z) =θ0,иначе.ТогдаZEϕ(T ) =nϕ(z)h(z) dz = nθZθϕ(z)z n−1 dz = 0.0RИз определения интеграла Лебега сразу следует, что ϕ(z) = 0 с вероятностью 1.Таким образом достаточная статистика T (X) = X(n) является полной.Теорема 15.2.
Если T (X) — полная достаточная статистика, то она являетсяоптимальной оценкой своего математического ожидания.Доказательство. Докажем, что T (X) является единственной несмещенной оценкой для ET (X). Тогда T (X) будет оптимальной оценкой.Предположим, что T1 (X) — оптимальная оценка для ET . Из теоремы Рао - Блекуэлла - Колмогорова получаем, что T1 = H(T ) и ET1 = ET . ТогдаE (T (X) − H(T (X))) = 0,|{z}ϕ(T )и из условия полноты T (X) следует, что ϕ(T ) = 0 с вероятностью 1, т.е. T = H(T ) свероятностью 1.15.2Оценки максимального правдоподобияОдним из наиболее универсальных методов оценивания параметров распределенияявляется метод максимального правдоподобия.
Оценку параметра, получаемую спомощью этого метода, будем обозначать θ̂ = θ̂(X).Пусть X = (X1 , . . . , Xn ) — выборка из распределения L(X) ∈ F = {F (x, θ), θ ∈Θ} и Ln (x, θ) — функция правдоподобия.Определение 15.2. Оценкой максимального правдоподобия θ̂ параметра θ называется такая точка параметрического множества Θ, в которой функция правдоподобия Ln (x, θ) при заданном x достигает максимума, т.е.Ln (x, θ̂) = sup Ln (x, θ).θ∈Θ117Пример. Чтобы пояснить сказанное рассмотрим пример. Пусть X = (X1 , X2 ) —выборка из биномиального распределения Bi(1, θ).
В нашем случае функция правдоподобия будет иметь видL(x, θ) = θx1 +x2 (1 − θ)2−x1 +x2½¾1999Пусть параметрическое семейство Θ состоит из двух точек: Θ =,. Про100 1000водится эксперимент и наблюдается реализация (1, 1) выборки X. Функция правдоподобия примет видL(1, 1, θ) = θ2 .¾½999.Тогда в качестве неизвестного параметра следует, очевидно, взять точку1000Читатель может сам без труда выяснить, какую точку надо взять из множестваΘ, если наблюдаются реализации (0 , 0) , (1, 0) или (0,1) выборки X.Если для каждого x максимум функции правдоподобия достигается во внутренней точке Θ, и Ln (x, θ) дифференцируема по θ, то оценка максимального правдоподобия (о.м.п.) θ̂ удовлетворяет уравнению∂lnLn (x, θ)= 0.∂θЕсли θ векторный параметр: θ = (θ1 , .
. . , θn ), то это уравнение заменяется системойуравнение∂lnLn (x, θ)= 0,i = 1, . . . , n.∂θiЭти уравнения называются уравнениями правдоподобия.Утверждение 15.1. Если существует эффективная оценка T = T (X) скалярногопараметра θ, то она совпадает с оценкой максимального правдоподобия.Доказательство. На прошлых лекциях мы отмечали, что если оценка T = T (X)скалярного параметра θ эффективна, то в неравенстве Рао - Крамера достигаетсяравенство, т.е. имеет место представление∂lnLn (x, θ)= c(θ)(T (x) − θ).∂θЧто и доказывает наше утверждение.Утверждение 15.2.
Если T = T (X) достаточная статистика, а оценка максимального правдоподобия θ̂ существует и единственна, то она является функциейот T .Доказательство. Из критерия факторизации следует, что если T = T (X) достаточная статистика, то имеет место представлениеLn (x, θ) = g(T (x), θ)h(x).Таким образом, максимизации Ln (x, θ) сводится к максимизации g(T (x), θ) по θ.Следовательно θ̂ есть функция от T .118Пример.
Пусть X = (X1 , . . . , Xn ) — выборка из равномерного распределения на[θ, θ + 1]. Функция правдоподобия имеет видLn (x, θ) = I{x(1) >θ} I{x(n) <θ+1} .Отсюда следует, что любое θ ∈ [x(n) −1, x(1) ] максимизирует функцию правдоподобия.Таким образом о.м.п. не единственна. В качестве решения можно выбрать, например,θ̂ = (X(1) + X(n) − 1)/2.Пример. Рассмотрим так называемую общую нормальную модель N (θ1 , θ22 ). Максимизация функции правдободобия в этом случае эквивалентна минимизации по θфункци赶(x − θ1 )2 1 S 2Sψ(x, θ) =+− 1 − ln .222θ22 θ2θ2Заметим, что функция1f (x) = (x2 − 1) − ln x2достигает минимума при x = 1 иf (1) = 0,f (x) < 0 для всех x ∈ (0, 1),f 0 (x) > 0 для всех x > 1.0Поэтому1 2(x − 1) > ln x ∀x > 0.2Таким образом получили, что θ̂ = (X, S) является о.м.п.Утверждение 15.3 (Принцип инвариантности для оценок максимальногоправдоподобия).
Пусть f : Θ → F — взаимнооднозначое отображение из Θ в F.Тогда, если θ̂ есть о.м.п. для θ, то f (θ̂) есть оценка для f (θ).Доказательство. Так как sup Ln (x, θ) = sup Ln (x, f −1 (z)), то, если sup левой чаz∈Fθ∈Θсти достигается при θ = θ̂, то в правой части при некотором значении ẑ, котороеудовлетворяет равенству f −1 (ẑ) = θ̂, т.е. ẑ = f (θ̂).Замечание. В заключении отметим, что оценки максимального правдоподобия часто состоятельны, асимпотически несмещенные и асимпотически нормальные.119Лекция 1616.1Доверительные интервалы и трактовка коэффициента доверияПусть есть выборка X1 , . . . , Xn из L(X) ∼ N (θ, 1), тогда в качестве несмещеннойоптимальной оценки возьмемθ∗ = X.(Понятно, что x0 и x00 ) — это разные вещи.Пример. Вспомним первую лекцию.
Пусть даны цены Pt в моменты времени t,тогда относительная доходность в момент времени t равнаXt =Pt+1 − Pt.PtДля ряда финансовых инструментов поведение Xt близко к нормальному, то естьX1 , X2 , . . . , Xn из L(X) ∼ N (θ1 , θ22 );Естественно, что параметры θ1 , θ22 неизвестны, хотим найти для них оценки.
В качестве оценки беремθ1∗ = X.Очевидно, что полученные значения в январе и в феврале не обязаны совпадать, положим, что в январе θ1∗ = a, интересуемся какова вероятность того, что и в февралееполучим ту же величину. Понятно, чтоP(θ1∗ = a) = 0 в феврале.Поскольку вероятность получить конкретное значение равна нулю, будем искатьвероятность попадания в небольшой отрезок.Обозначим γ — уровень доверия,или коэффициент доверия, или надежность;γ ∼ 1.Определение 16.1. Пусть Y = (X1 , .
. . , Xn ) — выборка из L(X). Интервальнойоценкой для θ (доверительным интервалом) с коэффициентом доверияγ называется интервал (T1 (Y ), T2 (Y )) такой, чтоP(T1 (Y ) < θ < T2 (Y )) > γ.(T1 (Y ), T2 (Y ) — случайные величины.)120Рассмотрим, как это реализовать на практике.Пусть X1 , . . . , Xn из L(X) ∼ N (θ, 1).Тогдаn1X1θ =X=Xi ∼ N (θ, ).n i=1n∗Тогда√(X − θ) n ∼ N (0, 1)И уже для такой величины, имеющей стандартное нормальное распределение, строим интервальную оценку: то есть находим такое tγ/2 , что√P(|(X − θ) n| < tγ/2 ) = γ.Решаем его относительно θ и получае춵tγ/2tγ/2=γP X− √ <θ<X+ √nnВозникают два замечания:Замечание.
Почему был взят интервал, симметричный относительно 0? Более информативен, вообще говоря, меньший интервал. То есть наша цель — построитьинтервал наименьшей длины такой, что площадь под графиком плотности на этоминтервале равна γ. Ясно, что в случае стандартного нормального распределениясимметрия графика функции отностиельно оси Oy играет на нас.Замечание.
В конечном итоге получили доверительный интервалtγ/2tγ/2(X − √ , X + √ )nnВ этом случае tγ/2 находится по γ единственным образом, что, вообще говоря, происходит не всегда.Пример. Вспомним пример с данными о ценах за январь 2006 года. Размер выборкиn = 2000, и нами получен доверительный интервал (0, 5%, 1, 2%) с коэффициентомдоверия γ = 0, 99. Как трактовать такой результат?θ — средняя относительная доходность, это конкретное число, а не случайная величина, то есть вероятности ее нахождения никакой нет: либо параметр θ попал впостроенный интервал, либо нет, но и интервал, и параметр уже найдены.Возьмем N выборок и для каждой выборки посчитаем доверительный интервал.N+ — число доверительны интервалов из N построенных, которые действительносодержат θ.
ТогдаN+∼ γ по построению доверительного интервала.N121Лекция 1717.117.1.1Методы построения интервальных оценокМетод, основанный на точечных оценкахПусть X1 , . . . , Xn из L(X), θ ∈ ΘY = (X1 , . . . , Xn ), T (Y ) — точечная оценка для параметра θ с функцией распределения G(T, θ). Предположим, что G(T, θ) монотонна как функция θ.Пример. Имеем распределение N (θ, 1) и T (Y ) = X√√P(θ∗ < t) = P((θ∗ − θ) n < (t − θ) n)√= Φ((t − θ) n),где Φ(z) — функция стандартного нормального распределения.⇓√1G(t, θ) = Φ((t − θ) n), Φ(z) = √2πZz2 /2e−udu.−∞Следовательно, G(t, θ) монотонна.Пусть ε : 1/2 < ε < 1;для определенности предположим, что G(t, θ) монотонна по θ.Рассмотрим уравнения(G(T (Y ), θ) = ε,(1)G(T (Y ), θ) = 1 − ε. (2)Пусть θ1∗ (Y ) и θ2∗ (Y ) — решения первого и второго уравнений соответственно.Предположим, что (θ1∗ , θ2∗ ) ( или (θ2∗ , θ1∗ )) — интервал такой, чтоP(θ1∗ < θ < θ2∗ ) = γ(P(θ1∗ < θ < θ2∗ ) = γ),где γ = 2ε − 1.Пример.L(X) ∼ N (θ, 1);1T (Y ) = X ∼ N (θ, );n√1FX (t) = Φ( n(t − θ)), где Φ(t) = √2π122Zt2 /2e−u−∞du.√Φ( n(t − θ)) монотонно убывает по θ.Найдем решения (1) и (2) :Φ(z) = ε;Φ(z) строго возрастает ⇒ zε = Φ−1 (ε),Φ(z) = 1 − ε;⇒ z1−ε = Φ−1 (1 − ε).Принимая во внимание вид графика функции стандартного нормального распределения, имеем zε = −z1−ε .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
