1612725170-875f1dc1af30a046ee4b954c4f0d36bd (828896), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Оценка(статистика) θn∗ (X) – это функция от выборки, которая в том илиином смысле приближает неизвестный параметр θ.Существует общий приём построения оценок – метод подстановки. Этот метод в качестве оценки θn∗ предписывает взять функцию θn∗ = G(P∗n ). Одна из реализаций такого подходаназывается методом моментов, к изучению которого мы переходим.6Рассмотрим сначала одномерное параметрическое семейство распределений {Fθ }θ∈Θ⊆R .Введём функциюZmg (θ) = g(t) dFθ (t), θ ∈ Θ,где g – так называемая пробная функция.

Мы хотим построить состоятельную оценку дляθ. Для этого метод моментов предлагает вместо функции распределения Fθ (t) использоватьэмпирическую функцию распределения Fn∗ (t) :Zng(t) dFn∗ (t)1X=g(xi ) = g(x).n i=1n1XСогласно УЗБЧ имеемg(xi ) −−→ Eg(x1 ) = mg (θ0 ). Значит, при большом количестве нап.н.n i=1блюдений должно выполняться приближенное равенство: mg (θ0 ) ≈ g(x), где g(x) – известнаяфункция. Если уравнение mg (θ0 ) = g(x) разрешимо, то его решение θn∗ называется оценкойпо методу моментов (ОММ).Теорема (одномерный случай). Если функция mg (θ) является непрерывной и строго монотонной для некоторой пробной функции g, то оценка по методу моментовявляется сильно состоятельной.Д ОКАЗАТЕЛЬСТВО .

У монотонной непрерывной функции mg (θ) существует обратная функ−1∗ция m−1g (θ), которая также является непрерывной и монотонной. Тогда θn = mg (g(x)).В силу УЗБЧ g(x) −−→ Eg(x1 ). Так как m−1g – непрерывная функция, топ.н.−1m−1−→ m−1g (g(x)) −g (Eg(x1 )) = mg (mg (θ0 )) = θ0 .п.н.Таким образом, θn∗ −−→ θ0 . п.н.Перейдём к k-мерному варианту метода моментов, когда параметр θ ∈ Rk . Вводим k пробных функций g1 , . . .

, gk и по каждой из них строим соответствующие функции mgi (θ1 , . . . , θk ).Получаем систему уравненийmgi (θ1 , . . . , θk ) = gi (x), i = 1, . . . , k.∗(1)∗(k)Если эта система разрешима, то векторная оценка θn∗ = (θn , . . . , θn ) называется ОММ.Заметим, что эта оценка может быть неединственной.Примеры.1. Одномерный случай.

Рассматривается распределение Пуассона {πλ }, λ > 0. В качествепробной функции возьмём g(x) = x. Тогда m(λ) = λ; эмпирическим аналогом функции g будетg(x) = x. Получаем уравнение λ = x, решением которого является λ∗n = x −−→ λ0 .п.н.Если в качестве пробной функции взять g(x) = x2 , то m2 (λ) = λ + λ2 . И уравнение приметвид λ2 + λ − x2 = 0. Решая его и учитывая, что параметр λ положителен, получимpp1 + 4(λ2 + λ) − 11 + 4x2 − 12λ + 1 − 1∗λn =−−→== λ.п.н.222Упражнение. Найти ОММ, взяв в качестве пробной функции g(x) = x3 .Как мы видим, один и тот же достаточно простой метод позволяет получить множествооценок одного и того же параметра, причём сильно состоятельных.72.

Двумерный случай. Рассмотрим нормальное распределение {N (α, σ)}. Возьмём пробные функции g1 (x) = x, g2 (x) = x2 . Тогда m1 (α, σ) = α, m2 (α, σ) = α2 + σ 2 . Получаемсистему двух (нелинейных) уравненийα = x,α 2 + σ 2 = x2 ,решением которой является двумерная статистика θn∗ = (x, S), где S 2 = x2 − (x)2 . В силуУЗБЧ имеем x −−→ α0 , S 2 −−→ Dx1 = σ02 .

Стало быть, полученная оценка является сильноп.н.п.н.состоятельной.Упражнение. Для атомарного распределения1, p1 ,..x1 = .m−1Pm, pm = 1 −pi ,i=1где p1 , . . . , pm−1 – неизвестные параметры, построить оценку по методу моментов и исследовать ее состоятельность.Метод максимального правдоподобия.Рассмотрим ещё один способ построения оценок. Как и в методе моментов, будем работатьс параметрическим классом распределений, задаваемом плотностями {fθ }θ∈Θ относительнойфиксированной σ-конечной меры. Ограничимся одномерными наблюдениями.Проиллюстрируем идею метода максимального правдоподобия на следующем примере.Пусть f0 (x) – плотность, график которой имеет одну вершину.

Введём семейство плотностейfθ (x) = f0 (x − θ), где θ – параметр сдвига. Пусть x1 – некоторая точка на числовой прямой.Принимая во внимание вероятностный смысл плотности распределения, наиболее правдоподобной плотностью из данного семейства следует считать ту, которая достигает максимумав точке x1 , так как чем выше плотность, тем выше вероятность попасть в окрестность этойточки.Формализуем описанную процедуру, переходя на язык параметра (ибо параметр и плотность находятся во взаимно однозначном соответствии).

Если θ0 – истинное значение параметра, то его оценкаθ̂n = arg max fθ (x1 ),θгде n = 1 – объём наблюдений.Пусть теперь X = (x1 , . . . , xn ) – выборка объёма n, которая является n-мерным случайным вектором с независимыми одинаково распределенными координатами. Плотность этоговектора есть произведение маргинальных плотностей:f (z1 , . . . , zn ) =nYfθ (zi ).i=1Реализуем высказанную выше идею. Введем в рассмотрение так называемую функцию правдоподобияnYΨX (θ) =fθ (xi ),i=18которая как раз и представляет собой суперпозицию плотности совместного распределениякоординат выборочного вектора и самой выборки.

Если существует экстремальная точка θ̂n =(θ)arg max fX (X), то она называется оценкой максимального правдоподобия (ОМП) неизθвестного параметра. Заметим, что в определении ОМП мы ничего не говорили об одновершинности графика плотности. Поэтому возникают вопросы о существовании и единственности ОМП. Отметим, что если экстремальных точек θ̂n = arg max ΨX (θ) несколько, то все ониθназываются ОМП.Пример неединственности ОМП. Построим ОМП для параметрического семейства равномерных распределений {U[θ,θ+1] }, θ ∈ R. Здесь(1, t ∈ [θ, θ + 1],fθ (t) =0, иначе.Отсюда легко получаем выражение для функции правдоподобия:(1, x(n) − 1 6 θ 6 x(1) ,ΨX (θ) =0, иначе,откуда следует, что в данном примере множество ОМП представляет собой целый отрезок{θ : x(n) − 1 6 θ 6 x(1) }.Упражнение.

Построить пример параметрического семейства распределений, для которого не существует ОМП.Указание: Рассмотреть параметрическое семейство, представитель которого является смесью (с фиксированными весами) произвольного нормального и стандартного нормальногораспределений.Примеры вычисления ОМП.1. Пуассоновское параметрическое семейство {πλ }, λ > 0. Любое решетчатое распределение имеет плотность относительно считающей меры.

В данном случаеfλ (x) =λx −λe , x ∈ Z+ .x!Выпишем функцию правдоподобияλnx −λnΨX (λ) = Qe .nxi !i=1Исследуем эту функцию на экстремум. Для этого найдем решение уравнения Ψ0X (λ) = 0. Получаем решение λ̂n = x. Учитывая вид функции, нам становится ясно, что это точка максимума. Отметим, что метод моментов давал тот же результат (более того, лучшей оценки дляпараметра λ в данном случае не существует). В силу УЗБЧ полученная оценка является сильно состоятельной.2. Нормальное распределение с двумя неизвестными параметрами {Nα,σ }.

Нам нужно исследовать функцию правдоподобия на экстремум. Так как монотонное преобразованиене меняет экстремальных точек, то для удобства можно перейти к логарифмической функции правдоподобия(ЛФП) LX (θ) = log ΨX (θ).В данном случае представителем параметрического семейства плотностей является2f(α,σ) =2e−(t−α) /2σ√.σ 2π9Переходя к ЛФП, получимn Xn1(xi − α)2nx2 αnx nα2n2√LX (α, σ) = log−log(σ·2n)−=−+ 2 − 2.2σ 222σ 2σ2σσ 2ni=1Для поиска стационарной точки решаем систему из двух уравнений. Первое уравнение:1∂L= 2 (nx − nα) = 0,∂ασиз него мы получаем ОМП для первого параметра α̂n = x.Второе уравнение при подстановки вместо α выборочного среднего принимает вид:∂Lnnx2 − 2αnx + nα2n1n12 − n(x)2 ] = −=−+=−+[nx+nS 2 = 0.∂σ 22σ 22σ 42σ 2 2σ 42σ 2 2σ 4Из этого уравнения мы получаем ОМП для второго параметра σ̂n2 = S 2 .

Наши результатысовпадают с ОММ, однако процесс вычислений оказался более трудоемким.3. Равномерное распределение на [0, θ]. Оценим θ двумя способами. Сначала воспользуемся методом моментов. В качестве функции m(θ) рассматриваем первый момент наблюдаемого распределения:Zθm(θ) = tfθ (t) dt,0где(1/θ, t ∈ [0, θ],fθ (t) =0, иначе.Тогда m(θ) = θ/2 и по методу моментов получаем уравнение θ/2 = x. Откуда θn∗ = 2x. Если∗бы мы в качестве пробных функций брали g(x) = xk , k ∈ N, то получили бы оценки θn,k=1/kk= ((k + 1)x ) .

Все эти оценки являются сильно состоятельными.Теперь воспользуемся методом максимального правдоподобия. Имеем( n1/θ , θ > x(n) = max xi ,i6nΨX (θ) =0, иначе.Получаем ОМП θ̂n = x(n) .Исследуем состоятельность оценки θ̂n = x(n) для равномерного распределения на [0, θ].Для этого рассмотримnθ−ε−−−→ 0.P(|x(n) − θ| > ε) = P(x(n) < θ − ε) =n→∞θТак как последовательность {x(n) } монотонна, то сходимость по вероятности совпадает сосходимостью почти наверное, т. е.

в последнем примере (впрочем, как и в предыдущих) ОМПсильно состоятельная.Заметим, что полученная в последнем примере ОМП не совпадает ни с какой из полученных ОММ. Но всё-таки эти оценки связаны.Упражнение. Доказать, что для всех выборок при фиксированном n имеет место предельное соотношение∗lim θn,k= x(n) .k→∞На качественном уровне можно отметить, что, как правило, ОМП предпочтительнее ОММ,так как являются более точными.

Характеристики

Список файлов лекций