Н.И. Чернова - Лекции по матстату (1115348), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Пусть параметр θ принимает значения из некоторого множестваΘ ⊆ Rk . Мы будем считать, что в классе распределений {Fθ , θ ∈ Θ} каждое распределение целикомопределяется значением параметра θ. То есть равенство θ1 = θ2 влечет равенство Fθ1 = Fθ2 .Например, рассматривается задача следующего вида: для всех i = 1, . . . , n• знаем: Xi ⊂= Πλ , где λ > 0; не знаем: λ;здесь Fθ = Πλ , θ = λ, Θ = (0, ∞);• знаем: Xi ⊂= Πλ , где λ ∈ (3, 5); не знаем: λ;здесь Fθ = Πλ , θ = λ, Θ = (3, 5);• знаем: Xi ⊂= Bp , где p ∈ (0, 1); не знаем: p;здесь Fθ = Bp , θ = p, Θ = (0, 1);• знаем: Xi ⊂= Ua,b , где a < b; не знаем: a, b;здесь Fθ = Ua,b , θ = {a, b}, Θ = {{a, b} : a < b};или одно знаем, другое — нет, например:• знаем: Xi ⊂= U0,θ , где θ > 0;здесь Fθ = U0,θ , Θ = (0, ∞);не знаем: θ• знаем: Xi ⊂= Na,σ2 , где a ∈ R, σ > 0; не знаем: a, σ 2здесь Fθ = Na,σ2 , θ = {a, σ 2 }, Θ = R × (0, ∞);(или одно знаем, другое — нет).Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсем ничего нельзясказать.

Обычно тип распределения ясен заранее, и требуется лишь указать значения параметров этогораспределения.Так, в широких предположениях рост юношей одного возраста имеет нормальное распределение (снеизвестными средним и дисперсией), а число покупателей в магазине в течение часа (не часа пик) —распределение Пуассона, и опять-таки с неизвестной «интенсивностью» λ.2.2Точечные оценки. Несмещенность, состоятельность оценокИтак, пусть X1 , . .

. , Xn — выборка объема n из параметрического семейства распределений Fθ , θ ∈ Θ.Заметим, что все характеристики случайных величин X1 , . . . , Xn зависят от параметра θ. Так, например, для Xi ⊂= Πλ :λ2 −λEX1 = λ, P(X1 = 2) =e , DX1 = λ и т.д.2Чтобы отразить эту зависимость, будем писать Eθ X1 вместо EX1 и т.д. Так, Dθ1 X1 означает дисперсию, вычисленную в предположении θ = θ1 .Упражнение. Пусть X1 ⊂= Bp , p1 = 0,5, p2 = 0,1. Вычислить Ep1 X1 , Ep2 X1 .Определение 2.

Статистикой называется любая (измеримая!) функция θ∗ = θ∗ (X1 , . . . , Xn ).Замечание 6. Статистика есть функция от эмпирических данных, т.е. от выборки X1 , . . . , Xn , ноникак не от параметра θ. Статистика, как правило, предназаначена именно для оценивания неизвестногопараметра θ (в этом случае ее называют «оценкой»), и уже поэтому от него зависеть не должна.Вообще говоря, статистика есть не «любая», а «измеримая» функция от выборки, но поскольку напрактике иного не бывает :), мы на это обращать внимание не будем.10Определение 3. Статистика θ∗ = θ∗ (X1 , .

. . , Xn ) называется несмещенной оценкой параметра θ,если для любого θ ∈ ΘEθ θ∗ = θ.Несмещенность — свойство оценок при фиксированном n. Означает это свойство отсутствие ошибки«в среднем», т.е. при систематическом использовании данной оценки.Определение 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется состоятельной оценкой параметра θ,если для любого θ ∈ Θpθ∗ −→ θ при n → ∞.Свойство состоятельности означает, что оценка приближается к неизвестному параметру при увеличении количества данных. Понятно, что при отсутствии этого свойства оценка совершенно «несостоятельна» как оценка.Пример 3. Пусть X1 , .

. . , Xn — выборка объема n, все Xi ⊂= Na,σ2 , где a ∈ R, σ > 0. Как найтиоценки для параметров a и σ 2 , если оба эти параметра (можно считать это и одним двумерным параметром) неизвестны?Мы уже знаем хорошие оценки для теоретического среднего, дисперсии любого распределения. И поскольку a = Ea,σ2 X1 , возьмем в качестве оценки для a выборочное среднее: a∗ = X.

Лемма 1 утверждает,что эта оценка несмещенная и состоятельная.n1X∗Так как σ 2 = Da,σ2 X1 , то есть даже две оценки: σ 2 =(Xi − X)2 — выборочная дисперсия иn i=1n1 XS02 =(Xi − X)2 — несмещенная выборочная дисперсия.n − 1 i=1Как показано в лемме 2, обе эти оценки состоятельны, и одна из них — несмещенная (какая?).Но такие «способы» получения оценок нуждаются в систематизации. Заметим сразу, что приведенныениже методы получения оценок ни из каких математических аксиом не выводятся.

Они просто разумны спрактической точки зрения. Именно на их разумность следует обратить внимание.2.3Методы нахождения оценок: метод моментовМетод моментов заключается в следующем: любой момент случайной величины X1 (например, k-й)есть функция от параметра θ. В свою очередь, параметр θ есть функция (обратная, если существует) оттеоретического k-го момента. Подставив в эту функцию вместо неизвестного теоретического k-го момента его выборочный аналог, получим вместо параметра θ оценку θ∗ .Итак, пусть X1 , .

. . , Xn — выборка объема n из параметрического семейства распределений Fθ , гдеθ ∈ Θ. Пусть(3)Eθ X1k = h(θ),причем функция h обратима. Тогда в качестве оценки θ∗ для θ берем решение уравненияX k = h(θ∗ ).Или (что то же самое), сначала решаем уравнение (3) относительно θ, а затем вместо истинногомомента берем выборочный:!n1X k−1k∗−1−1kθ = h (Eθ X1 ), θ = h (X ) = hX.n i=1 iМожно сказать, что мы берем в качестве оценки такое (случайное) значение параметра θ, при которомистинный момент совпадает с выборочным.11Пример 4. Пусть X1 , .

. . , Xn — выборка объема n, все Xi ⊂= U0,θ , где θ > 0.Найдем оценку метода моментов (ОММ) по первому моменту:Eθ X 1 =θ2|=⇒|=⇒θ = 2Eθ X1θ1∗ = 2X.Найдем оценку метода моментов (ОММ) по k-му моменту:Eθ X1k=Zθykθk1dy =θk+1|=⇒θ=qk(k + 1)Eθ X1k|=⇒θk∗ =qk(k + 1)X k .0Проверим свойства полученных оценок.Несмещенность:1. По определению, Eθ θ1∗ = Eθ 2X = 2Eθ X = (по лемме 1) = 2θ/2 = θ|=⇒ θ1∗ = 2X —несмещенная.ppp2. Рассмотрим оценку θ2∗ . Заметим, что Eθ θ2∗ = Eθ 3X 2 , тогда как θ = 3Eθ X12 = 3Eθ X 2 (полемме 1).√√РавенствоEθ θ2∗ = θ означало бы, что для с.в. ξ = 3X 2 выполнено Eθ ξ = Eθ ξ, а для величины√η = ξ выполнено Eθ η 2 = (Eθ η)2 .Вспомнитетот единственный случай, когда это возможно, чтобы согласиться с выводом: оценкаpθ2∗ = 3X 2 — смещенная (как, впрочем, и оценки θk∗ , k > 2).Состоятельность:p|=⇒1.

По ЗБЧ, θ1∗ = 2X −→ 2Eθ X1 = 2θ/2 = θθ1∗ = 2X — состоятельная.2. Заметим, что по ЗБЧ (или по лемме 3 — только для тех, кто ее доказал) при n → ∞pX k −→ Eθ X1k =Поскольку функцияθk.k+1pk(k + 1)y непрерывна для всех y > 0, то при n → ∞sqθkpkkθk∗ = (k + 1)X k −→ (k + 1)= θ.k+1pУпражнение. Зачем нужна ссылка на непрерывность функции k (k + 1)y?qkТо есть вся последовательность {θk∗ }∞={(k + 1)X k } состоит из состоятельных оценок, при этомk=1только оценка θ1∗ = 2X — несмещенная.Замечание 7. Может случиться так, что оценка θ∗ 6∈ Θ, тогда как θ ∈ Θ.

В этом случае в качествеоценки берут ближайшую к θ∗ точку из Θ, на худой конец — из замыкания Θ, если Θ не замкнуто.Пример 5. Пусть X1 , . . . , Xn — выборка объема n, все Xi ⊂= Na,1 , где по какой-то причине a > 0.Ищем оценку для a по первому моменту:Ea X 1 = a|=⇒a∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно. Понятно, что если X < 0, то вкачестве оценки для положительного параметра a более подойдет 0.

Если же X > 0, в качестве оценкинужно брать X. Итого: a∗ = max{0, X} — оценка метода моментов.122.4Состоятельность оценок метода моментовТеорема 5. Пусть θ∗ = h−1 (X k ) — оценка параметра θ, полученная по методу моментов,причем функция h−1 непрерывна. Тогда θ∗ состоятельна.Доказательство теоремы 5.pПо лемме 3 имеем: X k −→ Eθ X1k = h(θ). Поскольку функция h−1 непрерывна, то иpθk∗ = h−1 (X k ) −→ h−1 (Eθ X1k ) = h−1 (h(θ)) = θ.Замечание 8.

Для обратимой, т.е. взаимнооднозначной функции h : R → R непрерывность h инепрерывность h−1 эквивалентны.2.5Методы нахождения оценок: метод максимального правдоподобияМетод максимального правдоподобия — еще один разумный способ построения оценки неизвестногопараметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут зна~ = (X1 , . . .

, Xn ). Эточение θ, максимизирующее вероятность получить при n опытах данную выборку Xзначение параметра θ зависит от выборки и является искомой оценкой.Решим сначала, что такое «вероятность получить данную выборку», т.е. что именно нужно максимизировать. Вспомним, что для абсолютно непрерывных распределений Fθ их плотность fθ (y) — «почти»(с точностью до dy) вероятность попадания в точку y. А для дискретных распределений Fθ вероятностьпопасть в точку y равна Pθ (X1 = y). И то, и другое мы будем называть плотностью распределения Fθ(отступая при этом, для простоты, от терминологии теории вероятностей). Итак,Определение 5. Функциюобычная плотность ,fθ (y) =Pθ (X1 = y),если распределение Fθ абсолютно непрерывно,если распределение Fθ дискретномы будем называть плотностью распределения Fθ .Определение 6. Функция (вообще говоря, случайная величина)~ θ) = fθ (X1 ) · fθ (X2 ) · .

. . · fθ (Xn ) =Ψ(X,nYfθ (Xi )i=1называется функцией правдоподобия. Функция (тоже случайная)~ θ) = lnΨ(X,~ θ) =L(X,nXlnfθ (Xi )i=1называется логарифмической функцией правдоподобия.~ в данной серии экспериментов приняла значения (x1 , . . . , xn ), то (в дискретномЕсли наша выборка Xслучае) функция правдоподобия и есть вероятность этого события, разная при разных значениях параметра θ:Ψ(~x, θ) =nYfθ (xi ) = Pθ (X1 = x1 ) · . .

Характеристики

Список файлов лекций