Н.И. Чернова - Лекции по математической статистике, страница 4

. , n• Xi имеют распределение Пуассона Пλ , где λ > 0 — неизвестный параметр;здесь Fθ = Пλ , θ = λ, Θ = (0, ∞);• Xi имеют распределение Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр;здесь Fθ = Bp , θ = p, Θ = (0, 1);• Xi имеют равномерное распределение Ua,b , где a < b — неизвестные параметры;здесь Fθ = Ua,b , θ = (a, b), Θ = {(a, b) : a < b};Уйти• Xi имеют равномерное распределение U0,θ , где θ > 0 — неизвестный параметр;здесь Fθ = U0,θ , Θ = (0, ∞);• Xi имеют нормальное распределение Na,σ2 , где a ∈ IR, σ > 0 — неизвестные параметры;здесь Fθ = Na,σ2 , θ = (a, σ2 ), Θ = IR × (0, ∞);Стр. 28• Xi имеют нормальное распределение Na,4 , где a ∈ IR — неизвестный параметр;здесь Fθ = Na,4 , θ = a, Θ = IR.ОглавлениеJJIIJIНа стр.

... из 179Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсемничего нельзя сказать. Обычно тип распределения ясен заранее, и требуется лишьуказать значения параметров этого распределения.Так, в широких предположениях рост юношей одного возраста имеет нормальноераспределение (с неизвестными средним и дисперсией), а число покупателей в магазинев течение часа (не часа пик) — распределение Пуассона, и опять-таки с неизвестной«интенсивностью» λ.2.2.Точечные оценки.

Несмещенность, состоятельность оценокИтак, пусть X1 , . . . , Xn — выборка объема n из параметрического семействараспределений Fθ , θ ∈ Θ.НазадВо весь экранЗаметим, что все характеристики случайных величин X1 , . . . , Xn зависят от параметра θ.Так, например, для Xi с распределением Пуассона ПλE X1 = λ,УйтиСтр. 29P (X1 = 2) =λ2 −λe ,2D X1 = λи т. д.Чтобы отразить эту зависимость, будем писать Eθ X1 вместо E X1 и т.д. Так, Dθ1 X1означает дисперсию, вычисленную в предположении θ = θ1 .Во многих случаях эта условность необходима.

Предположим, что Xi имеют распределениеПуассона Пλ . В предположении, что λ = 1, имеем E X1 = 1, тогда как при λ = 7 имеемE X1 = 7. Таким образом, запись E X1 , без указания на распределение X1 , оказываетсяпросто бессмысленной.Определение 2. Статистикой называется произвольная функция θ∗ = θ∗ (X1 , . . . , Xn )от элементов выборки.ОглавлениеJJIIJIНа стр. ... из 179НазадЗамечание 5. Статистика есть функция от эмпирических данных, но никак не отпараметра θ. Статистика, как правило, предназначена именно для оценивания неизвестного параметра θ (поэтому ее иначе называют «оценкой»), и уже поэтому от негозависеть не может.Конечно, статистика есть не «любая», а «измеримая» функция от выборки (борелевская,для которой прообраз любого борелевского множества из IR есть снова борелевское множество в IRn ), но мы никогда не встретимся с иными функциями, и более на это обращатьвнимание не будем.Во весь экранУйтиСтр.

30Определение 3. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется несмещенной оценкойпараметра θ, если для любого θ ∈ Θ выполнено равенство Eθ θ∗ = θ.Определение 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется состоятельной оценкойpпараметра θ, если для любого θ ∈ Θ имеет место сходимость θ∗ −→ θ при n → ∞.ОглавлениеJJIIJIНа стр. ...

из 179НазадВо весь экранНесмещенность — свойство оценок при фиксированном n. Означает это свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании даннойоценки.Свойство состоятельности означает, что последовательность оценок приближается кнеизвестному параметру при увеличении количества данных. Понятно, что при отсутствии этого свойства оценка совершенно «несостоятельна» как оценка.Пример 3.

Пусть X1 , . . . , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0. Как найти оценки для параметров a и σ2 , если оба этипараметра (можно считать это и одним двумерным параметром) неизвестны?Мы уже знаем хорошие оценки для математического ожидания и дисперсии любогораспределения.Оценкой для истинного среднего a = Ea,σ2 X1 может служить выборочное среднееa∗ = X. Свойство 2 утверждает, что эта оценка несмещенная и состоятельная.Для дисперсии σ2 = Da,σ2 X1 у нас есть сразу две оценки:1X(Xi − X)2nnS2 =i=11 X(Xi − X)2n−1nиS20 =i=1УйтиСтр. 31(выборочная дисперсия и несмещенная выборочная дисперсия).Как показано в свойстве 4, обе эти оценки состоятельны, и одна из них — несмещенная. которая?Следующий метод получения оценок для неизвестных параметров как раз и предлагает использовать выборочные моменты вместо истинных.2.3. Методы нахождения оценок: метод моментовОглавлениеJJIIJIНа стр.

... из 179НазадВо весь экранМетод моментов заключается в следующем: любой момент случайной величины X1(например, k-й) зависит, часто функционально, от параметра θ. Но тогда и параметрθ может оказаться функцией от теоретического k-го момента. Подставив в эту функцию вместо неизвестного теоретического k-го момента его выборочный аналог, получимвместо параметра θ оценку θ∗ .Пусть X1 , . .

. , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ. Выберем некоторую функцию g(y) так, чтобы существовалмоментEθ g(X1 ) = h(θ),(3)и функция h была обратима в области Θ. Тогда в качестве оценки θ∗ для θ возьмемрешение уравненияg(X) = h(θ∗ ).Или (что то же самое), сначала решаем уравнение (3) относительно θ, а затемвместо истинного момента берем выборочный:Уйти1Xg(X) = h−1 g(Xi ) .nθ = h−1 (Eθ g(X1 )) ,θ∗ = h−1ni=1Стр. 32Чаще всего в качестве функции g(y) берут g(y) = yk .

В этом случаеEθ Xk1 = h(θ),и, если функция h обратима в области Θ, тоОглавление1 X k= h−1 Xi .nθ∗ = h−1 Xkθ = h−1 Eθ Xk1 ,ni=1JJIIJIНа стр. ... из 179НазадВо весь экранМожно сказать, что мы берем в качестве оценки такое (случайное) значение параметра θ, при котором истинный момент совпадает с выборочным.Пример 4. Пусть X1 , . . . , Xn — выборка объема n из равномерного на отрезке[0, θ] распределения U0,θ , где θ > 0.Найдем оценку метода моментов (ОММ) по первому моменту:Eθ X1 =Уйтиθ,2тогдаθ = 2Eθ X1и ОММ таковаθ∗1 = 2X.Найдем оценку метода моментов (ОММ) по k-му моменту:ZθEθ Xk1yk=1θkdy =,θk+10Стр.

33тогдаθ=qk(k + 1)Eθ Xk1 ,и ОММ такова:θ∗k =qk(k + 1)Xk .(4)Пример 5. Пусть X1 , . . . , Xn — выборка объема n из распределения Пуассона Пλс неизвестным параметром λ > 0. Введем новый параметрθ = θ(λ) = Pλ (X1 = 1) = λ e−λОглавлениеи найдем оценку метода моментов для θ с помощью функции g(y) = I(y = 1):Eλ g(X1 ) = Eλ I(X1 = 1) = Pλ (X1 = 1) = λ e−λ = θ,1XI(Xi = 1).nnJJIIJIНа стр. ... из 179НазадВо весь экранУйтиθ∗ = I(X = 1) =i=1Заметим, что оценку для параметра λ > 0 с помощью функции g(y) = I(y = 1)найти нельзя: функция h(λ) = λ e−λ не является взаимно-однозначной и, следовательно, обратимой по λ в области λ > 0.

Оценку для параметра λ разумно находить попервому моменту: Eλ X1 = λ, и λ∗ = X — оценка метода моментов.Замечание 6. Может случиться так, что θ∗ = h−1 (g(X)) 6∈ Θ, тогда как θ ∈ Θ.В этом случае оценку корректируют. Например, в качестве ОММ берут ближайшуюк h−1 (g(X)) точку из Θ или из замыкания Θ.Пример 6. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,1 с неотрицательным средним a > 0. Ищем оценку для a по первому моменту:Ea X1 = a,Стр. 34поэтомуa∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно.

Если X < 0,то в качестве оценки для a более подойдет 0. Если же X > 0, в качестве оценки нужнобрать X. Итого: a∗ = max{0, X} — «исправленная» оценка метода моментов.2.4.Состоятельность оценок метода моментовОглавлениеJJIIJIмоментов, причем функция h−1 непрерывна. Тогда θ∗ состоятельна.Доказательство теоремы 3. По ЗБЧ Хинчина имеем:На стр. ... из 179Во весь экран1Xpg(Xi ) −→ Eθ g(X1 ) = h(θ).nng(X) =НазадТеорема 3. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методуi=1Поскольку функция h−1 непрерывна, то иpθ∗ = h−1 g(X) −→ h−1 (Eθ g(X1 )) = h−1 (h(θ)) = θ.УйтиНапоминание: Для обратимой, т.

е. взаимно-однозначной функции h : IR → IRнепрерывность h и непрерывность h−1 эквивалентны.Стр. 35Если полученные разумным путем оценки обязаны быть состоятельными, то свойство несмещенности — скорее исключение, нежели правило.Действительно, несмещенность ОММ вида θ∗ = h−1 g(X) означала бы, что привсех θ ∈ Θ выполнено равенствоEθ h−1 g(X) = θ = h−1 (h(θ)) = h−1 Eθ g(X) .ОглавлениеJJIIJIНа стр. ... из 179(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой. В этом случаенеравенство Йенсена утверждает, что между левой и правой частью в (5) равенствовозможно лишь если случайная величина g(X) вырождена или если функция h−1линейна в области значений этой случайной величины.Рассмотрим, к примеру, последовательность оценок для неизвестного параметра θравномерного на отрезке [0, θ] распределения, полученную в примере 4 и исследуемнапрямую их свойства.Состоятельность:НазадpВо весь экранУйти1.

По ЗБЧ, θ∗1 = 2X −→ 2Eθ X1 = 2θ/2 = θ, т. е. оценка θ∗1 = 2X состоятельна.2. Заметим, что по ЗБЧ (или по свойству 3 — только для тех, кто его доказал) приn→∞θkpXk −→ Eθ Xk1 =.k+1Поскольку функцияСтр. 36(k + 1)y непрерывна для всех y > 0, то при n → ∞pkθ∗k =qksp(k + 1)Xk −→k(k + 1)θk= θ.k+1Упражнение. Зачем нужна ссылка на непрерывность функцииpk(k + 1)y?Несмещенность:1. По определению,Eθ θ∗1 = Eθ 2X = 2Eθ X = (по свойству 2) = 2θ/2 = θ,Оглавлениет. е. оценка θ∗1 = 2X несмещенная.2. Рассмотрим оценку θ∗2 .

Заметим, чтоJJIIJEθ θ∗2IНа стр. ... из 179= Eθ3X2 ,тогда как по свойству 2θ=НазадВо весь экранqq3Eθ X21 =q3Eθ X2 .РавенствоpEθ θ∗2 = θ означало бы, что для случайной величины ξ = 3X2 выполнено√√Eθ ξ = Eθ ξ, а для величины η = ξ выполнено Eθ η2 = (Eθ η)2 или Dθ η = 0.qУйтиСтр. 37Но величина η =3X2 имеет невырожденное(более того, абсолютно непрерывное)qраспределение. Поэтому оценка θ∗2 = 3X2 — смещенная. Такими же смещеннымибудут и оценки θ∗k , k > 2. Докажите это, воспользовавшись, как в (5), неравенствомЙенсена.q ∗ ∞kТо есть вся последовательность θk k=1 =(k + 1)Xk состоит из состоятельныхоценок, при этом только оценка θ∗1 = 2X — несмещенная.2.5.

Методы нахождения оценок: метод максимального правдоподобияОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранУйтиСтр. 38Метод максимального правдоподобия — еще один разумный способ построенияоценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ, максимизирующее вероятность получитьпри n опытах данную выборку X = (X1 , . .

. , Xn ). Это значение параметра θ зависитот выборки и является искомой оценкой.Решим сначала, что такое «вероятность получить данную выборку», т. е. что именнонужно максимизировать. Вспомним, что для абсолютно непрерывных распределений Fθих плотность fθ (y) — «почти» (с точностью до dy) вероятность попадания в точку y.А для дискретных распределений Fθ вероятность попасть в точку y равна Pθ (X1 = y).И то, и другое мы будем называть плотностью распределения Fθ . Итак,Определение 5.

Функциюплотность fθ (y),fθ (y) =Pθ (X1 = y),если распределение Fθ абсолютно непрерывно,если распределение Fθ дискретномы будем называть плотностью распределения Fθ .Для тех, кто знаком с понятием интеграла по мере, нет ничего странного в том,что мы ввели понятие плотности для дискретного распределения. Это — не плотностьотносительно меры Лебега, но плотность относительно считающей меры.Если для дискретного распределения величины X1 со значениями a1 , a2 , . . . ввести считающую меру # на борелевской σ-алгебре какZX#(B) = количество ai , принадлежащих B, то #(B) = #(dy) =1,ОглавлениеZи тогдаPθ (X1 ∈ B) =BJJIIJIНа стр. ... из 179Pθ (X1 = y) #(dy) =fθ (y) #(dy) =BBОпределение 6. Функция (случайная величина при фиксированном θ)f(X, θ) = fθ (X1 ) · fθ (X2 ) · .