Н.И. Чернова - Математическая статистика (1115306), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

Параметр θ принимает значения из некоторогомножества Θ.Например, для всех i = 1, . . . , n• Xi имеют распределение Пуассона Пλ , где λ > 0 — неизвестный параметр;здесь Fθ = Пλ , θ = λ, Θ = (0, ∞);• Xi имеют распределение Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр;здесь Fθ = Bp , θ = p, Θ = (0, 1);• Xi имеют равномерное распределение Ua,b , где a < b — неизвестные параметры;здесь Fθ = Ua,b , θ = (a, b), Θ = {(a, b) : a < b};• Xi имеют равномерное распределение U0,θ , где θ > 0 — неизвестный параметр;здесь Fθ = U0,θ , Θ = (0, ∞);• Xi имеют нормальное распределение Na,σ2 , где a ∈ IR, σ > 0 — неизвестные параметры;здесь Fθ = Na,σ2 , θ = (a, σ2 ), Θ = IR × (0, ∞);• Xi имеют нормальное распределение Na,4 , где a ∈ IR — неизвестный параметр;здесь Fθ = Na,4 , θ = a, Θ = IR.14Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсемничего нельзя сказать.

Обычно тип распределения ясен заранее, и требуется лишьуказать значения параметров этого распределения.Так, в широких предположениях рост юношей одного возраста имеет нормальноераспределение (с неизвестными средним и дисперсией), а число покупателей в магазинев течение часа (не часа пик) — распределение Пуассона, и опять-таки с неизвестной«интенсивностью» λ.2.2. Точечные оценки. Несмещенность, состоятельность оценокИтак, пусть X1 , . .

. , Xn — выборка объема n из параметрического семействараспределений Fθ , θ ∈ Θ.Заметим, что все характеристики случайных величин X1 , . . . , Xn зависят от параметра θ.Так, например, для Xi с распределением Пуассона ПλE X1 = λ,P (X1 = 2) =λ2 −λe ,2D X1 = λи т. д.Чтобы отразить эту зависимость, будем писать Eθ X1 вместо E X1 и т.д. Так, Dθ1 X1означает дисперсию, вычисленную в предположении θ = θ1 .Во многих случаях эта условность необходима. Предположим, что Xi имеют распределениеПуассона Пλ . В предположении, что λ = 1, имеем E X1 = 1, тогда как при λ = 7 имеемE X1 = 7.

Таким образом, запись E X1 , без указания на распределение X1 , оказываетсяпросто бессмысленной.Определение 2. Статистикой называется произвольная функция θ∗ = θ∗ (X1 , . . . , Xn )от элементов выборки.Замечание 5. Статистика есть функция от эмпирических данных, но никак неот параметра θ. Статистика, как правило, предназаначена именно для оцениваниянеизвестного параметра θ (поэтому ее иначе называют «оценкой»), и уже поэтому отнего зависеть не может.Конечно, статистика есть не «любая», а «измеримая» функция от выборки (борелевская,для которой прообраз любого борелевского множества из IR есть снова борелевское множество в IRn ), но мы никогда встретимся с иными функциями, и более на это обращатьвнимание не будем.Определение 3. Статистика θ∗ = θ∗ (X1 , .

. . , Xn ) называется несмещенной оценкойпараметра θ, если для любого θ ∈ Θ выполнено равенство Eθ θ∗ = θ.Определение 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется состоятельной оценкойpпараметра θ, если для любого θ ∈ Θ имеет место сходимость θ∗ −→ θ при n → ∞.15Несмещенность — свойство оценок при фиксированном n. Означает это свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании даннойоценки.Свойство состоятельности означает, что последовательность оценок приближается кнеизвестному параметру при увеличении количества данных. Понятно, что при отсутствии этого свойства оценка совершенно «несостоятельна» как оценка.Пример 3. Пусть X1 , . .

. , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0. Как найти оценки для параметров a и σ2 , если оба этипараметра (можно считать это и одним двумерным параметром) неизвестны?Мы уже знаем хорошие оценки для математического ожидания и дисперсии любогораспределения.Оценкой для истинного среднего a = Ea,σ2 X1 может служить выборочное среднее∗a = X. Свойство 2 утверждает, что эта оценка несмещенная и состоятельная.Для дисперсии σ2 = Da,σ2 X1 у нас есть сразу две оценки:1X(Xi − X)2nnS2 =1 X(Xi − X)2n−1nиS20 =i=1i=1(выборочная дисперсия и несмещенная выборочная дисперсия).Как показано в свойстве 4, обе эти оценки состоятельны, и одна из них — несмещенная.

которая?Следующий метод получения оценок для неизвестных параметров как раз и предлагает использовать выборочные моменты вместо истинных.2.3. Методы нахождения оценок: метод моментовМетод моментов заключается в следующем: любой момент случайной величины X1(например, k-й) зависит, часто функционально, от параметра θ. Но тогда и параметрθ может оказаться функцией от теоретического k-го момента. Подставив в эту функцию вместо неизвестного теоретического k-го момента его выборочный аналог, получимвместо параметра θ оценку θ∗ .Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ. Выберем некоторую функцию g(y) так, чтобы существовалмоментEθ g(X1 ) = h(θ),(3)и функция h была обратима в области Θ. Тогда в качестве оценки θ∗ для θ возьмемрешение уравненияg(X) = h(θ∗ ).Или (что то же самое), сначала решаем уравнение (3) относительно θ, а затемвместо истинного момента берем выборочный:1Xg(X) = h−1 g(Xi ) .nθ = h−1 (Eθ g(X1 )) ,θ∗ = h−1ni=116Чаще всего в качестве функции g(y) берут g(y) = yk .

В этом случаеEθ Xk1 = h(θ),и, если функция h обратима в области Θ, то1 X k= h−1 Xi .nθ∗ = h−1 Xkθ = h−1 Eθ Xk1 ,ni=1Можно сказать, что мы берем в качестве оценки такое (случайное) значение параметра θ, при котором истинный момент совпадает с выборочным.Пример 4. Пусть X1 , . . . , Xn — выборка объема n из равномерного на отрезке[0, θ] распределения U0,θ , где θ > 0.Найдем оценку метода моментов (ОММ) по первому моменту:Eθ X1 =θ,2тогдаθ = 2Eθ X1и ОММ такова θ∗1 = 2X.Найдем оценку метода моментов (ОММ) по k-му моменту:ZθEθ Xk1yk=1θkdy =,θk+10тогдаθ=qk(k + 1)Eθ Xk1 ,и ОММ такова: θ∗k =qk(k + 1)Xk .(4)Пример 5.

Пусть X1 , . . . , Xn — выборка объема n из распределения Пуассона Пλс неизвестным параметром λ > 0. Введем новый параметрθ = θ(λ) = Pλ (X1 = 1) = λ e−λи найдем оценку метода моментов для θ с помощью функции g(y) = I(y = 1):Eλ g(X1 ) = Eλ I(X1 = 1) = Pλ (X1 = 1) = λ e−λ = θ,1XI(Xi = 1).nnθ∗ = I(X = 1) =i=1Заметим, что оценку для параметра λ > 0 с помощью функции g(y) = I(y = 1)найти нельзя: функция h(λ) = λ e−λ не является взаимно-однозначной и, следовательно, обратимой по λ в области λ > 0. Оценку для параметра λ разумно находить попервому моменту: Eλ X1 = λ, и λ∗ = X — оценка метода моментов.Замечание 6.

Может случиться так, что θ∗ = h−1 (g(X)) 6∈ Θ, тогда как θ ∈ Θ.В этом случае оценку корректируют. Например, в качестве ОММ берут ближайшуюк h−1 (g(X)) точку из Θ или из замыкания Θ.Пример 6. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,1 с неотрицательным средним a > 0. Ищем оценку для a по первому моменту:Ea X1 = a,поэтомуa∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно. Если X < 0,то в качестве оценки для a более подойдет 0.

Если же X > 0, в качестве оценки нужнобрать X. Итого: a∗ = max{0, X} — «исправленная» оценка метода моментов.172.4. Состоятельность оценок метода моментовТеорема 3. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методумоментов, причем функция h−1 непрерывна. Тогда θ∗ состоятельна.Доказательство теоремы 3. По ЗБЧ Хинчина имеем:1Xpg(Xi ) −→ Eθ g(X1 ) = h(θ).nng(X) =i=1Поскольку функция h−1 непрерывна, то иpθ∗ = h−1 g(X) −→ h−1 (Eθ g(X1 )) = h−1 (h(θ)) = θ.Напоминание: Для обратимой, т.

е. взаимно-однозначной функции h : IR → IRнепрерывность h и непрерывность h−1 эквивалентны.Если полученные разумным путем оценки обязаны быть состоятельными, то свойство несмещенности — скорее исключение, нежели правило.Действительно, несмещенность ОММ вида θ∗ = h−1 g(X) означала бы, что привсех θ ∈ Θ выполнено равенствоEθ h−1 g(X) = θ = h−1 (h(θ)) = h−1 Eθ g(X) .(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой. В этом случаенеравенство Йенсена утверждает, что между левой и правой частью в (5) равенствовозможно лишь если случайная величина g(X) вырождена или если функция h−1линейна в области значений этой случайной величины.Рассмотрим, к примеру, последовательность оценок для неизвестного параметра θравномерного на отрезке [0, θ] распределения, полученную в примере 4 и исследуемнапрямую их свойства.Состоятельность:p1.

По ЗБЧ, θ∗1 = 2X −→ 2Eθ X1 = 2θ/2 = θ, т. е. оценка θ∗1 = 2X состоятельна.2. Заметим, что по ЗБЧ (или по свойству 3 — только для тех, кто его доказал) приn→∞θkp.Xk −→ Eθ Xk1 =k+1Поскольку функцияpk(k + 1)y непрерывна для всех y > 0, то при n → ∞θ∗k =sqkp(k + 1)Xk −→k(k + 1)θk= θ.k+1Упражнение. Зачем нужна ссылка на непрерывность функции18pk(k + 1)y?Несмещенность:1. По определению,Eθ θ∗1 = Eθ 2X = 2Eθ X = (по свойству 2) = 2θ/2 = θ,т. е.

оценка θ∗1 = 2X несмещенная.2. Рассмотрим оценку θ∗2 . Заметим, чтоEθ θ∗2 = Eθq3X2 ,тогда как по свойству 2θ=q3Eθ X21q=3Eθ X2 .РавенствоpEθ θ∗2 = θ означало бы, что для случайной величины ξ = 3X2 выполнено√√Eθ ξ = Eθ ξ, а для величины η = ξ выполнено Eθ η2 = (Eθ η)2 или Dθ η = 0.qНо величина η =3X2 имеет невырожденное(более того, абсолютно непрерывное)qраспределение.

Поэтому оценка θ∗2 = 3X2 — смещенная. Такими же смещеннымибудут и оценки θ∗k , k > 2. Докажите это, воспользовавшись, как в (5), неравенствомЙенсена.q ∗ ∞kkсостоит из состоятельных(k + 1)XТо есть вся последовательность θk k=1 =оценок, при этом только оценка θ∗1 = 2X — несмещенная.2.5. Методы нахождения оценок: метод максимального правдоподобияМетод максимального правдоподобия — еще один разумный способ построенияоценки неизвестного параметра. Состоит он в том, что в качестве «наиболее правдоподобного» значения параметра берут значение θ, максимизирующее вероятность получитьпри n опытах данную выборку X = (X1 , .

. . , Xn ). Это значение параметра θ зависитот выборки и является искомой оценкой.Решим сначала, что такое «вероятность получить данную выборку», т. е. что именнонужно максимизировать. Вспомним, что для абсолютно непрерывных распределений Fθих плотность fθ (y) — «почти» (с точностью до dy) вероятность попадания в точку y.А для дискретных распределений Fθ вероятность попасть в точку y равна Pθ (X1 = y).И то, и другое мы будем называть плотностью распределения Fθ . Итак,Определение 5.

Функциюплотность fθ (y),fθ (y) =Pθ (X1 = y),если распределение Fθ абсолютно непрерывно,если распределение Fθ дискретномы будем называть плотностью распределения Fθ .Для тех, кто знаком с понятием интеграла по мере, нет ничего странного в том,что мы ввели понятие плотности для дискретного распределения. Это — не плотностьотносительно меры Лебега, но плотность относительно считающей меры.19Если для дискретного распределения величины X1 со значениями a1 , a2 , . . . ввести считающую меру # на борелевской σ-алгебре какZX1,#(B) = количество ai , принадлежащих B, то #(B) = #(dy) =ZPθ (X1 ∈ B) =и тогдаPθ (X1 = y) #(dy) =fθ (y) #(dy) =Bai ∈BBZXPθ (X1 = ai ).ai ∈BBЕсли же X1 имеет абсолютно непрерывное распределение, то fθ (y) есть привычная плотностьотносительно меры Лебега λ(dy) = dy:ZZPθ (X1 ∈ B) = fθ (y) λ(dy) = fθ (y) dy.BBОпределение 6.

Характеристики

Список файлов книги