Математическая статистика (PDF) (543620), страница 4
Текст из файла (страница 4)
... из 179НазадВо весь экранУйти7. Из курса «Эконометрика»: доказать, что среднее степенноеv!un k1u 1XkktXk=Xini=1а) стремится к X(1) при k → −∞ б) стремится к X(n) при k → +∞Имеется в виду сходимость для любого набора чисел X1 , . . . , Xn , такого, что среднее степенное определено, т. е. сходимость п. н.Указание.
Вынести X(1) (или X(n) ) из-под корня, воспользоваться леммой о двух милици√√k1 → 1 при k → +∞, и т.д.онерах и свойствами: k k → 1 при k → +∞,8. В условиях предыдущей задачи доказать, что последовательностьv!unqu 1Xkkkt∗kE (ξ ) =Xi , k = 1, 2, 3, . . .ni=1Стр.
27не убывает по k. Указание. Воспользоваться неравенством Йенсена.2. Точечное оценивание2.1.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранПараметрические семейства распределенийПредположим, что имеется выборка объема n, элементы которой X1 , .
. . , Xnнезависимы, одинаково распределены и имеют распределение Fθ , известным образомзависящее от неизвестного параметра θ.Здесь Fθ — некий класс распределений, целиком определяющихся значением скалярного или векторного параметра θ. Параметр θ принимает значения из некоторогомножества Θ.Например, для всех i = 1, . . .
, n• Xi имеют распределение Пуассона Пλ , где λ > 0 — неизвестный параметр;здесь Fθ = Пλ , θ = λ, Θ = (0, ∞);• Xi имеют распределение Бернулли Bp , где p ∈ (0, 1) — неизвестный параметр;здесь Fθ = Bp , θ = p, Θ = (0, 1);• Xi имеют равномерное распределение Ua,b , где a < b — неизвестные параметры;здесь Fθ = Ua,b , θ = (a, b), Θ = {(a, b) : a < b};Уйти• Xi имеют равномерное распределение U0,θ , где θ > 0 — неизвестный параметр;здесь Fθ = U0,θ , Θ = (0, ∞);• Xi имеют нормальное распределение Na,σ2 , где a ∈ IR, σ > 0 — неизвестные параметры;здесь Fθ = Na,σ2 , θ = (a, σ2 ), Θ = IR × (0, ∞);Стр.
28• Xi имеют нормальное распределение Na,4 , где a ∈ IR — неизвестный параметр;здесь Fθ = Na,4 , θ = a, Θ = IR.ОглавлениеJJIIJIНа стр. ... из 179Такая постановка имеет смысл, поскольку редко о проводимом эксперименте совсемничего нельзя сказать. Обычно тип распределения ясен заранее, и требуется лишьуказать значения параметров этого распределения.Так, в широких предположениях рост юношей одного возраста имеет нормальноераспределение (с неизвестными средним и дисперсией), а число покупателей в магазинев течение часа (не часа пик) — распределение Пуассона, и опять-таки с неизвестной«интенсивностью» λ.2.2.Точечные оценки. Несмещенность, состоятельность оценокИтак, пусть X1 , . . .
, Xn — выборка объема n из параметрического семействараспределений Fθ , θ ∈ Θ.НазадВо весь экранЗаметим, что все характеристики случайных величин X1 , . . . , Xn зависят от параметра θ.Так, например, для Xi с распределением Пуассона ПλE X1 = λ,УйтиСтр. 29P (X1 = 2) =λ2 −λe ,2D X1 = λи т. д.Чтобы отразить эту зависимость, будем писать Eθ X1 вместо E X1 и т.д. Так, Dθ1 X1означает дисперсию, вычисленную в предположении θ = θ1 .Во многих случаях эта условность необходима. Предположим, что Xi имеют распределениеПуассона Пλ . В предположении, что λ = 1, имеем E X1 = 1, тогда как при λ = 7 имеемE X1 = 7. Таким образом, запись E X1 , без указания на распределение X1 , оказываетсяпросто бессмысленной.Определение 2.
Статистикой называется произвольная функция θ∗ = θ∗ (X1 , . . . , Xn )от элементов выборки.ОглавлениеJJIIJIНа стр. ... из 179НазадЗамечание 5. Статистика есть функция от эмпирических данных, но никак неот параметра θ. Статистика, как правило, предназаначена именно для оцениваниянеизвестного параметра θ (поэтому ее иначе называют «оценкой»), и уже поэтому отнего зависеть не может.Конечно, статистика есть не «любая», а «измеримая» функция от выборки (борелевская,для которой прообраз любого борелевского множества из IR есть снова борелевское множество в IRn ), но мы никогда встретимся с иными функциями, и более на это обращатьвнимание не будем.Во весь экранУйтиСтр. 30Определение 3. Статистика θ∗ = θ∗ (X1 , .
. . , Xn ) называется несмещенной оценкойпараметра θ, если для любого θ ∈ Θ выполнено равенство Eθ θ∗ = θ.Определение 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называется состоятельной оценкойpпараметра θ, если для любого θ ∈ Θ имеет место сходимость θ∗ −→ θ при n → ∞.ОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранНесмещенность — свойство оценок при фиксированном n.
Означает это свойство отсутствие ошибки «в среднем», т.е. при систематическом использовании даннойоценки.Свойство состоятельности означает, что последовательность оценок приближается кнеизвестному параметру при увеличении количества данных. Понятно, что при отсутствии этого свойства оценка совершенно «несостоятельна» как оценка.Пример 3. Пусть X1 , . . . , Xn — выборка объема n из нормального распределенияNa,σ2 , где a ∈ IR, σ > 0. Как найти оценки для параметров a и σ2 , если оба этипараметра (можно считать это и одним двумерным параметром) неизвестны?Мы уже знаем хорошие оценки для математического ожидания и дисперсии любогораспределения.Оценкой для истинного среднего a = Ea,σ2 X1 может служить выборочное среднееa∗ = X.
Свойство 2 утверждает, что эта оценка несмещенная и состоятельная.Для дисперсии σ2 = Da,σ2 X1 у нас есть сразу две оценки:1X(Xi − X)2nnS2 =i=11 X(Xi − X)2n−1nиS20 =i=1УйтиСтр. 31(выборочная дисперсия и несмещенная выборочная дисперсия).Как показано в свойстве 4, обе эти оценки состоятельны, и одна из них — несмещенная. которая?Следующий метод получения оценок для неизвестных параметров как раз и предлагает использовать выборочные моменты вместо истинных.2.3. Методы нахождения оценок: метод моментовОглавлениеJJIIJIНа стр. ... из 179НазадВо весь экранМетод моментов заключается в следующем: любой момент случайной величины X1(например, k-й) зависит, часто функционально, от параметра θ.
Но тогда и параметрθ может оказаться функцией от теоретического k-го момента. Подставив в эту функцию вместо неизвестного теоретического k-го момента его выборочный аналог, получимвместо параметра θ оценку θ∗ .Пусть X1 , . . . , Xn — выборка объема n из параметрического семейства распределений Fθ , где θ ∈ Θ.
Выберем некоторую функцию g(y) так, чтобы существовалмоментEθ g(X1 ) = h(θ),(3)и функция h была обратима в области Θ. Тогда в качестве оценки θ∗ для θ возьмемрешение уравненияg(X) = h(θ∗ ).Или (что то же самое), сначала решаем уравнение (3) относительно θ, а затемвместо истинного момента берем выборочный:Уйти1Xg(X) = h−1 g(Xi ) .nθ = h−1 (Eθ g(X1 )) ,θ∗ = h−1ni=1Стр. 32Чаще всего в качестве функции g(y) берут g(y) = yk . В этом случаеEθ Xk1 = h(θ),и, если функция h обратима в области Θ, тоОглавление1 X k= h−1 Xi .nθ∗ = h−1 Xkθ = h−1 Eθ Xk1 ,ni=1JJIIJIНа стр.
... из 179НазадВо весь экранМожно сказать, что мы берем в качестве оценки такое (случайное) значение параметра θ, при котором истинный момент совпадает с выборочным.Пример 4. Пусть X1 , . . . , Xn — выборка объема n из равномерного на отрезке[0, θ] распределения U0,θ , где θ > 0.Найдем оценку метода моментов (ОММ) по первому моменту:Eθ X1 =Уйтиθ,2тогдаθ = 2Eθ X1и ОММ таковаθ∗1 = 2X.Найдем оценку метода моментов (ОММ) по k-му моменту:ZθEθ Xk1yk=1θkdy =,θk+10Стр. 33тогдаθ=qk(k + 1)Eθ Xk1 ,и ОММ такова:θ∗k =qk(k + 1)Xk .(4)Пример 5. Пусть X1 , . . .
, Xn — выборка объема n из распределения Пуассона Пλс неизвестным параметром λ > 0. Введем новый параметрθ = θ(λ) = Pλ (X1 = 1) = λ e−λОглавлениеи найдем оценку метода моментов для θ с помощью функции g(y) = I(y = 1):Eλ g(X1 ) = Eλ I(X1 = 1) = Pλ (X1 = 1) = λ e−λ = θ,1XI(Xi = 1).nnJJIIJIНа стр. ... из 179НазадВо весь экранУйтиθ∗ = I(X = 1) =i=1Заметим, что оценку для параметра λ > 0 с помощью функции g(y) = I(y = 1)найти нельзя: функция h(λ) = λ e−λ не является взаимно-однозначной и, следовательно, обратимой по λ в области λ > 0.
Оценку для параметра λ разумно находить попервому моменту: Eλ X1 = λ, и λ∗ = X — оценка метода моментов.Замечание 6. Может случиться так, что θ∗ = h−1 (g(X)) 6∈ Θ, тогда как θ ∈ Θ.В этом случае оценку корректируют. Например, в качестве ОММ берут ближайшуюк h−1 (g(X)) точку из Θ или из замыкания Θ.Пример 6. Пусть X1 , . . . , Xn — выборка объема n из нормального распределения Na,1 с неотрицательным средним a > 0.
Ищем оценку для a по первому моменту:Ea X1 = a,Стр. 34поэтомуa∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно. Если X < 0,то в качестве оценки для a более подойдет 0. Если же X > 0, в качестве оценки нужнобрать X. Итого: a∗ = max{0, X} — «исправленная» оценка метода моментов.2.4.Состоятельность оценок метода моментовОглавлениеJJIIJIмоментов, причем функция h−1 непрерывна.
Тогда θ∗ состоятельна.Доказательство теоремы 3. По ЗБЧ Хинчина имеем:На стр. ... из 179Во весь экран1Xpg(Xi ) −→ Eθ g(X1 ) = h(θ).nng(X) =НазадТеорема 3. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методуi=1Поскольку функция h−1 непрерывна, то иpθ∗ = h−1 g(X) −→ h−1 (Eθ g(X1 )) = h−1 (h(θ)) = θ.УйтиНапоминание: Для обратимой, т. е. взаимно-однозначной функции h : IR → IRнепрерывность h и непрерывность h−1 эквивалентны.Стр.
35Если полученные разумным путем оценки обязаны быть состоятельными, то свойство несмещенности — скорее исключение, нежели правило.Действительно, несмещенность ОММ вида θ∗ = h−1 g(X) означала бы, что привсех θ ∈ Θ выполнено равенствоEθ h−1 g(X) = θ = h−1 (h(θ)) = h−1 Eθ g(X) .ОглавлениеJJIIJIНа стр. ... из 179(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой.
В этом случаенеравенство Йенсена утверждает, что между левой и правой частью в (5) равенствовозможно лишь если случайная величина g(X) вырождена или если функция h−1линейна в области значений этой случайной величины.Рассмотрим, к примеру, последовательность оценок для неизвестного параметра θравномерного на отрезке [0, θ] распределения, полученную в примере 4 и исследуемнапрямую их свойства.Состоятельность:НазадpВо весь экранУйти1.
По ЗБЧ, θ∗1 = 2X −→ 2Eθ X1 = 2θ/2 = θ, т. е. оценка θ∗1 = 2X состоятельна.2. Заметим, что по ЗБЧ (или по свойству 3 — только для тех, кто его доказал) приn→∞θkpXk −→ Eθ Xk1 =.k+1Поскольку функцияСтр. 36(k + 1)y непрерывна для всех y > 0, то при n → ∞pkθ∗k =qksp(k + 1)Xk −→k(k + 1)θk= θ.k+1Упражнение. Зачем нужна ссылка на непрерывность функцииpk(k + 1)y?Несмещенность:1. По определению,Eθ θ∗1 = Eθ 2X = 2Eθ X = (по свойству 2) = 2θ/2 = θ,Оглавлениет. е. оценка θ∗1 = 2X несмещенная.2. Рассмотрим оценку θ∗2 . Заметим, чтоJJIIJEθ θ∗2IНа стр.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
