1612725170-d2dcc605205feb3d5b9a0101f2221951 (828894), страница 4

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 4)

, xn > 0 — произвольные неотрицательные числа.Доказать, что в этом случае числовая последовательностьrqkxk=kxk1 + . . . + xkn,nk = 1, 2, 3, . . .не убывает по k. Воспользоваться неравенством Йенсена.9. Пусть дана выборка X1 , . . . , Xn такая, что X1 > 0 п. н. Доказать,что в этом случае последовательность случайных величинqkX k , k = 1, 2, 3, . .

.почти наверное не убывает по k. Воспользоваться результатом предыдущей задачи.10. Доказать теорему 7.11. Объяснить термины: «оценка», «несмещённость», «состоятельность», «асимптотическая нормальность» оценки.Г Л А В А IIТОЧЕЧНОЕ ОЦЕНИВАНИЕСитуация, когда о распределении наблюдений не известно совсем ничего,встречается довольно редко. Проводя эксперимент, мы можем предполагатьили утверждать что-либо о распределении его результатов. Например, можетоказаться, что это распределение нам известно с точностью до значений одного или нескольких числовых параметров.

Так, в широких предположенияхрост юношей одного возраста имеет нормальное распределение с неизвестными средним и дисперсией, а число покупателей в магазине в течение часа —распределение Пуассона с неизвестной «интенсивностью» λ. Рассмотрим задачу оценивания по выборке неизвестных параметров распределения. Оказывается, различными способами бывает возможно построить даже не одну,а множество оценок для одного и того же неизвестного параметра.§ 1. Точечные оценки и их свойстваПараметрические семейства распределений.

Пусть имеется выборкаX1 , . . . , Xn объёма n, извлечённая из распределения Fθ , которое известным образом зависит от неизвестного параметра θ.Здесь Fθ — некий класс распределений, целиком определяющихся значением скалярного или векторного параметра θ. Параметр θ принимаетзначения из некоторого множества Θ, которое мы будем называть множеством возможных значений параметра.Примерами параметрических семейств распределений могут служитьвсе известные нам распределения: распределение Пуассона Πλ , где λ > 0;распределение Бернулли Bp , где p ∈ (0, 1); равномерное распределениеUa, b , где a < b; равномерное распределение U0, θ , где θ > 0; нормальноераспределение Na, σ2 , где a ∈ R, σ > 0 и т.

д.Точечные оценки. Итак, пусть X1 , . . . , Xn — выборка объёма n изпараметрического семейства распределений Fθ , где θ ∈ Θ.О п р е д е л е н и е 3. Статистикой называется произвольная борелевская функция θ∗ = θ∗ (X1 , . . . , Xn ) от элементов выборки.22ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕЗ а м е ч а н и е 4. Статистика есть функция от эмпирических данных,но никак не от параметра θ. Статистика, как правило, предназначенаименно для оценивания неизвестного параметра θ (поэтому её иначе называют оценкой) и уже поэтому от него зависеть не может.Статистика есть не любая, а измеримая функция от выборки (борелевская, для которой прообраз любого борелевского множества из R естьснова борелевское множество в Rn ), иначе оценка θ∗ не будет случайной величиной.

Далее мы всюду будем иметь дело только с измеримымифункциями, и отдельно это оговаривать не будем.Свойства оценок. Дадим три определения хороших свойств оценок.О п р е д е л е н и е 4. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называетсянесмещённой оценкой параметра θ, если для любого θ ∈ Θ выполнено равенство E θ∗ = θ.О п р е д е л е н и е 5. Статистика θ∗ = θ∗ (X1 , . . . , Xn ) называетсяасимптотически несмещённой оценкой параметра θ, если для любогоθ ∈ Θ имеет место сходимость E θ∗ → θ при n → ∞.О п р е д е л е н и е 6. Статистика θ∗ = θ∗ (X1 , .

. . , Xn ) называется состоятельной оценкой параметра θ, если для любого θ ∈ Θ имеет местоpсходимость θ∗ −→ θ при n → ∞.Несмещённость — свойство оценок при фиксированном n. Означает этосвойство отсутствие ошибки «в среднем», т. е. при систематическом использовании данной оценки. Несмещённость является желательным, ноне обязательным свойством оценок. Достаточно, чтобы смещение оценки(разница между её средним значением и истинным параметром) уменьшалось с ростом объёма выборки. Поэтому асимптотическая несмещённостьявляется весьма желательным свойством оценок. Свойство состоятельности означает, что последовательность оценок приближается к неизвестному параметру при увеличении количества наблюдений. В отсутствие этогосвойства оценка совершенно «несостоятельна» как оценка.П р и м е р 3. Пусть X1 , .

. . , Xn — выборка объёма n из нормальногораспределения Na,σ2 , где a ∈ R, σ > 0. Как найти оценки для параметровa и σ2 , если оба эти параметра (можно считать это и одним двумернымпараметром) неизвестны?Мы уже знаем хорошие оценки для математического ожидания и дисперсии любого распределения. Оценкой для истинного среднего a = EX1может служить выборочное среднее a∗ = X. Теорема 6 (с. 17) утверждает,что эта оценка несмещённая и состоятельная.23§ 2.

Метод моментовДля дисперсии σ2 = DX1 у нас есть сразу две оценки:nn1 X1 X222S =(Xi − X) и S0 =(Xi − X)2 .nn−1i=1i=1Как показано в теореме 8 (с. 17), обе эти оценки состоятельны, и одна изних — несмещённая (которая?), а другая — асимптотически несмещённая.§ 2. Метод моментовРассмотрим некоторые стандартные методы получения точечных оценок. Метод моментов предлагает для нахождения оценки неизвестногопараметра использовать выборочные моменты вместо истинных. Этот метод заключается в следующем: любой момент случайной величины X1(например, k -й) является функцией от параметра θ.

Но тогда и параметрθ может оказаться функцией от теоретического k -го момента. Подставивв эту функцию вместо неизвестного теоретического k -го момента его выборочный аналог, получим вместо параметра θ его оценку θ∗ .Пусть X1 , . . . , Xn — выборка объёма n из параметрического семействараспределений Fθ , где θ ∈ Θ ⊆ R. Выберем некоторую функцию g(y) :R → R так, чтобы существовал моментEg(X1 ) = h(θ)(3)и функция h была обратима в области Θ.Решим уравнение (3) относительно θ, а затем вместо истинного момента возьмём выборочный:!nX1g(Xi ) .θ = h−1 (Eg(X1 )) ,θ∗ = h−1 g(X) = h−1ni=1Полученная таким образом оценка θ∗ называется оценкой метода моментов (ОММ) для параметра θ.Чаще всего в качестве функции g(y) берут g(y) = y k .

В этом случае!nX1EX1k = h(θ), θ = h−1 EX1k , θ∗ = h−1 X k = h−1Xik ,ni=1если, конечно, функция h обратима в области Θ.Можно сказать, что при построении оценки метода моментов мы берёмв качестве оценки такое (случайное) значение параметра θ, при которомистинный момент совпадает с выборочным.24ГЛАВА II. ТОЧЕЧНОЕ ОЦЕНИВАНИЕЗ а м е ч а н и е 5. Если параметр θ = (θ1 , . .

. , θk ) — вектор, а не скаляри принимает значения в множестве Θ ⊆ Rk , то в качестве функции g берутвектор-функцию g(y) = (g1 (y), . . . , gk (y)). Тогда равенство Eg(X1 ) == h(θ) представляет из себя систему из k уравнений, которая должнабыть однозначно разрешима относительно θ1 , . . . , θk . Решая эту системуи подставляя вместо истинных моментов Egi (X1 ) выборочные моментыgi (X), получают ОММ для θ1 , . . .

, θk .П р и м е р 4. Пусть X1 , . . . , Xn — выборка объёма n из равномерного на отрезке [0, θ] распределения U0, θ , где θ > 0.Найдём оценку метода моментов θ∗1 по первому моменту, т. е. с помощью функции g(y) = y :EX1 =θ2θ∗1 = 2X.θ = 2EX1 ,,Найдём оценку метода моментов θ∗k по k -му моменту:ZθEX1k=1ykθdy =θkk+1,θ=qk(k + 1)EX1k ,0тогдаθ∗kqk= (k + 1)X k .(4)П р и м е р 5. Пусть X1 , . . . , Xn — выборка объёма n из распределения Пуассона Πλ с параметром λ > 0.

Введём новый параметрθ = θ(λ) = P(X1 = 1) = λ e−λи найдём ОММ для параметра θ с помощью функции g(y) = I(y = 1) :Eg(X1 ) = EI(X1 = 1) = P(X1 = 1) = λ e−λ = θ,nX1I(Xi = 1).θ∗ = I(X = 1) =ni=1Заметим, что найти оценку для параметра λ с помощью функцииg(y) = I(y = 1) нельзя: равенство Eg(X1 ) = λ e−λ не является однозначноразрешимым относительно λ в области λ > 0. Оценку для параметра λможно найти по первому моменту: EX1 = λ, поэтому λ∗ = X.З а м е ч а н и е 6. Может случиться так, что θ∗ = h−1 g(X) 6∈ Θ. Вэтом случае оценку корректируют.Например, в качестве ОММ берут бли−1жайшую к h g(X) точку из Θ или из замыкания Θ.§ 3.

Свойства оценок метода моментов25П р и м е р 6. Пусть X1 , . . . , Xn — выборка объёма n из нормальногораспределения Na,1 с неотрицательным средним a > 0.Ищем оценку для a по первому моменту: EX1 = a, поэтому a∗ = X.Однако по условию a > 0, тогда как X может быть и отрицательно. ЕслиX < 0, то в качестве оценки для a более подойдет 0. Если же X > 0, в качестве оценки нужно брать X. Итого: a∗ = max{0, X} — «исправленная»оценка метода моментов.§ 3. Свойства оценок метода моментовТ е о р е м а 9. Пусть θ∗ = h−1 g(X) — оценка параметра θ, полученная по методу моментов, причём функция h−1 непрерывна.

Тогдаоценка θ∗ состоятельна.Д о к а з а т е л ь с т в о. По ЗБЧ Хинчина имеемnp1 Xg(X) =g(Xi ) −→ Eg(X1 ) = h(θ).ni=1Поскольку функция h−1 непрерывна, то и pθ∗ = h−1 g(X) −→ h−1 (Eg(X1 )) = h−1 (h(θ)) = θ.Напомним, что для обратимой функции h : R → R непрерывность hи непрерывность h−1 равносильны.Если полученные разумным путём оценки обязаны быть состоятельными, то свойство несмещённости — скорее исключение, нежели правило.Действительно, несмещённость ОММ вида θ∗ = h−1 g(X) означалабы, что при всех θ ∈ Θ выполнено равенствоEh−1 g(X) = θ = h−1 (h(θ)) = h−1 Eg(X) .(5)Но функция h−1 очень часто оказывается выпуклой или вогнутой. В этомслучае из доказательства неравенства Йенсена можно сделать вывод (сделайте его!): между левой и правой частью в (5) равенство возможно, лишьесли случайная величина g(X) вырождена либо если функция h−1 линейна на множестве значений этой случайной величины и её математическогоожидания.П р и м е р 7. Рассмотрим последовательность оценок для неизвестного параметра θ равномерного на отрезке [0, θ] распределения, полученную в примере 4, и исследуем напрямую их свойства.26ГЛАВА II.

Характеристики

Список файлов лекций