65

Работа № 3. Оценки

1. Cpавнение оценок

1.1. Определения

Пусть x₁, ..., x_n — выборка , т.е. n независимых испытаний случайной величины X , имеющeй функцию распределения F(x / a), зависящую от параметра a, значение которого неизвестно. требуется оценить значение параметра a.

Оценкой â = (x₁, ..., x_n) называется функция наблюдений, используемая для приближенного определения неизвестного параметра. Значение â оценки является случайной величиной, поскольку (x₁, ..., x_n) — случайная величина (многомерная).

Свойства оценок

1. Оценка â= (x₁, ..., x_n) называется состоятельной, если при n   â  a по вероятности при любом значении a.

2. Оценка â = (x₁, ..., x_n) называется несмещенной, если при любом a Mâ = M(x₁, ..., x_n) = a.

состоятельность - обязательное свойство используемых оценок. свойство несмещенности является желательным; многие применяемые оценки свойством несмещенности не обладают.

3. Оценка * называется оптимальной, если для неё средний квадрат ошибки

M(â- a)²= M[*(x₁, ..., x_n) - a]²= min M[(x₁, ..., x_n) - a]²

минимален среди всех оценок {}; здесь критерием качества оценки принят квадарт ошибки (â - a)². В более общей ситуации, если критерием качества служит некоторая величина L(â, a), называемая функцией потерь (или функцией штрафа), то оптимальная оценка та, для которой минимальна величина ML(â, a); последняя есть функциея неизвестного a и называется функцией условного риска. Ясно, что оптимальной оценки может не существовать (так как характеристикой является функция, а не число).

1.2. Постановка конкретной задачи.

Пример. Пусть на заводе имеется большая партия из N (тысячи) транзисторов, используемых для сборки некоторого прибора. Выходные параметры прибора (например, надежность, уровень шума, вероятность выхода из режима и т.д.) зависят от обратных токов транзисторов; обратный ток у разных экземпляров различен, и потому можно считать его случайной величиной, причем, как известно технологам, распределённой равномерно в диапазоне от 0 до I_max, где I_max —порог отбраковки, установленный на заводе - изготовителе транзисторов. Следовательно, выходные параметры прибора определяются величиной I_max. Предположим, что по каким-либо причинам значение I_max производителю приборов неизвестно. Ясно, что в этом случае из партии нужно случайным выбором извлечь n (сравнительно немного: десятки) транзисторов, измерить их ток, и по измерениям оценить I_max (неизвестный параметр а). Таким образом, возникает

Статистическая задача: по наблюдениям x₁, ..., x_n над случайной величиной , распределённой равномерно на отрезке [0, a], оценить неизвестный параметр a.

сравним три способа оценивания (три оценки):

оценку, полученную методом моментов,

â₁ = , (1)

оценку, полученную методом максимального правдоподобия (после исправления смещённости),

â₂ = max x_i (2)

и оценку, полученную методом порядковых статистик,

â₃ = 2 _0.5 = x_(k) + x_(k+1), (3)

где _0.5 = — выборочная квантиль порядка 0.5, т.е. выборочная медиана; x_(k) — член вариационного ряда с номером k; здесь полагаем n = 2k. Точность этих оценок можно сравнить теоретически и экспериментально (статистически).

Замечание. Точность, однако, не является единственным критерием качества оценок. Весьма важно, например, свойство устойчивости оценки к изменению закона распределения или к засорению; в этом смысле, как оказывается, â₃ — наиболее хороша, а â₂ — наименее; действительно, пусть, например, в нашу выборку случайно попало наблюдение, резко превосходящее все остальные (в случае с партией триодов, попался триод, не прошедший отбраковку); значение оценки â₂ резко изменится, значение â₃ почти не изменится.

1.3. Теоретическое сравнение оценок

Все три оценки несмещённые, что можно проверить методами теории вероятностей. определим дисперсии оценок :

Dâ₁ = D( ) = ,

Dâ₂ = D( max x_i ) = ,

Dâ₃ = D(x_(k) + x_(k+1))  ,

откуда ясно, что â₂ — наиболее точная оценка, а â₃ — наименее.

Поясним приведенные формулы для дисперсий .

Первая :

Dâ₁ = = = = .

Вторая. определим функцию распределения статистики max x_i :

F(z)  P{ max x_i < z} = P{x₁ < z, ..., x_n < z} = = ;

плотность распределения

p(z) = F(z) = , z[0, a].

Далее

Mâ ₂ = M( max x_i ) = = ,

Mâ₂² = M = ,

Dâ₂ = Mâ₂² — (Mâ₂)²=

Третья. используем теорему Крамера, согласно которой выборочная p - квантиль имеет дисперсию, равную приближенно , где x_p — истинная p-квантиль, f(x) - плотность распределения наблюдений выборки. В нашем случае (при n = 2k) статистика

0.5 (x_(k) +x _(k+1) )  m

является выборочной медианой (p = 0.5) , f(x_0.5) = 1/a , â₃ = 2m, и потому

Dâ₃=Dm = = .

1.4. Статистическое сравнение оценок

Далеко не всегда удается аналитически вычислить дисперсию оценки. Как экспериментально определить, какой из оценок пользоваться? По одной выборке нельзя судить о разбросе значений оценки, поскольку значение всего одно; необходимо иметь несколько выборок, например, k = 20, (или хотя бы 5  10), оценить разброс значений для каждой оценки и предпочесть ту оценку (тот способ оценивания), для которой разброс меньше. Если же выборка всего одна, то следует (если n достаточно велико) разбить её случайным образом на несколько выборок, и по ним сравнивать качество оценок.

Сформируем k =20 выборок из распределения R[0, a=10] объема n для различных n=10, 40, 160 и определим разброс оценок. Характеристиками разброса значений а₁,...,а_k оценки â будем считать размах

w = max a_i - min a_i

и среднеквадратичное отклонение (ско)

S_a= , .

В качестве примера в табл.1 и на рис.1 приведены результаты сравнения трех оценок.

Таблица 1. Разброс значений оценок.

Сравнение значений размахов w и ско S_а для 3 оценок показывает, что оценка â₂(х₁, ... , х_n) наиболее точна, а оценка â₃(х₁, ... , х_n) - наименее.

Приведенные результаты экспериментального сравнения 3 способов обработки наблюдений показывают следующее.

1. Значения оценок концентрируются в окрестности оцениваемого параметра (проявление свойства несмещенности оценок).

2. С ростом числа наблюдений точность (величина разброса) оценок улучшается (проявление свойства состоятельности).

3. Различные оценки различаются по величине средней ошибки, откуда ясно, что различные способы обработки наблюдений нужно сравнивать по величине среднего значения некоторого критерия качества, например, среднего значения квадрата ошибки.

Задание для самостоятельной работы

Сравнить статистически на выборках объема n=10 две оценки: оценку максимального правдоподобия и медианную оценку

1) среднего нормального распределения и

2) параметра показательного распределения.

Отчет по работе должен содержать:

1) постановку задачи оценивания, анализируемые оценки, выражения для их дисперсий (если их нетрудно получить);

2) результаты экспериментов:

распечатки 3-5 выборок, распечатку значений оценок на всех k = 20 выборках для объема n = 10,

графическое представление результатов сравнения оценок на всех выборках, таблицу разброса значений оценок,

графическую зависимость S_а от объема n для различных оценок.

2. Выполнение в пакете STATGRAPHICS

Оценивание по выборкам объема n = 10