Ю.Н. Тюрин, А.А. Макаров - Анализ данных на компьютере (1115311), страница 31
Текст из файла (страница 31)
. , xn , черезQn (0.25) и Qn (0.75) ее нижнюю и верхнюю квартили. Приравняв куказанным выше теоретическим характеристикам их выборочные ана"логи, получим оценки для a и σ:1a∗ = Qn (0.5) = med(x1 , . . . , xn ), σ ∗ =[Qn (0.75)−Qn (0.25)].2Φ−1 (0.75)4.5. ….&… ……Поскольку, как мы видели, для одних и тех же параметров рас"пределения возможны и употребительны разные оценки, хотелось быкак"то сравнивать их между собой и выбирать из них те, которые лучшеили которые обладают желательными свойствами.
Ниже мы укажем тесвойства, которые обычно имеют часто используемые оценки. Пустьθn — оценка характеристики распределения θ, полученная по выборкеобъема n. Тогда:••оценка θn называется состоятельной, если θn → θ по вероят"ности, когда n → ∞;оценка θn называется несмещенной, если M θn = θ.149Например, среднее арифметическое элементов выборки является «эффек"тивной» оценкой параметра a для выборки из нормального распределенияN (a, σ 2 ): эта оценка несмещенная и обладает минимальной дисперсией.
Но приотклонении распределения от нормального (например, при наличии «выбросов»,т.е. резко выделяющихся значений), свойства этой оценки становятся неудовле"творительными, так как ее значения очень сильно зависит от «выбросов».Доверительное оценивание. Во многих случаях представляетинтерес не получение точечной оценки θ̂ неизвестного параметра θ, ауказание области (например, интервала на числовой прямой), в которойэтот параметр находится с вероятностью, не меньшей заданной (скажем,95 или 99%). Построить такую область можно следующим образом.Выберем число α, 0 < α < 1 — вероятность, с которой параметрθ должен попасть в построенную нами область.
Пусть мы имеемоценку θ̂ неизвестного параметра θ, и для каждого значения θ можемуказать область A(θ, α), в которую оценка θ̂ попадает с вероятностьюне меньше α:Pθ θ̂ ∈ A(θ, α) αдля любого θ.150Тогда доверительной областью (в одномерном случае — доверительным интервалом) с уровнем доверия α для неизвестного нам истинногозначения θ, построенной по наблюденному в опыте значению оценкиθ̂, является множествоθ | θ̂ ∈ A(θ, α) .Можно сказать, что процесс доверительного оценивания является как быобращением процесса проверки статистических гипотез: там мы по известномузначению параметра θ строили множество A(θ), в которое с заданной вероятно"стью попадает некоторая статистика θ̂, а здесь мы по таким множествам строимобласть, которая накрывает с заданной вероятностью само значение θ.неизвестного истинного значения параметра θ из (4.5) такое значение,при котором правдоподобие достигает максимума:p(X1 , θ) p(X2 , θ) .
. . p(Xn , θ) → max .θЯсно, что такой выбор θ̂ происходит в зависимости от значенийX1 , . . . , Xn , поэтому θ̂ является функцией от X1 , . . . , Xn , т.е. случай"ной величиной.Пример: применение к нормальной модели. Прежде чем обсуждатьтеоретические свойства метода наибольшего правдоподобия, рассмотрим егодействие на примере нормальной выборки N (a, b). В этом случае функцияправдоподобия равнаПримеры построения доверительных интервалов мы приведем в гла"ве 5 (см. п. 5.2).4.6. $ …; Как мы видели в п. 4.4, разные методы оценивания одних и тех жепараметров распределения могут давать разные результаты.
Когда естьнесколько путей к одной цели, естественно, хочется выбрать наилуч"ший. При определенных ограничениях таким методом является методнаибольшего правдоподобия, основанный на оптимальном использова"нии имеющейся в выборке информации о параметрах распределения.Пусть X1 , . . . , Xn — выборка из распределения, плотность которогов точке x зависит от неизвестного параметра θ. Обозначим плотностьотдельного наблюдения Xi (i = 1, . . .
, n) через p(x, θ). Посколькуслучайные величины X1 , . . . , Xn независимы, плотность вероятностейвектора (X1 , . . . , Xn ) равнаp(x1 , θ) p(x2 , θ) . . . p(xn , θ),p(X1 , θ) p(X2 , θ) . . . p(Xn , θ).(4.6)Оно, естественно, является функцией переменного θ. Метод наи"большего правдоподобия рекомендует выбирать в качестве оценки θ̂151(4.7)Надо выбрать параметры a, b так, чтобы выражение (4.7) было максималь"ным (при заданных значениях x1 , .
. . , xn ). Заметим, что при произвольном фик"сированном b выражение(4.7) будет иметь наибольшее из возможных для него2значений, если ni=1 (xi − a) примет наименьшее значение (относительно a).Это произойдет при a = x. Следовательно, оценка наибольшего правдоподобияâ для a равна x.Для того, чтобы найти оценку наибольшего правдоподобия параметра b,вычислим n1−12max (2πb) 2 exp −(xi − x).b2b i=1Эта задача без труда решается при помощи средств математического анализа.(Надо взять производную по b, приравнять ее нулю и решить полученное урав"2нение относительно b).
После всех вычислений получим b̂ = n1 ni=1 (xi − x) .Итак, оценка наибольшего правдоподобия для (a, b) равна(4.5)где θ — неизвестное нам истинное значение параметра.Метод наибольшего правдоподобия состоит в следующем. Подста"вим в (4.5) вместо переменных (x1 , .
. . , xn ) элементы выборки, т.е. ре"ализации случайных величин X1 , . . . , Xn , а параметр θ в (4.5) будемрассматривать как переменную величину, изменяющуюся в заданнойобласти значений. В таком случае плотность (4.5) превращается ввеличину, которую мы будем называть правдоподобием:n 1 1 n√exp −(xi − a)2 .2b2πbi=1x,n1(xi − x)2 .n i=1В данном случае оценки, полученные методом наибольшего правдоподобияи методом моментов, совпали. Так бывает далеко не всегда.Пояснения к методу. Попытаемся выяснить теоретически причинудействия метода наибольшего правдоподобия: почему при больших nполученные этим методом оценки параметра θ в (4.5) близки к егоистинному значению, и как в этом участвует закон больших чисел.Отметим, что функции p(X1 , θ) .
. . p(Xn , θ) и1ln[p(X1 , θ) . . . p(Xn , θ)](4.8)nдостигают максимума при одном и том же значении θ, так как логарифмявляется монотонно возрастающей функцией. Представив логарифм152произведения в виде суммы логарифмов, получаем, что для нахожденияоценки максимального правдоподобия можно искать такое значение θ,при котором выражение1ln p(Xi , θ)n i=1n(4.9)достигает максимума.По закону больших чисел, выражение (4.9) как среднее арифмети"ческое независимых одинаково распределенных величин сходится к ихматематическому ожиданию, т.е.
при больших n оказывается близкимк M ln p(Xi , θ). Поэтому оценка максимального правдоподобия близкак такому значению параметра θ, при котором величина M ln p(Xi , θ)достигает максимального значения как функция θ. Остается толькоуказать это значение параметра.Обозначим через θ0 то неизвестное истинное значение параме"тра, которое мы пытаемся оценить. По определению математическогоожидания,M ln p(X, θ) =p(x, θ0 ) ln p(x, θ) dx.Остается исследовать, при каком θ стоящий справа интеграл дости"гает максимальногозначения.
Оказывается,что максимум достигаетсяпри θ = θ0 : p(x, θ0 ) ln p(x, θ0 ) dx p(x, θ0 ) ln p(x, θ) dx для любого θ,и более того, для любой функции плотности q(x):00(4.10)p(x, θ ) ln p(x, θ ) dx p(x, θ0 ) ln q(x) dx.Здесь могут возникнуть некоторые сложности из"за того, что функцияq(x) при некоторых x может обращаться в нуль, а при таких значе"ниях x не существует логарифма. Однако это затруднение успешнопреодолевается.Неравенства вида (4.10) были впервые обнаружены в пятидесятые годыпри создании теории информации, поэтому они называются «неравенствамитеории информации». Вы можете попытаться самостоятельно доказать аналог.
. , pn и q1 , . . . , qn — дванеравенства (4.10) для дискретного случая: пусть p1 , . nнабора положительных величин, причем ni=1 pi = 1,i=1 qi = 1. Тогдаni=1pi ln qi npi ln pi .i=1Для доказательства можно воспользоваться методом математической индукции.Итак, из неравенства теории информации (4.10) вытекает, что вы"ражение (4.9) достигает максимума, когда для любого x: p(x, θ) равно153p(x, θ0 ), т.е.
когда θ = θ0 . Поэтому оценка наибольшего правдоподо"бия при больших объемах выборки оказывается близкой к истинномузначению параметра.Замечание. Р.Фишер доказал, что в определенном смысле оценки наи"большего правдоподобия наилучшим образом используют информацию о пара"метрах, содержащуюся в наблюдениях (см., например, [57]). Его работы сде"лали метод наибольшего правдоподобия очень популярным. Было открыто, чтодля многих задач самой различной статистической природы метод наибольшегоправдоподобия дает хорошие результаты.
Задачи эти подчас столь разнородны,что не покрываются единой теорией, которая описывала бы свойства метода иуказывала границы его применимости.Однако далеко не во всех практических задачах метод наибольшего прав"доподобия (равно как и другие «наиболее эффективные» для данного семействараспределений методы) дает удовлетворительные результаты. Дело в том, чтопредположение о принадлежности неизвестной плотности распределения опре"деленному параметрическому семейству (нормальному, показательному иликакому"то другому) на практике выполняется лишь приближенно.
Метод, ко"торый принимает это предположение безоговорочно, может привести к резуль"татам, не имеющим даже приблизительно правильного характера. Так можетпроисходить при определенных, хоть и небольших, отклонениях от начальныхпредположений. Особенно чувствительны к такого рода нарушениям должныбыть оптимальные методы — вольно выражаясь, они используют всю информа"цию, ничего не оставляя в качества запаса прочности.4.7. …… …… … STADIA SPSSПри построении оценок параметров распределений к ним можнопредъявлять различные требования, такие как несмещенность, эффек"тивность, устойчивость к отклонениям от модели и т.п.
Статистическаянаука постоянно предлагает новые концепции и подходы к оцениванию,а также конкретные алгоритмы их реализации. Свой вклад в разнообра"зие оценок вносят и различные способы параметризации распределе"ний. Все это порождает множество различных оценок одних и тех жепараметров. Поэтому трудно ожидать, что в том или ином статистиче"ском пакете обязательно найдется процедура, в точности реализующаятребуемый алгоритм.Однако многие пакеты выводят значения наиболее распространен"ных оценок параметров стандартных вероятностных распределений(см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
