М.В. Козлов, А.В. Прохоров - Введение в математическую статистику (1115302), страница 41
Текст из файла (страница 41)
Поскольку речь идет об одном неограниченно продолжающемся зксперименте, то естественно предполагать, что меры Роо на (Я", М"), и 1, 2. согласованы. В таком случае от последовательности (Я", В„, (Рьо)), и 1, 2, ..., можно перейти н единой статистической модели (М, М, (Р)), где Ж состоит из бесконечных последовательностей х (х~, хь ...) (см. подробнее п. 1 $22), и рассмат.
ривать статистики Т<">((х]„), зависящие от х через конечный отрезок (х]„= (хь ..., х„). Такой подход, чрезвычайно важный для теории вероятностей, иа самом деле не играет столь большой роли в статистике (исключение составляет последовательный статистический анализ). Тем не менее мы будем исходить из единой статистической модели (Ф, Я, (Р)) ввиду ее лучшего соответствия мыслимому эксперимекту и большей математической ясности. Подчеркнем, что все последующие рассуждения сохраняют полностью свое значение, если полагать, что рассматривается последовательность моделей (Ю", В„, (Р~">)), и соответственно заменить символ вероятности Р иа Р~"~ (при подходящем л).
Ради упрощения выкладок мы будем употреблять обозначение х„ для отрезка (хь ..., х ) бесконечной последовательности х* =(хь хь ...)ЕФ. Определение 1. Допустим, что прн наждом л 1, 2, ... статистика Тоо(х„) рассматривается как оценка некоторого функционала м(Р), Реп(Р). Скажем, что последовательность оценок 235 в» Т<" >(х„) (или, короче, оценка Т<">(х„) ) состоятельна, если для любого е>О и любого Ре=(Р) Р(х„: (Т<"> (х„) — <р (Р)1>е)- О, и->-оо. (1) В параметрическом случае вместо (1) имеем Рв(х„:)Т<">(х„) — <р(0)1>е)->.0, и-> оо, 0~9.
(2) В случае векторной статистики Т<">(х„) и вектор-функцин <р(0) (нли <р(Р)) состоятельность означает, что соотношения (2) (или (1)) выполнены покомпонентно. Если прн фиксированном Р выполнено (1), то говорят, что последовательность сл.в.
Т<">(Х„) сходится по вероятности к <р(Р), и пишут ТЯ>(Х ) -4- р(Р). (3) Р Можно также сказать, что разность соответствующих величин в (3) сходится по вероятности к нулю: Т<" > (Х„) — <р (Р) — О. Р Состоятельность — это минимальное требование, которое следует предъявлять к любой разумной оценке Т<"'(х,), и все оценки для модели повторной выборки, с которыми мы встречались ранее, являются состоятельными. Напомним некоторые из примеров. Э. ф.р. г„(х; х„) — состоятельная оценка теоретической ф.р.
т" (х) в любой точке х. Состоятельность выборочных моментов (среднего, дисперсии и др,) легко вывести, опираясь на следую. шпе два утверждения. Теорема Хинчнна (см. [2, т. 1, гл. Х, $2; т. 2, гл. >>11, $7]). Если Хь < 1, 2, ..., — последовательность независимых одинаково распределенных сл.в. и МХ>=>< конечно, то нри лю. бом е>0 и У (( — ~~Х< — р~ > е) -+ О, н->-оо.
> Л е м м а 1. Если каждая из последовательностей сл. в. Т>(Х„), 1 1, ..., й, сходится но вероятности к некоторой постоянной а> и й(1>, ..., 1„) — непрерывная в точке (а„ ..., аь) функция, то (4) а(Т<"> (Х„),..., Т<"> (Х„) ->-д(а„..., аь). Доказательство леммы 1 проведем для краткости при й 1. Ввиду непрерывности функции д(1) в точке а для любого е>0 найдется б>0, что (1: '1 1 — а>(б)с=(1: ~й(1) — д(а) ~ (е), и, следовательно, Р(х„:(2(Тан (к„)) — 2(а)() а) < Р(к„:(Теа (к„) — а( ) 6).
Но последняя вероятность стремится ввиду (1) к нулю при «-е -+со. ° Выборочная кваитиль хс»ь„, 0(р<1 (либо хс„,~+ь„), где х»,„~хр> — й-я порядковая статистика вектора наблюдений х„, является состоятельной оценкой теоретической квантилн х, в предположении, что уравнение р Г(х) имеет единственное решение х х„ и в точке х» функция Р непрерывна. Докажем вначале это утверждение для повторной выборки из равномерного на (О, 1) распределения. Как следует из леммы 2 $5, если Хь ..., Х„~— независимые экспонеициальные С (А, 1), Я» Х~+... +Х», й ° 1, ..., и+ 1, то са.
в. Е»,„— — 5»/5„+ь й 1, ..., и, (6) распределены как порядковые статистики повторной выборки из равномерного на (О, 1) распределения. Применяя закон больших чисел, имеем 5»+вl(п+ 1) 'А Вь»ъ 1пР1 'ь " »'оо' откуда, воспользовавшнсь леммой 1, получаем Я1,»1.» = — — — -~ р, и-». со. ~~р~ » + 1 1»л] (6) 1»д) 8 .з «'.+ 1 Пусть теперь Г(х)-иепрерывная ф. р. общего вида. Полагая Р-'(г) зпр(х:г(х)=х), легко видеть, что Х~=Р' '(Е;), 1 1, ..., ..., и+1, представляет собой повторную выборку из распределения г" (х), Г-'(Х»,„) Х»,„. Применяя лемму 1, получаем Х,„„..=)'- (г1.„,.) Р- (р) =,.
и (7) э Если г(х) имеет точки разрыва, то, применяя ту же конструкцию, ио доопределив функцию Р-'(г) цо монотояности, получим утверждение (7) для любой квантнли х», являющейся точкой непрерывности г" (х). 2. Состоятельность оценок максимального правдоподобия. Рассмотрим параметрическую модель повторной неограничен но продолжающейся выборки (Х, Ф, (Ра,й ен 8)). Это озна чает, что мера Ра, суженная иа ()7", М ): Р~~"' (В ) = Ра (к = (хы х„...): х„= (х„..., х ) ек В„), В„ен ан„, порождает параметрическую модель (Я",4В„,(Рй"', 8ек8)) л-кратной повторной независимой выборки.
Будем, для определенности, 237 рассматривать непрерывную модель, так что мера РО' порождается н-мерной плотностью внда 1(хю', 9) ... 1(х„; 9). Оценка максимума правдоподобия Ом' (х) определяется условнем 1.ьа (х„; Ом' (х„)) =гпахР"> (х„,О), вшО Т. (х„;6)-.У(х,;6) ....1(х„;6), 9= (9,, ...,8,). Еслн функция правдоподобия днфференцнруема по 8, а максимум достигается внутри области 8, то он может быть найден решением уравнений правдоподобия д1по(х„; 9)/дО;=О, 1=1, ..., й, дю(х„; 9) 1од Ь(х„, 9) (8) н последующим отбором среда решений системы (8) точкн глобального максимума.
На самом деле прн условиях регулярности типа тех, которые нспользовалнсь в $18, 19, локальный макснмум едннствен н совпадает с глобальным. Поэтому н для теория н для приложений представляет интерес оценка, являющаяся корнем снстемы (8) я называемая оценкой уравнений максимума правдоподобия.
Мы сохраням за любым корнем системы (8) обозначение 9 '(х ). Теорема 1. Пусть плотность 1(х; 9) отдельного наблюдения дифференцируема но 9~9, где 9 — некоторый интервал прямой, Р, ~РО нри любых Оьэьйь Введем при каждом и 1, 2, ... множество В„(х„: существует решение системы д1.гю(х„; 9)/дО; О, 1* = 1, ..., й). Тогда, во-первых, 1' (: „яВ„)- 1, и, во-вторых, для х„енВ„можно выбрать корень Огю(х„) уравне- ний правдоподобия (8), который является состоятельной оцен- кой 9. Доказательство. Пусть Оь, О~ан9 н Рь,яьРь,.
В п. 2 $22 бы- ло показано, что — оь < Мь. (!ой (1 (Х,; 8,)4 (Х,; Оь))) < О. (9) Применяя закон большнх чнсел к последовательности л 1ья (Х„; 8,) — 1ьн (Х„; 9,) = ~Г 1ой Д (Хй 9,)!7 (Хб 8ь)), 1 238 получаем Рв,(х: !<"'(х„;8,) — !<"»(х„",8) С 0)-~1, л-<-о«. (10) Определим В„' = (х„: 1<"» (х„; Вр+ 6) < Ь"> (х„; 8»), !'"» (х„; 0<» — 6) < !<" > (х„; Ва)), 6) О. В соответствии с (1О) Рв (В)-< 1, и-».оо, а для х„~В'„, очевидно, функция !(х,; 8) имеет внутри отрезка [0« — Ь, 0~+61 локальный максимум, что доказывает первое утвер- ждение теоремы.
Для решения 0<" »(х„) уравнения д!<"'(х„; О)/д0=0, принадлежащего определенному выше интервалу (Во — Ь, Во+6), запишел» Рв,(х:д!<"> (х„; Вгч (х„))/д0=0, 18м'(х„) — 0,1( 6)-< ° 1, л-<-о<», что ввиду произвольности Ь доказывает и второе утверждение теоремы 1.
3. Аснмптотнческая нормальность. Состоятельность последовательности оценок Т'"'(х„), л= =1, 2, ..., является предельным свойством и формально никак не связана с качеством эп»х оценок при конечных л. Чтобы состоятельная оценка Т<"'(х„) стала полезным инструментом статистики, необходимо, хотя бы приближенно, вычислять вероятности Рв(х:1Т<" < (х„) — <р (0) ( < 6). (11) Одно из важнейших направлений в теории вероятностей — предельные теоремы — позволяет дать оценку вероятностей (1!) прн больших а. Центральная предельная теорема занимает, в соответствии со своим названием, ведущее место в теории и приложениях. Речь идет о сходимости функций распределения (соответствующим образом центрированной и нормированной последовательности сл. в.) к нормальному закону Рв((Т<"» (Х„) — р„(0))!п„(0) < !) -~Ф(!), л -ь а<».
(12) Зачастую, но далеко не всегда в качестве р„(0) н о„(0) в (12) можно взять соответственно среднее и корень нз дисперсии сл.в. Т<"'(Х„). Хорошо известна предельная теорема (12) для случая, когда Т<"»(Х„)= У<+...+У„, где сл.в. Уь < 1, ..., л, — независимы, одинаково распределены 239 т'"' (х.) -и„' «„( т'">(х.)-и.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
