Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 34
Текст из файла (страница 34)
Доказательство. Отметим вначале, что )(э) не зависнт от О (как математнческое ожидание по условному распределению, не зависящему от 8). Поскольку согласно свой- 205 ствам условного математического ожидания, рассмотренным в$9, Мех(е) = Мг(М(1("е)) Т) =. Ме1(Т), (18г где Мг — математическое ожидание по распределению статистики Т($) (зависящему от О). Равенство (18) означает„ что 1(ТЯ) ) — несмещенная оценка т(0). Далее, Мв1(ТЯ вЂ” ~(Т)) =МгЯ(Т)М(à — ~(Т)~Т)) =Ю, (19~ так как Мвттнт) =ЦТ), Мв(1(Т) =ДТ). Отсюда следует Мв (1 (0))е М, (1 У(Т) + 1(Т) г— х(8))', = =Ме(1 — ~(Т))е+ Мв(~(Т) — т(0))')~ Ме(7(Т) — т(0)) поскольку для математического ожидания произведения согласно (19), (18) Мв(г — ~(Т))(~(Т) — т(8))= — 'Мв(1 —.$(Т))т(8) =О.
. Если 1(Ц) — Н.О.М.Д. для т(0) и Т($) — достаточная статистика, то 1'(Т) =Ме(1(й) ~Т) согласно (19) также несмещенная оценка для т(6), а согласно (17) ее дисперсия не превосходит дисперсии 1Я). Следовательно, 1(Т) также Н. О. М. Д. (О). А Определение. Достаточная статистика 'Т называется полной, если всякая функция от нее с нулевым для всех 6~О математическим ожиданием равна нулю с вероятностью (для любого ~О~В) единица.
Пбкажем, что всякая функция 1'(Т) полной достаточной статистики является Н. О. М. Д. своего математического ожидания т(8) =Ме1(Т) для всех ОенВ. Действительно, как было отмечено, Н.О.М.Д. т(0) следует искать в классе- функций от Т, а поскольку статистика Т полная, то не существует двух различных функций от Т, несмещенно оценивающих т(8). Если существует полная достаточная статистика Т, то для получения Н.О.М.Д. т(6) можно вначале построить любую несмещенную оценку 1(4), а затем взять ее условное математическое ожидание 1(з) =Ме(1(е) ~Т(е) =з).
Тогда функция 1(з) не зависит 'от 6 и 1(Т(е)) — Н.О.М.Д. для т(6) В качестве иллюстрации рассмотрим схему испытаний Бернулли. Пусть $ — число успехов в серии из п испытаний, 6 — вероятность успеха в отдельном. испытании, 0<6<1. Поскольку Ь(х, 6) =С ч8*(1 — 6)" *, х=О, 1, ...,,и, то Т(Ц =$— достаточная статистика. Пусть Щ) — любая функция, та- кая, что й(в7(э) =~~ г'(й)С„"0'(1 — 0)" '=О, О~(0,1) овфо То же самое можно записать в виде л ~Г ~(й) С5~ = О, 0(г(оо. »=о Если полипом степени и равен нулю для любого ген(0, оо), то его коэффициенты — 'нули: )(л) =О, Й=О,...,л.
Следова- тельно, 4 — полная достаточная статистика, и тем самым лю- бая функция ~($) является Н. О. М. Д. для )И»1(е). По- скольку 1 л / ' 1л(л-)) ) ' 'л(л-1) то 4/а, $Я вЂ” 1)/а и $(л — 4)~л(л — 1) — Н.О.М.Д. для О, О' н 0(1 — 6) соответственно. 4о. Оценки максимального правдоподобия -Пусть Ь(х, 6), хейг„, Ояй,— функция правдоподобия. Оценкой максимального правдоподобия называется стати- стика 0=6Я), удовлетворяющая условию: С(4, 0)ъ-Ь(3, 6)- , для всех Очи, или, что то же самое, Ь (к, 0) = пих 1. ($, 0). еее Если Ь(х, 6) не достигает максимума по бе=9, то оценка максимального - правдоподобия не существует: Название «оценка максимального правдоподобия» мы сохраним и за . функцией 6(х) на выборочном пространстве Л„.
Пусть 6 — подмножество л-мерного евклидова простран- ства )гы функция правдоподобия ~(х, 8) дифференцируема по 6~6 и достигает максимума по О во внутренней точке 8 для каждого х~)г„. 'В таком случае оценка максймального правдоподобия удовлетворяет уравнениям. д1пЬ(х, 8)(дО(~ -„=О, 1=1, ...',й. (20) Уравнения (20) являются необходимыми условиями максимума и называются уравнениями максимального правдоподобия. Если х=(хь...,х„) — наблюдаемое значение выборки $= = ($ь...,$„) из дискретного распределения с параметром, 6, то Е(х, О) =Р(3~=хо ...,$„=х„~6) — вероятность того, что $~- =хь 1=1, ..., л.
За оценку максимального правдоподобпя 6(х) принимается то значение параметра 6, при котором вероятность получить наблюдаемое значение х выборки'$ мак- 20У л А(х, О) — ( — ) ехр ( — — ~~~~(х/ — (х)з),, / 1 то'уравнения (20) максимального правдоподобия принимают вид !! = — '~ (х/ — р) =б, д 1и /.(х, О) 1 % ч д/! а' лм /=! да! 2е! 2а! ~~) 1(х/ — р)' = О, д 1а /. (х, В) ! откуда следует оценка максимального правдоподобия л !! 1 чч 1 \Ч 9 = ()! а') (а = — Хх/ а' = — Ь (х/ — И)'. и и / ! / ! Остановимся подробнее на анализе оценки максимально- .
го правдоподобия параметров полиномиального распределения. Напомним, что полиномиальное распределение задается вектором вероятностей О= (р!,, р,) каждого из г возможных исходов испытаний. Если в серии из п испытаний !-й исход наблюдается п! раз, /=1,...,г, и/+ ...+п,=п, и т! — частота /-го исхода, т!+ ... + ч„=1, то Р 1т = — "', ...'; у, = %' ~ 01 = симальна. Это 'замечание поясняет смысл принципа максимального правдоподобия; в качестве значения неизвестного параметра предлагается принимать то, при котором вероятность наблюдаемой реализации выборки максимальна.
Принцип максимального правдоподобия, не основывается на каких-либо еоображениях оптимальности. Вместе с тем, .если, например, существует аффективная оценка числового параметра, то согласно (10) она является оценкой максимального ':правдоподобия, так как д 1и !. (х, 0) /дО= =а(О) (/(х) — 0). Более того, оценка максимального пра!!до- 1 подобия является функцией достаточной статистики,,поскольку из условия Е(х, О) й(Т(х), О)/!(х) следует, что О=!д(Т)'. НО действителъно замечательные свойства оценок максимального правдоподобия могут быть доказаны лишь для достаточно больших объемов выборки.
Пусть $= Я!„...',4„) — выборка из распределения У(/!, а'), ,О= (/!, ах). Поскольку 208 =Ь(т, О) = " р", ... р,",. и!1 ... л,/ (21) Здесь пс+...+п„=п, т=(тс,-.,т,), 0=(р„.. р„) П вектор наблюдаемых частот событий в серии из и нс ннй, вектор вероятностей 0 = (рс,, р.,) нензвестей. Оценка 0 максимального правдоподобия вектора О определяется условнямн ' Ь (т, 0) = пих 1, (т, О). зее (22) Поскольку множество 6=(0= (рс,...,р,), 0(рр~1, с=1, ...,г, рс+ ... +р„=1) ограничено и замкнуто в 1с„а Е(т, О) прн каждом тепе! как функция Ое-:сг непрерывна, то максимум в (22) .достигается в некоторой точке 6.
Следовательно, оценка максимального правдоподобия. существует. Более того, множество 6'не только замкнуто и ограничено, но н выпукло в сс,. Докажем, что следующая функция строго вогнута на 6 1пс. (т, О) — 1п " = ~~)~л, 1п р, = )(8),, (23у п1! " Лг! ! откуда будет следовать.единственность оценки максимального правдоподобия. Воспользуемся строгой вогнутостью 1пх, х)0: 1п(ах+(1 — а)у) >а 1пх+(1 — а) 1пу, 0(Мс<1, х, у>0. Пусть аО+ (1 — а) 8 = (ссрс+ (1 — а) рс, ..., сср„+ (1 — а) р,) Тогда 1 (а0+ (1 — а) 8) = 1п Ь (т, аО -1- (1 — а) 0) — 1л ' ас! ...
л,'! Г Г = ~~~и! 1п(ар, + (1 — а) р,) ) ~~ ~лс(а1црс + (1 — а)1пр,) = с=! ! = а1(9)+ (1 — сс)1(9), что н означает строгую вогнутость функцни (23). Итак, оценка максимального правдоподобия О существует ' и единственна. Пусть Ос= (рсе, ..., р,') — истинные значения вероятностей исходов н 0=(рс,...,р„'). Покажем, что 6-с Оэ при числе испытаний л, стремящемся к бесконечности. Для этого нам потребуется Лемма 2.
Пусть' 0<рс< 1., 0 <с)с<1, (=1, ...,г и г ' г ~с'рс — — Я дс —— 1. Тогда с=! Г г Х р,1п — ') — ~~рс(с)с — рс) . рс 1%1 дс 2 4с с-! с=! (24) Доказательство. По формуле Тейлора 1пх = 1п[1 +(х — 1)] =(х —.1)— (к — 1)! 2ко для некоторого ген[1, х], если хъ1, или за=-[х, Ц, если 0< <х<1.
Следовательно, к~~Р,)п — ' = ~~с ( — ' — 1) — — ~~)~~р, ' с=! -с=! с ! г 1! %'Ч = — — ~„рс (ссс — РУ оь — - —,7 Рс (ссс Рс)— 2 ' . (Рокс) с ! с=! так как рсхсен[р» с1с], если рс хс(» или рсхсЯс, рс] в про тивном случае. А Возвращаясь к поставленной задаче, найдем, воспользо вавшись условием (22), г г г ~~]' тс 1пР, =!пах к~ тс 1пРс) )Я тс 1пРо. с ! . с ! с ! Вместе с (24) это означает что 210 г г ~~'1[ .тс 1~т тс 1 тс 1п — ' ~ ~~у~ тс 1п =' ) — ~~ т, (тс — р,)о.
(25) ,о ' ~С с С,с 2 с-! с с-! с-! Пусть теперь а-о оо. Тогда в.силу закона больших чисел тс ~-+ рос, г 1=1, ...,2, а поскольку э'тс1п — ' — непрерывная функция с=! т= (тс,-.,т,), левая, а следовательно, и правая части неравенства (25) стремятся по вероятности к нулю. Отсюда, в о сво1о очередь, следует, что рс=!.Р» с =1... с, г. Таким образом, оценка максимального правдоподобия па, рамстров полиномиального распределения состоятельна. й !8. ЛИНЕЙНАЯ МОДЕЛЬ ИЗМЕРЕНИЙ Рассмотрим задачу, характерную для экспериментальных . исследований, когда требуется измерить вектор параметров и= (а»,...,аь), но доступны наблюдению лишь линейные комбинации координат апа»+...+а»ь»ть, 1=1, ..., и, причем. л~й.
Коэффициенты а»», 1=1,...,п, »=1,...,й, считаются известными. Как правило, достаточно реалистичной является схема измерений следующего вида: »з»=а»»с»»+ ... +а»ьс»ь+ть /=1,.—, п, где 4= ($», - 4 ) — случайный вектор результатов измерений, т= (ть ..., т ) — случайный вектор ошибок. Поскольку систематические ошибки измерений всегда могут быть учтены, разумно считать„что Мт»=0, 1=1,;,и. Для простоты примем, что измерения (1) независимы в совокупности к имеют одинаковую точность, которую охарактеризуем дисперсией-.
Мт;а=аз, 1='1,...,п; о', однако, не предполагается известной. Наконец, векторы , а»=(аи,.- а»), »=1,...,Ь, в (1) будем считать линейно независимыми, Задача .состоит в том, чтобы по результатам измерений 4»,- $ оценить а»,...,аь и о'. Речь идет о типичной так называемой обратной задаче, когда по данным измерений требуется определить непосредственно не наблюдаемые параметры объекта или явления. В математической статистике рассматриваемую задачу принято называть задачей анализа линейной регрессии.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
