XVIII Волков И.К., Зуев СМ., Цветкова Г.М. Случайные процессы (1081434), страница 43
Текст из файла (страница 43)
Зта идея состоит в том, что для нахождения оценок неизвестных параметров исходного случайного процесса составляют систему уравнений путем приравнивания теоретических моментов, являющихся функциями неизвестных параметров, к соответствующим статистическим моментам, которые являются функциями данных наблюдений. Метод моментов далее мы рассматривать не будем. 9.6. Метод максимального правдоподобия Метод, о котором пойдет речь, получил, пожалуй, наибольшее распространение в практике научных исследований.
Он является весьма эффективным средством решения задачи оценивания параметров случайного процесса по данным наблюдений при известном виде законов распределения соответствующих случайных выборок, зависящих от оцениваемых параметров. 356 9 ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ На первый взгляд может показаться, что необходимость знания вида этих законов распределения является слишком жестким ограничением для практического применения рассматриваемого метода. Однако, как станет ясно из дальнейших рассуждений, этот метод позволяет получать состоятельные, асимптотически несмеи!енные и асимптотически нормальные оценки неизвестных параметров даже в тех случаях, когда теоретический н фактический законы распределения случайных выборок изучаемого случайноео процесса не совпадают. Идея этого метода состоит в следующем. Пусть !ч'-мерная функция плотносп1и вероя|пностей А(у)!1) = Л(х11! " х(к!]1! ".
!к'!1) у =' ХР') изучаемого и-мерного случайного процесса С(1,м), ! Е Т, завнсясцего от 1,-мерного вектора неизвестных параметров 11 Е В, определяет этот процесс на множестве Т!к1 = (1ь)~н, с Т единственным образом. Если воспользоваться функцией Ца), определяемой равенством (9.30), то из теоремы 9.1 можно заключить, что в рассматриваемом случае для любого о Е В 1(Я выполняется неравенство ЦЯ = М [1п ~е(тр(ы) $ ~3)] > М [!и ~~(ц(м) $ о)] = Цо), откуда шахМ[!н )с(П(ы) /о)] = М[!пДс(ц(ь~) )р)]. Для практического использования этого результата в последнем равенстве заменим математическое оэкидание его оценкой, определяемой по данным наблюдений, представленным множеством П .
Тогда с учетом (9.1), (9.2), (9.14), (9.16) получим 1 1 шах — ~~~ !и Д~ЯТ1ь1,ы1ь!) ] а) = — ~~> 1п ЯЯТ!ь1,м!ь!) ]!3,„), /с=1 ь=1 где )3 — оценка вектора неизвестных параметров,9. 357 9.6. Метод какспнального правдоподобна Такой метод оценивания, известный как метод максимального правдоподобиц был предложен К. Гауссом.
Оценку б вектора неизвестных параметров Д называют оценкой максимального правдоподобия (или максимально правдоподобной оценкой), а функцию д 1 Ц'"3С,',д) = — ~~~ 1п~ЕЯТ1ь),ы1ь)) /о) ь=г функцией максимального правдоподобия. В рассматриваемом случае оценку максимального правдоподобия Д вектора неизвестных параметров Д определяют из уравнения Ц/Э/5г ) = шахЦо!(У ) и записывают так: Д =агбтах1,(о~5Г ). аЕВ (9.35) рм = агяшахь(гт ~~1мк). аЕВ (9.37) Из (9.34), (9.36) и (9.35), (9.37) видно, что влияние специфики данных наблюдений на формальную процедуру определения оценок максимального правдоподобия для вектора неизвестных параметров не является принципиально значимым для дальнейшего изложения.
Поэтому, исходя исключительно нэ сообра- Если данные наблюдений представлены множеством сГмк, то с учетом (9.4) и (9.18) функцию максимального правдоподобия можно записать следующим образом: Ж Цо ~ нгмк) = ,'~ — ~~> 1п ~~(ф(гт,м1,1) ~ о). (9.36) г=г ' ~ег(т) А так как в рассматриваемом случае множество нгмк является реализацией соответствующей случайной выборки объема М для изучаемого случайного процесса ~(Г,м), г 6 Т, зависящего от вектора неизвестных параметров Д Е В, то с учетом (9.36) оценка максимального правдоподобия равна 358 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ жений компактности и наглядности представления материала, ограничимся данными наблюдений, представленными множеством П В литературе по математической статистике функцией максимального правдоподобия принято называть совместную функцию плотности вероятностей случайной выборки [ХЪ'П). А так как при решении теоретическях и практических задач, как правило, используют не саму функцию максимального правдоподобия, а ее натуральный логарифм, то сочтем возможным назвать функцией максимального правдоподобия функцию Ь(о>с'.).
По этой же причине при рассмотрении теории квазиправдоподобныя оценок функция Х(о~У„) названа функцией квазиправдоподобил. Оценку называют асвмптпотпвческв несмещенной, есля при неограниченном возрастании обьема случайной выборки она становится несмещенной. Аналогично определяются понятия асвмитпотпвческв зффектпввной и асвмитпотпвческв нормальной от4енкв. Оценку называют нормальной от>енкой, если она получена по данным случайной выборки, распределенной по нормальному закону.
Теорема 9.3. Пусть Х-мерная функция плотности вероятностей У((у~>3) — У((зП>~"'*<л7>$>'П>3)~ у =~(А)~ п-мерного случайного процесса ((~,аг), е б Т, зависящего от Х-мерного вектора неизвестных параметров,9 Е В, разделяет точки В на множестве Т>к> — — (1я)~л, С Т. Пусть для функции Д(у~о) при любом о Е В существуют и ограничены все частные производные по компонентам вектора о до третьего порядка включительно.
Тогда, если данные наблюдений представлены множеством С, то оценка максимального правдоподобия >3, определяемая равенствами (9.35), (9.34), является состоятельной, асимптотически несмещенной, асимптотическн эффективной и асимптотически нормальной. 359 9.6. Метод максимального правдоподобия Пример 9.5. Рассмотрим скалярный случайный процесс, определенный стохистической моделью состояния в форме Лто: < се!, а) = -(Вг — 0 53г) ~(1, г) д1+~Зг~(1,~) дю(1,ы), ~(о, ) = где ие(г,еа), 1 е Т = (О,оо), — скалярный винеровсний процесс с единичным коэффициентом диффузии; хв > 0 — известное начальное состояние, а В = (81 Вг) — вектор неизвестных параметров с положительными компонентами. Для того чтобы записать гт'-мерную функцию плотности вероятностей рассматриваемого случайного процесса, полагаем ц($,ы) = !пД1,ео), 1 Е Т.
Как показано в примере 7.5, скалярный случайный процесс ц(1,ео), 1 Е Т, определен следующей стохастической моделью состояния: < аЯ,ео) = — 81 ае+Дгеею(е,д4, т1(0,ео) = ио, (9.38) где уо — — !пхо. Поэтому он является еауссовсним скалярным процессом.
Кроме того, непосредственно из стохастической модели состояния (9.38) вытекает, что математическое ожидание 'Сме Крамер Г., Мудрое В.В., Кушко В.Х Доказательство сформулированной теоремы при сделанных предположениях практически ничем не отличается от доказательства соответствующей теоремы о свойствах максимэдьно правдоподобной оценки параметра распределения случайной величины, которое можно найти в литературе по математической статистике'. Не останавливаясь на доказательстве теоремы 9 3, проиллюстрируем метод максимального правдоподобия на примере скалярного случайного процесса (9д 2) (см.
пример 9.3). 360 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ т„(1)Д) является решением задачи Коши: (9.39) Чтобы определить дисперсию В„(1]Д), рассмотрим случайный процесс г(~,ы) =О(~, ) — т„(1]Д), ~ Е Т, который, согласно (9.38), (9.39), удовлетворяет стохастической модели состояния Е дг($,ы) = Дэби(1,ы), г(О,~о) = О и имеет нулевое математическое ожидание. Так как в этом случае В„(Е !13) = М(гг(1,ь~)], то (9.40) Для того чтобы определить выражения для условного математического ожидания т (ь+1 11НЮ = м[0(1'+1 м) ] У(сбм) = у($ )'Р и условной дисперсии В„(~<+, ]К„,~) =М[(п(~;~~, ) — иг„(1;+ ]~;;,~)) ]и(1,, ) =у(1;);Д1, дт„(С]1;;Р) = — Д й, 1; < 1 < 1,+1, т~(Е1! 1~',13) = у(е ), (9.41) (9.42) математические модели (9.39), (9.40) следует рассматривать на временном интервале (1;, 1,+1]: 361 9.ц Метод максимального ораадооодовиа Решая задачи Коши (9.41), (9.42), получаем (.+ ) '«3)= (') — «1~(««+ — *), 11 (««+ ~ "«3)=4(«сь -«).
Теперь можно записать условную функцию плотности веролт- костей: А (у(««. ) Ь(«;);д) = х 1 ,Зз 2к(«;+« — ««) (У(+) ( ) (+ )) . (943) 2«3зз(«;+« — «;) ~ (у)«3) = П А(у(««+ ) Ь( «)!«3) (9.44) Приступим к решению задачи оценивая неизвестных параметров «1«н «1з, составляющих вектор Д методом максимального правдоподобия. Предположим, что данные наблюдений представлены множеством У и определены согласно (9.1), (9.2). Для упрощения записи введем обозначение: Тогда, согласно (9.34), (9.44) и равенству у(«,м) А !и Я«,м), « ~ т, функцию максимального правдоподобия Ц«! ~ У ) можно запи- сать в виде 1 ,„~ч!ь1-« Е(«3)(«п) = — ~ С !ПД(!пх,",,/!Пх[>«3).
Поскольку рассматриваемый случайный процесс у(«,~о), «Е Т, является марковским процессом, его Ю-мерная функция плот- ности вероятностей имеет вид 362 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ С учетом представления (9.43) получаем Цд)б' ) =С вЂ” — )пдг— Х 2т 1 ' ()п (х~+,/х,') — д1(1ьз+1 — 4,,) ) ' 2т Вгг(!ь +1 — ~ь ) где 1 ~ .ч)ь)-1 С = — — ~) ~~) )п(2к(Фь +1 — Фь )). ь=г г=г )у=,'~ )у(й)-т, ь=1 Отметим, что С не зависит от )3. Нетрудно убедиться в том, что функция максимального правдоподобия имеет единствен- ный максимум в точке )3 с координатами: ~ь и'(ь)-~ )31 = — ~> 2 !п( — ~), ь=г г=г г+1 где дЬ(д!У ) дЕ(~3(У ) дА ' д,дг Сделаем одно важное замечание, касающееся применения как метода максимального правдоподобия, так и других методов. Дело в том, что мы считаем известным вид функции плотности вероятностей ~~(у(о), которая при о = )г представляет т %)ь)-1 т = ',) ' ~ ' (!,з+, - С,о) суммарное время наблюдений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
