XVIII Волков И.К., Зуев СМ., Цветкова Г.М. Случайные процессы (1081434), страница 42
Текст из файла (страница 42)
Пусть с(«,«о), 1 Е Т = (о,й) — о-мерный случайный процесс, зависящий от Ь-мерного вектора неизнестиых параметров (3. Говорят, что «1('-мерная функцня плотности вероятностей ЯХ(М) ~ Д) определяет на Т(а(1 ысходиый случайный процесс едиыствеыным образом, если равенство Л(Х()(~) Р) = )~(Х(Ф) 1а), а, Д б В С Иь, верыо тогда и только тогда, когда а =,9. Интуитивно поыятно, что если по данным наблюденнй удается определыть такую М-мерную функцию плотности вероятностей, которая ыа некотором множестве Т(л«~ С Т задает изучаемый случайный процесс единственным образом, то существует и единственное решение задачи оцеыиваиия вектора его неизвестных параметров. Для того чтобы практнчески реализовать эту идею, будем считать, что «з Š — истиыное зиачевые вектора неизвестных параметров случайного процесса 4(«,«о), «б Т, и введем скалярную функцию векторного аргумента ц (ам(аль ((! я=)(| з(р( цз~р(з(зр, (9и( где а Е В, У = (у Е й"~«Яу)о) > О), а с(гж «4 баоиимй случайный вектор размерности п«з'.
Нас интересует экстремум этой функции. В связи с этим напомним, что Функцию «р(х) называют выпуклой (вниз) на множестве Х, 348 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ если для любых х, у е Х и для любого Л Е [0,1) имеет место неравенство ~Р(Лх + (1 — Л) у) < ЛР(х) + (1 — Л) ~Р(у). Известно [ У], что для выпуклой (дифференцируемой) функции р(х) справедливо неравенство Ф(х) > Ф(хо) + 'Р (хо) (х — хо), х, хо Е Х. Пусть х = х(ы) — случайный вектор и хо = М[х(ы)). В этом случае Ю( М)) > Р(М[х( П)+ Р'(М[ ( В(х( ) М[х( ))).
Определив математические ожидания правой и левой частей этого неравенства, приходим к меравемставу яяемсема для выпуклой функции: М[д(х(м))) > Р(М[х(м)]). Теперь можно сформулировать и доказать теорему единственности решения задачи оценивания неизвестных параметров случайного процесса по данным наблюдений.
Теорема 9.1. Пусть 1У-мерная функция плотности вероятностей случайного процесса ~(~,о~), 1 б Т, зависящего от вектора неизвестных параметров Д Е В, определяет его на множестве Т(д~ единственным образом. Тогда задача оценинания вектора неизвестных параметров этого случайного процесса по данным наблюдений имеет единственное решение В, определяемое условием тахЦа) = Ц~3), где функция Ца) определена равенством (9.30). ч Поскольку — !п(а) — выпуклая функция, то по неравенству Иенсена имеем М[-1 (~' " [' )) > -Ь(М[~' " ' )), де; 9.5. Единственность решения задачи оценивании параметров 349 или, что то же самое, | ®® „,./ Г „,у® ~ Л(у~д)/ - ~1Л(уЮ У У ЛЬ1ДИ,) =1 Ц'ХЬ! й =( (1)=9, Г Г~(у/о) / А(у!Д) то последнее неравенство принимает вид 1п( ) Г,(уу)~у<О.
ГА(у(о)~ ~.Г4(у(Д)) (9.3Ц Это неравенство превращается в равенство тогда и только тогда, когда Г~(у~ о) = Я(у(Я, у е У. Поэтому иэ неравенства (9.31) и условия теоремы получаем, что для любых о Е В )) Щ 0 ЛЬ)д))ЛЬ)д)Ф>|0 Ыю) ))ЛЬ)д)Ь, или, что то же самое, Ц)3) > Цо), о Е В~(~Ц. Таким образом, функция Цо) имеет на В единственный макси- мум в точке о = Д, что и требовалось доказать. В Доказанную теорему можно испольэовать для решения практических задач даже в тех случаях, когда вид Х-мерной функции плотности вероятностей изучаемого случайного процесса где У = (у Еяь"~) Яу(о) > О,о Е В).
А так как для любого оЕВ 350 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ пеизпестен, а на множестве Т1к1 определены лишь его математическое ожидание и ковариационная магирица как функции неизвестных параметрон. Рассмотрим этот случай, поскольку он чаще других пстречается и приложениях. Будем считать, что тфа) и Ефо) при 1 б Т(н1 содержат псе интересующие нас параметры. Это означает, что вся интересующая нас информация об изучаемом случайном процессе предстаплена и сонокуппости его одномерных функций плотности пероятностей (Д(х~8;13): 8 б Т(НД.
Отсюда следует, что для решения задачи оценипания его неизвестных нараметров вполне подходит случайнаа выборка, соотпетстаующая множеству (1мн, функция плотности вероятностей которой определена равенством (9.18): ДУ(М1 (,3) = П П Яхб1 ~ 8~; ~3), я=1 еЦП р-1 Ф 1(у) = Д" ш,+11 ', И=,'~ я=1 Для того чтобы выяснить достаточность этих данных для однозначного оценннания неизвестных параметров, рассмотрим следующую функцию плотности вероятностей йу(В) =Пй(х~~~,Д) п введем множества а= (у: у(у~Д) > 9), а, = (х: цх(г,П1) > О), 1=1, 1Ч.
Прп пыполненпн условий теоремы 9.1 при любых е ф В имеем ~1~.по~е)живее>~0 7й~-э7~~ее, 9 я Единственность решения эадачи оценивании параметров 351 т.е. с учетом определения функции ~ или М~1п ~1(~(1„ш)!11)] ) ~~~ М~1пЯ(Щ,оэ) $а)]. Однако по условию задачи вид функции плотности вероятностей Г1(я(1;уз) неизвестен. Тем не менее, задачу можно решить, если в качестве Ях)1;13) использовать плотность нормального закона распределения и наложить на функции т(1~ а) и Е(11а) дополнительные ограничения.
Определение 9.2. Будем говорить, что футамции т(1~а) яв Е(1]су) раздеэаяютп пъочуяи дауаожесупва В на множестве Т(ау1 = (1у )',уум, С Т, если для любых а, "у Е В, а ф у, существует хотя бы одно значение 1„т Е Т(м), такое, что уп(1ау)о) Ф ун(гау17)~ Б(1ат!о) ~ Б(1ат!7) ° Теорема 9.2. Пусть математическое ожидание уп(1)а) и ковариационная матрица Е(1]а) и-мерного случайного процесса ~(1,оэ), Ф б Т, зависящего от 1.-мерного вектора неизвестных параметров Д Е В, разделяют точки множества В на множестве Т1лу) С Т. Тогда задача оценивания неизвестного вектора параметров уэ' б В имеет единственное решение, определяемое условием шах Ца) = 1(,9), 352 ц элементы стАтистики случАЙных пРОЦессОВ где !(а) = ~ М [! и ~н (((йз,ы) ( т(! ! а), Е(! ! а)) ~ = 1=1 — ~0 х.(.
(-Р, (.),~й,).)на( )ь!д)~*. 5=1 С Ун(х ! т(! ) а), Е(! ( а)) — плотность нормального распределения: ь(*) (~( ),Р~( ))= ! (2 ) ~,~Еф ) х ехр( (х — т(с(а)) Е (!()а) (х — т(!()а))), а ~!(х)1;Д) — неизвестная истиннал одномерная функция плот- ности вероятностей случайного процесса. Доказательство теоремы 9.2 опирается на следующее утверждение.
Лемма 9.1. Пусть п(ь)) — п-мерный случайный вектор с фУнкцией плотности веРоЯтностей Тч(х), математическим ожиданием т„и ковариационной матрицей Е„, а Тн(х !т,Е)— плотность распределения вероятностей и-мерного случайного вектора, распределенного по нормальному закону с математическим ожиданием т и ковариационной матрицей Е. Тогда для любых т Е Ж" и Е Е М„(К), таких, что т ~ т„и Е ф Е„, верно неравенство М!1п !Н(п(ь)) (т„,Еч)~ > М!!пан()!(м) !т, Е)1. И Докажем, что щах М(!и ~н(п(а)) ~ т, Е)) = М(!п !н()!(ы) (т„, Е„)~.
цц Единственность решения эадачн опеннваниа параметров 353 Действительно, тахМ [!п ан(с1(м) ~ пс, Е)1 = тах! — 0,5п1п(2х)— оэ,Е оэ,Е ~ — 0,51п(деСЕ) — 0,5М[(с1(м) — нт) Е с (п(оэ) — тп)[) = = — 0,5п1п (2я ) — 0,5 эп(п У(тп, Е), оэ,Е где у(тп,Е) = 1п(с1еСЕ)+М[(ту(оэ) — т) Е с (э1(м) — т)~.
т(пт,Е) = !п(аеСЕ)+яр(Е 'М((Ч(ьэ) ' )(э1('") — ' ) )) то очевидны равенства л (тпо, Е) = 1п(беС Е) + 8р(Е Е„), У(то, Ео) =!п(йеС Ео) + и. При зтом Уеэ(т„, Е) = О„„тогда и' только тогда, когда Š— (Е ')зЕо = 6„„. Таким обРазом, ппп У(т, Е) = У(т„,Е„) = 1п(е(еСЕ„)+ и, т.е. при любых т ф т„и Е~ Е„имеем М [1п (и (эу(оэ) $ т„, Ео) [ > М [! и ~Р (э! (оэ) 1т, Е) ~. Теперь вернемся к доказательству теоремы 9,2. ~ Функция !(се) = )э М[1пЦЯЦ,оэ) (ет)~ (9.32) 'Смл Беллман Р.
Поскольку М[т1(оэ)) = то, то У' (т, Е) = с!го тогда и только тогда, когда М[(с1(оэ) — тп) Е с! = 91„, Таким образом, функция л (т,Е) достигает минимума при т = то. А так как, согласно свойствам следа для произведения согласованных матриц", верно представление 354 9. ЭЛЕМЕНТЫ СТАТИСТИКИ СЛУЧАЙНЫХ ПРОЦЕССОВ при а = Д достигает максимума, так как при 1' = 1, Х М К(1„ы)1 = т(йу 3 д), М [ф(С,, м) — т(йу / 1)) ) ®1;, ы) — т(с„/,3) ) ] = Е(й3 ! 13) и в соответствии с леммой 9.1 каждое слагаемое в правой части (9.32) достигает максимума, поскольку 3Н(х~~;а) — функция плотности вероятностей нормального закона распределения. Этот максимум является единственным, т.е.
для любого а Е В, такого, что а ф Д, имеем 1(13) = ~~ М [1п Ун КЬ ) Р)] > Эеп > ~ М[1п3ВЯ1~,ы) /а)] = Ца), (9.33) так как функции т(~,а) и Е(с1а) определены на множестве Т1ч) = (~Д~~, единственным образом и при а ф 13 всегда найдется хотя бы один момент времени ~„П Е Т1щ, такой, что т(1.„л)а) ф тп(1 п),3), Е(~ п)а) ф Е(й в~13), а значит, для соответствующих ему слагаемых в суммах нера- венства (9.33) будем иметь М[1п~нЯ1 п,ы) ~13)] > М[1п~н(~(~ л,м) ~а)].
Поэтому для любого а Е В, такого, что о ф 13, имеем Ю) >Цо), а следовательно, шах Ца) = ЦД). 1ь аЕВ Итак, в ряде случаев, нередко встречающихся в приложениях, единственность решения задачи оценивания неизвестных аа Метод максимального правдоподобия параметров изучаемого случайного процесса по данным наблюдений можно проверить непосредственно на основании полученных теоретических результатов. Из теоремы 9.2 вытекает весьма важное следствие, состоящее в том, что в тех случаях, когда конечномерные функции плотности вероятностей исходного случайного процесса неизвестны, для решения задачи оценивания можно использовать функции плотности вероятностей нормального закона распределения.
Вопрос о том, как повлияет замена неизвестного конечно- мерного закона распределения изучаемого случайного процесса соответствующим нормальным законом распределения на качество оценок неизвестных параметров, пока оставим открытым и вернемся к нему при рассмотрении квазиправдоподобных оценок. Прежде чем перейти к анализу методов оценивания неизвестных параметров изучаемых случайных процессов, отметим, что пример 9.4 наглядно иллюстрирует идею метода моментов ~ХЧ1Ц.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
