И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов (1134101), страница 36
Текст из файла (страница 36)
Умножая (17) на р(«, й) и суммируя по всем 1, получим хг= ~ х,р(г, !г) = ~ х х«р(1, !) р («, й) = «м« «м1 = ~„х« ~ р(!', «)Р(«', (г)= ~ х«р!" (1, й). «е1 «~1 «м« Перестановка порядка суммирования возможна в силу абсолютной сходимости соответствующего двойного ряда, Лналогнчно получаем х„= ~ х!р!">(1, й). (22) «м« Положим з (1, й) ~~ р««(1, !г), тогда хь = ~ х«зв (! !г). «1 Принимая во внимание, что з,(1, Й)- пг ' н абсолютную сходимосгь ряда ~ х«, переходя к пределу в последнем равен- 1 1 стве, получим х = ~ ~х««п- = п«А, -! — 1 А 1 1 (23) что и доказывает единственность решения системы (17), (20).
Отсюда вытекает, что если цепь возвратна и нулевая, то хь = 0 для всех !ген !. Докажем теперь, что для положительной возвратной цепи величины (21) образуют требуемое решение системы (17). Пусть 1' — произвольное конечное подмножество 1. Из неравенства р'""В(й «)Ъ ~ р'"«(й, 1)р(1, 1) получаем «л«' зА,,(й, г) — ~. Р(!г, «)) ' 1 зв(!г, 1)р(1, «), 1 . А«х« «Ы откуда после перехода к пределу при 1««- СО вытекает, что Х п«Р (! 1) 1 Ж 1' Полагая теперь 1'-«.1, получим о«) ~ п«р(1, г). Умножая 1~1 последнее неравенство на р(г, й) и суммируя но й, придем к неравенствам ОА) ~ о,р(1, !г)= ~, о,р!" (1, Й) и, продолжая «ы1 слУЧАйные последоЭАтельностн !ГЛ.
П! яов этот процесс, к неравенствам оь) )~, о,р!"'(1, й) при любом 1~! п -:1. Если бы в последнем соотношении хотя бы при одном я имел место знак строгого неравенства, то мы имели бы 2 о > ~,о, Хры!(',я)= 2 о„ Аыт " 1 1 ' Ьыт ья! что невозможно. Поэтому оь = Е о1Ры!(1, и), й еи!, и=1, 2, ... (24) В частности, величины о! образуют решение системы (17). Из (24) получаем ., = Х о!зн«, й). (25) х,— о! — 1пп р (1, !). и -и и (26) Заметим, что из неравенства Х ры>(1, й) » (1 вытекает Аас ~ з, (1, я)(1 и ~ оь(1 при любом конечном1'с:1.
Отсюда АЫГ Н ~ А~Г 2 оь(1. Поэтому в (25) можно перейти к пределу при Л1- ьо, после чего полУчим оь = т, о!оы откУда 2, о! = 1. Таким ;я1 !~1 образом, решение о; системы (17) удовлетворяет условиям (20). И 3 а м е ч а и и е. Если цепь Маркова произвольна, (хь ! ~ 1)— абсолютно суммируемое ре!Пение системы (17), я — невозвратное состояние, то х!, = О. Это утверждение следует из возможности перехода к пределу при и -и- ео в равенстве (22) и из соотношения !1ш ры'(1, й) =О, имеющего место для произвольного невозврат- и -и нОго я.
Сл ед от в на. 1, Для того чтобы неприводил!ая цепь Маркова была положительной возвратнои, необходимо и достаточно, чтобы система (17) обладала нетривиальным абсолютно суммируемым решением (хь ! ен1). При этом х; = со1, где с — постоянная, о!)О, 2. Неприводимая цепь Маркова имеет инвариантное начальное распределение тогда и только тогда, когда она положительная возвратная. 3. Если цепь неприводима, положительна и апериодиына, то единственное решение системь! (17), удовлетворяющее (20), имеет вид э 6! ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ 209 Последнее утверждение вытекает из того, что для положи- тельной апериодической цепи пределы !Нп р!"!(1, !) существуют, л-+ л так что (17) следует из (21). Из предыдущей теоремы вытекает, что для нулевой возврат- ной цепи система (1?) не может иметь нетривиального абсо- лютно суммируемого решения.
Однако она обладает важным неотрицательным несуммируемым решением. Чтобы получить это решение, введем вероятности перехода с запрещениями (табу-вероятности). Это понятие является обобщением понятия вероятности первого попадания. Оно уже встречалось при дока- зательстве теоремы 13. Табу-вероятность !р!л!(!,1) есть вероят- ность попасть на и-и шаге в состояние 1 из начального состоя- ния !, Не посещая при этом в моменты времени 1, 2, ..., г! — 1 состояния 1. Таким образом, ,р!л!(1, 1) = 2: р (г, 1',) р (1'!г 12) ... р (/л О !), П ~ 1.
!' !г " " !л- !' с-,!, -..., г Очевидно, !Р!'!(!, 1) =Р(г, 1), !Р'л!(!', 1) = !!">(!', 1). Положим еще (28) р!" (г, 1) = б (г, 1). Аналогично вводятся табу-вероятности нри и, когда заире!ценным является некоторое множество состоянии Н. Если запрещены два состояния 1, 1, то табу-вероятность и !рм!(!, 1) логично обозначить через !1!л!(!,1). Это есть вероятность, выходя из начального состояния !, впервые попасть в состояние 1 на а-м шаге, не заходя до этого в состояние 1.
Отметим следующие два равенства: л ьо!л>(, 1) ~ УА!(! !)!р!л м(1 1) (27) А !р!"!(', 1)= Х !р!А!(!', !)„„и'л "(г, 1). А-! В частности, из формулы (28) следует (при 1=1) 1'Гл!(г, 1) = Х, !ры>(г, !) !1!" А'(!', 1). (2 Э) А-! Введем производящие функции Р! (2) — ~ р(л! (!' 7) Ел л 0 !г!! (2) — ~ 1(л!(! 1) Ел 1г!В! (! 1) и л О слю!Аииые последовАтелы!Ости !гл. и! 2! о Правые части равенств (27) и (29) представляют собой свертки двух последовательностей, поэтому ,Рц (г) = !Рц (г) !Р!! (г), Р,! (г) = !Рц (г),Рц (г). (30) Заметим, что ряды !Рц(г) сходятся при г = 1, причем если состояния ! и 1 сообщаются, то !Рц(1) = О. При этом предположении второе из равенств (30) показывает, что существует конечный предел ;Рц(г) при г — 1 и, следовательно, !Рн(1) < < ьо. Положим !6(1, 1) = ~„!р!и1(1, у).
и-О (31) Таким образом, если состояния ! и 1 сообщаются, то Рц (!) !6(1, !)= . ( < ьь. !'32) С другой стороны, первое нз соотношений (30) дает !6(1, !) = !Р!1(1) !6(у', !), откуда ,6(!', !) <;6(1, 1) < о. (33) А!=1 к!=!6(1, !) (!Ф1) 1ееУ. Доказательство. Положим и,=1, и1=,6(1, !) (1~1), (34) Имеем при !'Ф1 Х и!Р(1, !) =Р(1 !с! !') + ~ !6(1, /) р(1, !') = !м! !)+ Х Х !р!"!(1 1)р(1 !) = !~!и 1 !)+ ~, !р!и+и(1, !) = !6(1, !) =и!1 и ! =,о (1, =р(1 если же 1=1, то и и!Р(1', 1)=р(1, Г)+ ~, Г!и+!!(1, 1)=- 2 )!и1(1, 1) =1=и, ° 1~1 и ! и Возвращаясь к решению системы (17), докажем следующую теорему. Теор ем а 15.
Пусть 1 — произвольное состояние неприводимой возвратной !1епи Маркова. Система (17) имеет неотрииательное решение з и цепи мАРкОВА со счетным числом сОстояннп 211 21 (/~ 1м ° ° ° 1 ) = Й( ) 12 ° ° ) е(1 и) / !2~(1) 1) где 1 > и; имеем 'г Р(1'1.-~)Р(1 г/ )" Р(1.2) Ф (11 12 ' 1А) 1 = /(1, /)1(/н /2) . ~(/.— н 1.), где д(1, 1) = р(1, 1) — '. Р, Таким образом, в стационарной положительн1 возвратной цепи Маркова условные вероятности перехода, получаемые при изменении направления отсчета времени (от настоящего к прошедшему), также соответствуют некоторой цепи Маркова.
Прн этом следует заметить, что все о, ) О, и поэтому 1 Р д(1, 1) эО, ~ П(1, /)= — ~ щр(1, 1)=- — '=-1. / ~1 ! 2 Аналогичное построение можно осуществить не только для положительной, но и для нулевой возвратной цепи. С этой целью возьмем произвольное положительное решение (хь / ы1) системы (17) (ниже будет показано, что такое решение существует) и положим х г) (1, 1) = р (1, 1) —. (35) Так же как и выше, Цепь Маркова с переходными вероятностями (35) будем называть обращением исходной цепи (обратной цепью). Рассмотрим вопрос о единственности решения системы уравнений (17), удовлетворяющего условиям щ =1, щ) О. С этой целью применим прием, связанный с введением обращенной цепи Маркова.
Предположим сначала, что цепь положительно возвратна, н пусть (сь/ен1) — инвариантное начальное распределение. Рассмотрим стационарный марковский процесс, соответствующий начальному распределению (вь /ен/). Пусть Р~м— вероятностная мера, соответствующая этому процессу. Бвсдем условные вероятности случхнные последовлтельностн 2)2 )гл. ги Отметим формулы для вероятностей перехода за и шагов в обращенной цепи. Имеем П4 ~(1, 1) = ~~ П(1, 1'1)г)((о 1,) ... с)(1'„. 1) = р (1п 1)1 (1, 1) 1 (1, 1.— ) — ', л)е Гт"' 'л-| т. е, д~л> (1 1) — рсл~ (1 1) х) х (36) л 0 Воспользовавшись формулами (36), Х р'"' (1, г) Вш л-л У 1) будем иметь х х (37) Отсюда вытекает Теорем а 16.
Для неприводихюй возвратной цепи неотрицательное решение системы (17) такое, что х~ = 1, единственно. При этом х; =16(1,1) и Х 'л)0,г) 1)гп ",,' = )6 (1, 1). (38) Н > л-л ( ) ,г р У,1) Формула (38) следует из единственности решения системы (17) и теоремы 15, а единственность — из формулы (37) в предположении, что х; ) О для всех 11 Таким образом, в силу теоремы 15 достаточно показать, что если (хь 1 ~ 1) — неотрицательное нетривиальное решение системы (17), то х; О, Послед- Отсюда вытекает: если исходная цепь неприводима, возвратна, голожительная или нулевая, то такой же будет обращенная цепь.
Применяя предельную теорему для отношений (10) к возвратной цепи, получим $6/ цвпн мхвковх со счвтным числом состоянии в|з нее можно получить следующим образом. Для неотрицательного решенвя системы (17) имеем х, = ~ х, р (), 1) = ~„~ ха р (й, 1) р (1, 1) = / ' / ь = Х х ~, р (й, 1) р (1, ~/ = ~~ х~р/и (/е, /). ь х По индУкции легко полУчить, что х/ = ~ хьРми (й, /). ПУсть Ь~/ х/ ) 0; для любого( найдется и такое, что р/"/(1, В ) 0; поэтому х; ) х/р/ю(1, 1) ) О. Построив для данного решения системы (17) обращенную цепь и положив х/ = 1, из (37) получим единственность хь(ен !.
В силу теоремы 15 х, = /6(1, (). (щ Замечание. Формула (37) является обобщением соогнои шепни 1гш й/ Х раи (), 1) = оо где (о/) — инвариантное пан+ д / чальное распределение, имеющего место для неприводимой положительной возвратной цепи. Теорема 16 может быть усилена. Теорема 17. Для непоиводимой возвратной пепи Маркова система неравенств х,~) ~, х/р(1, /), х/~)О, х,=1, (39) /а/ и/кеет единственное решение, и при этом х, =~ х/р(), /), / ~!.
В силу теоремы 1б достаточно доказать единственное/ь решения системы (39). Введем обращенную марковскую цепь. и/ с вероятностями перехода /)(/, !)=р(), /) —, где и; — положительное решение системы (17). Она будет неприводимой и возвратной. Имеем ~~, ) (1, !) — „' = ~~ р (), /) — „' < — „', — „' =1. Но в силу теоремы 13 система неравенств ХЧ(1, !)р/<у/ и =1 / имеет единственное неотрицательное решение у/ = 1.
Следова- тельно, х; = и; для всех /ев!. Я ГЛАВА !У СЛУЧАИНЫЕ ФУНКЦИИ 0 1. Определение случайной функции В главе ! случайная функция была определена как семейство случайных величин, зависящих от параметра. Там же указывались затруднения, связанные с пониманием этого определения в широком смысле, т. е. как набора конечномерных функций распределения, удовлетворяюгцих условиям согласованности. Аксиоматика теории вероятностей непосредственно подсказывает, что под случайной функцией естественно понимать произвольное семейство случайных величии, заданных на одном и том же вероятностном пространстве. Оп редел е н и е.
Пусть (й, 6, Р) — некоторое вероятностное пространство. Функция двух переменных д(9, в) = $(0), определенная при 0 я 6, и ~ й, принимаюшая значения в метрическом пространстве Х, 6-измеримая, как функция а при каждом 0 ев О, называется случайной функцией. Множество' 6 называется областью определения случайной функции, а Х вЂ” ее областью значений. Представляет интерес следующий частный случай общего определения. Предположим, что О является функциональным пространством, а = в(0), 0 ен О, о-алгебра 6 содержит все множества пространства Й вида (еп в(0) ев А), каково бы ни было 8 ~ 6 и борелевское множество А ен Х, Р— произвольная вероятностная мера на 6.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
