И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов (1134101), страница 33
Текст из файла (страница 33)
Так как АА'с: й„ то Р (ьб(1111))б~-г) А.)))= — хР (ь,б(о Вб,.).,) А))1 где АА, = )А Л (т = з). Пусть Х(0,) — индикатор события ЕА,. Имеем, учитывая свойства условных вероятностей для марковской цепи (теорема 4): РИ'(Р.б((1 Вб -)- ) А,))1= / Г =)А (Н)Ь)Р' (П)1)) А- ) А))б))- =н).(н)ь)РРА(1)11)).+,) А.))). 3 силу однородности цепи правая часть последнего равенства равна ( Г 1 Р ( П 11 )).) .О, Ь-1 ( и (Р" ( П))Р ) А'))Р)' * Ь Ан) 06) х где Р(з, х, 1А, ) есть мера, определяемая на (Х, О) соотношением Р (з, х, О, А) = Р)А) (В Л (т = з] Л Й (з) ~ А1). Если еще ввести меру Р Р")(х 0 А)=Р)А)(0Л($(т) ~А))= ~, Р(з, х, й, А) и ! и просуммировать равенства (16) по з, то получим требуемое, Е б б.
Цепи Маркова со счетным числом состояний Прнводнмость н неприводимость. Пусть Х вЂ” счетное или конечное множество. Под о-алгеброй измеримых множеств Х в этом случае условимся постоянно понимать совокупность всех подмножеств Х. При этом измеримыми оказываются произвольные функции на Х. слтчхиныв послвдовлтальности 192 !гл. гп Точки пространства Х будем обозначать буквами ю, у, ...
Рассмотрим однородную марковскую цепь со значениями в Х. Она задается вероятностями перехода за один шаг р(ю,у), 1, у ~Х, в одноточечные множества у. Вероятность перехода за один шаг в произвольное множество В выражается через р(ю, !) очевидной формулой Р(ю', В) = ~ р(ю, у), юаз где Р" — и-я степень матрицы Р = Рю'! — матрицы вероятностей перехода за один шаг. Матрица Р =(р(1, у)) обладает свойствами: а) р(ю, у))О„б) ~ р(ю, у)=1. (2) !Ях Матрица Р со свойствами а) и б) называется стохастической.
Из равенства Р"+ = Р" Р~ следует, что рю™тю(1, у) = Х рю"ю(ю, ую) рю"'ю(я, 1). ь~х (3) С другой стороны, формула (3) является записью уравнения Чепмена — Колмогорова ((9), 5 5) в рассматриваемом случае. О пределе н и е. Состояние у ен Х достижимо из состояния ю, если вероятность перехода из ю в у' за некоторое число шагов положительна, Если у' достижимо из ю', а ю достижимо из у, то состояния ю' и у называют сообщающимися. По определению состояние ю всегда сообщается с ю. Тот факт, что 1 и у' — сообшающиеся состояния, условимся записывать символом 1 у'. Если у достижимо из ю, а й — из у, то й достигкимо из ю. Это вытекает из неравенства р'"""'(у', Ф) ) р"'(', у) р'"'(у' А) а интегрирование по мере, соответствующей стохастическому ядру Р(1, В), превращается в суммирование: ) у(у) Р(1, ду) = ~ р(', 1)у(у).
х ю х Выражение для вероятности перехода за и шагов в одноточечное множество у принимает внд Рьв(1, у)= ~, р(ю, ую)р(ую, ую)... р(у„„у). (1) ! т ю,, ..., ю „ , х Если ввести матрицу Рю"! (с конечным или бесконечным числом строк), злементами которой служат вероятности перехода за п шагов, Р'ы=(Р"'ю(ю', у))ю „, то из формулы (1) следует, что Рю ю=Р, бм ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ 193 Отношение является отношением эквивалентности: а) 1ч-~ 1; б) если1 1', то1 1; в) из 1 ~-+ 1 и 1 .~- й следует 1 ~-+ й. Действительно, а) следует из того, что р1б)(1,1) = 1, б) вытекает из симметрии 1 и 1 в определении сообщающихся состояний, и, наконец, в) вытекает из того, что д(ь+т)(1 1) >р(л)( 1) рып (1 1) > О р~"'+ а(й, 1) ) ры'~ (й, 1) рььа (1, 1) > О, если Рм' (1, 1) > О, Р'"' (1, 1) > О; Рь" 1(1, й) > О, Рыа (й, 1) > О, Произвольная цепь Маркова может быть разложена на непересекающиеся классы Х„сообщающихся состояний.
Это разложение можно осуществить следующим образом. Выбираем произвольное состояние 11 и обозначаем через Хп совокупность всех состояний, сообщающихся с 1О Из свойства в) отношетгя вытекает, что любая пара состояний из Хп сообщается между собой, Если Хи не исчерпывает Х, выбираем состояние 1, И Хп и, аналогично предыдущему, строим класс Хп, Так как 1, и 1г не сообщаются, то классы Хь и Хь не имеют общих элементов. Продолжаем построение множеств Х;, до тех пор, пока не будет исчерпано все Х. Построенные классы Х„обладают следующими свойствами; а) число классов Х„ не более чем счетно; б) каждый элемент Х попадает в одйн и только один класс Х„; г) любая пара состояний из Х„сообщается между собои; д) любая пара состояний из разных классов между собой не сообщается.
Последние два свойства могут быть сформулированы еще так: из любого состояния 1 данного класса Х„можно за некоторое число шагов с положительной вероятностью попасть в любое другое состояние этого же класса. Не исключена возможность того, что система, находясь в данном классе, выйдет из него когда-либо, но вероятность того, что она, покинув данный класс, вернется в него когда-нибудь, равна нулю. О п р е д е л е н и е. Марковская цепь называется неприводимой, если она состоит из одного класса сообщающихся состояния. Если любое состояние 1', достихсимое из й сообщается с 1, то состояние 1 называется существенным, В противном случае оно называется несущественным.
Нетрудно заметить, что из существенного состояния достижимы только существенные состояния. Действительно, пусть 1 ~ущественно и 1 достижимо из й Если й достижимо из 1, то й 194 СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ 1Гл. н! достижимо из ! и (в силу существенности состояния у) у достижимо из й. Но тогда и у достижимо из К т. е, у существенно. Отсюда вытекает следствие: в классе сообщаю!цихся состояний или все состояния существенны, или все они несущественны. Возвратность.
Пусть ~(п) — состояние марковской системы в момент времени и. Обозначим через ту = т,(п) число шагов, которые затрачивает марковская система, начиная с момента времени и, чтобы впервые попасть в состояние уй Таким образом, ту(п) определяется цепочкой соотношений е (и+ 1)Фу °, $(п+ ту — 1)Му, е (и+ т ) = у, Введем семейство о-алгебр (51,, !1, У = О, 1, ...), где 61~, !!в минимальная о-алгебра, относительно которой измеримы 9(п), $(п+ 1), ..., 9(п+ У). Величина т,(п) является марковским моментом на этом семействе.
Положим ум! (!', у) = Р (т, (и) = з ~ $ (и) = У), з = 1, 2, ..., У!м(У, у)у -В При этом у!и (г, у) = рп' (г, у) = р (с, у). Из однородности цепи следует, что вероятности ун!(у, у) не зависят от п. Прн !' ~ у они называются вероятностями первого попадания в состояние у, а при ! = у' — вероятностями первого возвращения в состояние !. Сумма р (г, у) = 7 у! !(у, у), (! Ф у), и рм! (! у) ~~~ у!А! (! у) т!л-а! (у у) и) 1 А ! (4) При этом полагаем р!'!(!, у) = б!, = О. А(ействительно, пусть чу — время первого попадания в у, отсчитываемое от начального есть вероятность того, что система, выйдя из !-го состояния, когда-нибудь попадает в у'-е состояние.
Аналогично г (!; !) есть вероятность того, что система, выйдя из у-го состояния, за конечное число шагов возвратится в У-состояние. При г(!, у) ( 1 случайная величина ту является несобственной. О п р е де л е н и е. Состояние ! назь!вается возвратным, если Р(У, !) = 1, и невозвратным, если Р(У, !) ( 1. Нетрудно установить связь между вероятностями перехода и вероятностями первого попадания.
Она дается соотношением и Р и, 11-и"'1 'с' !. = ! л !1 ! ! = 11)- л 1 л Р!1ЦТ1=з) П [ив(п) =Д) = ~ Р11(т~ =з) Р!о (я (и) =1) 8 1 и Е Р (, 1) (1, 1). и 1 формула (4) доказана. Отметим ее частный случай; Р<">(!', 1) = 2 ~<и!(1, 1) Р'"-'>(1', 1), что можно также переписать в виде и-! (1"1(1', 1) =Р!и'(1, !) — ~ 1!'1(1, 1) Р! '1(1, !).
5 1 Последнее соотношение позволяет последовательно вычислить вероятность возвращения, если известны вероятности перехода. Заметим, что для вычисления вероятностей возвращения в 1'-е состояние достаточно знать только вероятности перехода в то же состояние. Введем производящие функции Ри(г), с!1(г) последовательностей (р!"'(1,1), п =О, 1, 2, ...), (!!и!(1,1), и =О, 1, 2, ...): РНА(г) = Е р'ы (1', 1) г", с 1(г) = Х К'"! (1, 1') г".
п И л-6 Из формулы (5) следует, что и Р!!(г) — р161(,,) 1 ~ ~' 6!и(, и 1 6 1 =1+ 2 х, 1161(1, 6-1 л А 1)г"р1л "1(1, 1)ги ;) г.>р1л- и! (1,) ги-И + 1(,) () А или Р„(г) = 1+ Ри (г) Р!! (г). Изменение порядка суммирования в проведенной выкладке законно, так как рассматриваемые ряды сходятся абсолютно при 1г( = 1. Последняя формула может быть записана также в виде Р11(г) = „, (6) 6 6] ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ 195 момента времени. Тогда слю!явные последовктвльности !гл !и 1ЗЗ Аналогично из (4) вытекает равенство Рн (г) =- Р11(г) 1 !1 (г), ! Ф 1. (7) Пусть теперь г — действительное число и г (' 1. Функции Рн(г) и Ри(г) представляют собой монотонно вазрастающие функции, причем в силу теоремы Абеля 11т Рн(г) существует и11гп Рн(г)= «е! «е! = Гн(1) = Р(1, !).
Положим!пи Рн (г) = 6(!', !) =Рн(1). Из соот«ю ношения (6) следует Т е о р е м а 1. Состояние ! возвратно, если 6 (!, !) = = ~!„р!"!(с, !) = со, и невозвратно, если 6 (!', !) = ~ р!"'(1, !) < оа. и «=з В невозвратном случае 1 6(!', !') = Теорема 2, Если состояния !' и 1' сообщаются, то они возвратны или невозвратны одновременно.
Доказательство. Так как ! 1, то найдутся т! и та такие, что р!"':! (х, 1) > О, р!"'->(1, !) > О. Так как то Р!"!(1, 1) вР!»(1, !) Р!"»(с, 1) ~ Рм!(«, !) «т,+««« «-в и ряд 6(1,1) расходится, если расходится ряд 6(!, !). Меняя роли ! и 1, получим, что 6(1,1) и 6(с, !) конечны нли бесконечны одновременно. у Таким образом, свойство возвратности для марковской цепи является не столько свойством состояния, сколько характеристикой класса сообщающихся состояний. Интуитивные соображения подсказывают, что возвращения в течение неограниченного промежутка времени в возвратное состояние происходят бесконечно много раз, а в невозвратное состояние — только конечное число раз.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
