И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов (1134101), страница 35
Текст из файла (страница 35)
Теперь определим К, как множество тех у, у ен К, для которых ~ р(ю, у) > О, К> — как ю я к. множество всех тех у, для которых ~ р (ю, у) > О, у ен К, и т. д. !Ию Из определения множества К, вытекает; К,г~, с К, при любых г н з. С другой стороны, если у ~ К„то найдутся такие уы ую, . ...„у, = у', что у„~ К„, г < з, и р (у,, у,) > О, т.
е, ри-'>(у'„у) > О. Верно и обратное: если рююрс! (у„уг) > О, у, ен К„у ~ К, то у и= К. (из у„— ~ у,„„у,+, — >. у и у, у следует у,э, — » у,). Теперь убедимся, что классы К, и К„О<г < з < юу, не имеют общих элементов. действительно, пусть у ~ К„у ен К,. То-да найдутся такие У! и юг~К„, длЯ котоРых Р!'>(юь У) ) 0 н Р!" (ю, У) > О.
Так как уз и у сообщаются, то р! >(у, ю,)'> 0 для некоторого т. Следовательно, р'"'+" (у>н ю,)>р">(у, у) р! >(у, ю',) > 0; поэтому т + э делится на юу, т. е. т = уююу — з, где з — некоторое целое СЛУЧАЙНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ >ГЛ. ! П пт! = 2 п>юл>(ю, ю). л ! Тогда для любого 1 Вгп рл>(1, ю) = —. л ! л-» "'! Доказательство.
Пусть тл — число шагов до первого возвращения в ю-е состояние, т, — число шагов между вторым и первым возвращением в это состояяие и т. д. В силу следствия теоремы 4 величины тл, т>, ..., т, ... взаимно независимы, одинаково распределены н принимают целые значения, не меньшие единицы, причем (12) Р(тю=-п)=~юл>(ю, ю), Д, (юл>(ю', ю)=1, Мтл=пю!. л ! Рассмотрим процесс восстановления, в котором т„является длительностью п-го восстановления. Роль величин р„и 6(п) теперь играют )юл>(ю', !) и рюл>(ю, ю) соответственно. Так как цепь апериодическая, то в силу леммы 2 восстановление также апериодично. Из теоремы 2 5 4 следует равенство !Нп рюл> (1, ю) = — , > л.+ что является частным случаем (12) при 1 = ю. Нетрудно перейти к общему случаю.
Воспользовавшись формулой (4), получим л Р (! 0 ~Х,' еюА>(1 .) рюл-А>(. 1) )тю~>(1 ) 1 (!. ю> Х(">( ') ~(ю>(й ) А-! 2-! число. Но тогда 0 ( Р (ю! >)Р! (! 22) лл Р (ю>> >2) а это, как было показано выше, невозможно, так как переходы из ю', в юз, юь ю', епК,, возможны только за число шагов, кратное й. Далее, пусть !я К„и ю'еК,. Найдется такое и, что р' '(ю', 1) > О. Тогда юп имеет вид пю=>юююй+(з — г). С другой стороны, в силу теоремы 8 рлг>(ю, ю) > 0 для всех п)пл(ю). Следовательно, рнл+А>" »'-'>(ю, 1)) рчаи(ю, ю) р!"Ую»' ">(ю, !) > О при всех п > п,(ю). вв Условимся множества Кюь К>, ..., Ке ! называть подклассами периодического класса сообщающихся состояний, Предельные теоремы для вероятностей перехода.
Теорема 10. Пусть р! >(ю,)) — вероятности перехода неприводимой возвратной апериодической цепи Маркова. Обозначим через >и! среднее число шагов до первого возвращения в ю-е состояние: ч е! ЦЕПИ МЛРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИЙ воз Замечая, что ~м'(1, 1) — ~0, Х ~!А!(! У) — л! при и-эоо (в силу А-1 неприводимости и возвратности цепи), и применяя лемму 1, получим равенство (12) в общем случае. ° Доказанную теорему часто называют эргодической теоремой для цепей Маркова, Т е о р е м а 11.
Если неприводимая возвратная цепь Маркова периодична с периодом й, то 1!гп р~ '>(ю', 1) = —. лл л.+ гп~ (14) 1 Ф з — г (гп ой й). Доказательство. Из леммы 2 следует, что период неприводимой цепи Маркова совпадает с периодом процесса восстановления, введенного при доказательстве предыдущей теоремы. Поэтому равенство (13) непосредственно вытекает из следствия теоремы 2 5 4. Из теоремы 9 имеем: рш"+л(й !) = 0 при !~ К„, 1~ К, и ! ~ в — г (вой й). Следовательно, если, например, г<з, то л р™-и( !) Х )<Ал+ — >(; !) р! -Мл(! !) Доказательство формулы (14) заве!ршается ссылкой на лемму 1, точно так же как доказательство теоремы 10, ° Определение. Возвратное состояние / назглвается нулевым, если 1пп р(""1)(!', у) =О, положительнььи, если !!ш р! )! (1, !) > О.
В возвратном классе состояний все состояния одновременно либо положительны, либо нулевые. Действительно, если !»!', то из неравенства где гп и в таковы, что р~ '(1, !) > О, ри'(1, 1) > О, следует 11ш Рьлп(!ь !))1!гпРмю(1, !), с( =й~ —— с!и Меняя роли !и 1, получим доказательство утверждения. Полученные результаты можно подытожить следующим образом. Если К, — подклассы, введенные в теореме 9, и ! я К„, ! я К„то 1- — 1=з — г шойй 11гп р'л'+Л(1, !) = ! о, 204 слзчлиныв последовательности !гл.
!и Теорем а 12. а) Чтобы состояние! было невозвратныяь, необходимо и достаточно, чтобь! 611 == ~ ры1(1, 1) < оо, Пои этом к=! для всех 1 6н — — ~ рьп(1, 1)(611<со, !!ш р!"!(1,1)=0. к л-~ б) Пусть !' — возвратное состояние с периодом й и средним временем возвращения тл Если ! достижимо из 1, тогда !— также возвратное состояние с тем же периодом й, нулевое или положительное одновремгнно с 1, и существ)гст такое й, 0 ( й ( ( й, зависящее только от ! и 1, что — при г=я, 1!т р' ""(! 1) =! 0 при г ча= й (лоб а). в) Если !, 1 принадлежат одному и тому же возвратному классу, то (15) !пп — з р!">(1, 1) = —. а! ~ ° ы к 1 (16) и ей транспонированной ~ р (1, 1) хг = х!, (18) 1ы! Если система (17) обладает неотрицательным и суммируемым решением, т.
е. х;) О, ~ х, < со, то можно считать, что х;=1, и такое решение можно интерпретировать как инвариантное начальное распределение х; = Р Д(0) = !) = Р Д(1) = = 1) = ..., порождающее стационарный марковский процесс. Последнее утверждение является непосредственным следствием б). С другой стороны, в отличие от утверждения б), формула (16) не отражает различия между апериодическим и периодическим классами состояний. Условимся называть неприводимую возвратную цепь Маркова положительной (нулевой), если ее состояния положительны (нулевые) . Критерий возвратности.
Стационарные распределения. Свойство цепи Маркова быть возвратной (положительной или нулевой) тесно связано с нетривиальными решениями линейной однородной системы Х р(1, 1)х1 — — х„! гн1, (17) !Е! 11ЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯ!П!11 205 э 6> С другой стороны, существование стационарного марковского процесса с заданными вероятностями перехода эквивалентно существованию неотрицательного суммируемого решения системы (17). Что же касается транспонированной системы (18), то существование нетривиального решения х, = с очевидно, Для возвратной цепи Маркова характерно, что (18) не имеет других нетривиальных неотрицательных решений.
Более того, имеет место следующая теорема. Теорем а 13. !уеприводимая цепь Маркова возвратна тогда и только тогда, когда система неравенств Р (1, !) х/.-. х!, 1 ~ у, (19) (ы( не имеет неотрицательных решений, отличных от решений вида Х<=С, !Е=!. Доказательство.
Допустим, что цепь возвратна, х< ~ 0 и х< (>ен !) образуют решения системы (19). Выберем произвольное х( > 0 (если такого нет, то все х< = =О). Из (19) следует х() ~ Р(1, !) ~ Р(!, й)хА= ~ Рп'(1, Я)хь, ( ( А / Ам/ и по индукции х; ~) ~ р< >(1, /г) хА. Ам/ Для каждого ! найдется такое и, что р'ю(1, !) > О, следовательно, х<) р<">(1, !)х, > О. Итак, х( > 0 для всех ! ~ !. Положим х у,= —, где ! — произвольно выбранное состояние. Имеем '= х, у,.) ~, р(!, !) у/>р(1, !)+ ~, р(!, !)у/.
Применяя это неравен- / ( /.-1 ство к величинам у, стоящим в его правой части, получим У - Р(', !).+ Х Р(1,!)Р(), !)+ Х Х Р('. !)Р(!', й)У = /~! /~( А~( =/<!>(!', !)+ !<В>(1, !)+ 7,рел(1', й)у„, АФ/ где !р">(!', й) = ~ р(1', !) р(!, й) есть вероятность, выйдя из !-го /Ф( состояния, на втором шаге попасть в й-е состояние, не заходя при этом в !-е состояние. Повторяя предыдущий прием, прихо- дим к неравенству у; > Х !<">(!, !)+ Х !р">(!, й) у, А ! А~! слтчйиные послвдовйтвльности 206 !гл. гп где ~р(н~(1, й) — вероятность перехода за Ж шагов из ььго состоя- ния в й-е, не заходя при этом в 1-е состояние. Полагая в послед- нем неравенстве У-асс, получим у > Х Р"'(! 1)=! л ! х, =1 > Р(1, 1) = ~ р(1, й)хй, йь! т. е.
(хи 1~ 7) образуют неотрицательное и отличное от постоянной решение системы (19). ® Перейдем к вопросу о связи между существованием инвариантных начальных распределений и свойствами возвратности марковской цепи, т. е. к вопросу о разрешимости системы (!7) для возвратной цепи. Т е о р е м а 14. Пусть цепь Маркова неприводима и возвратна. Система уравнений (1?) не может иметь болыие одного решения, удовлетворяющего условиям Х ~х;~<-. Хх =1. ~~У ФЮ1 (20) Если цепь возвратна и положительна, то решение системы (17), удовлетворяющее соотношениям (20), имеет вид х; = о~ — — 1пп у 7 рьо(1, 1).
1 с-~ У.+в и 1 (21) Если же цепь возвратна и нулевая, то единственное абсолютно суммируемое решение системы (17) тривиально (х; =О). т. е. х; ) хь Так как ! и 1 любые, то х; = хс = сопз1, т. е. система неравенств (19) не имеет неотрицательных решений, отличных от х;=с,1еий Пусть теперь цепь имеет хотя бы одно невозвратное состояние (сейчас неприводимость цепи не используется), Положим х~ — — 1, х, = Е(1, 1) при 1Ф 1, где 1 — любое невозвратное состояние. Заметим, что не для всех й !чу 1, Р(1,1) = 1.
Действительно, в противном случае имели быр(1, 1) = ~. р(1, н)Г(10 1)+ й~.' У +р(1, 1)= К р(1, й)= 1, что противоречит невозвратности йет состояния 1. Таким образом, определенные выше неотрицательные числа х; не все равны между собой. Имеем при ! ~= 1 х; =Г(1, 1) = Х р(1, й)Е(н, 1)+ р(1, 1) = Х р(1, й)хй й~1 й~~ А 6! !Кепи мАРкОВА ГО счетным числом состоянии 207 Доказательство. Сначала докажем единственность решения системы (17) при условиях (20). Пусть такое решение существует.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
