1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 88
Текст из файла (страница 88)
кльссиэиклция состоянии а) Если состояния 1 и 1' принадлежат одному классу состоя!(ай, п)ти етом 1 принадлежит циклическому подклассу С„а ) я е= Сг+аг 1ио р(па+а) ь„ !' иу. и) Если жв ( произвольно, то (19) р)~в+~) ~) )тыкаю~ УУ 1 ! г=ь а=О, 1,..., д — 1. (20) Доказательство. а) Пусть сначала а=О.
Относительно матрицы переходных вероятностей Ре состояние 1 возвратао и апериодично. Следовательно, согласно (8) (пе) 1 у уп пп иу' ь)(1 Л '5~ ЬЕ1(па) А=) ь=! Предположим, что (19) доказано для а=г. Тогда (ПЕ+г+1) %) (Ла+Г) Ъ) Е У( Ри =,~ рмрьг ~, рм Ь-1 ь=! )(у )уу Ь) Ясно, что па+а р(па+ а) — ьл ((д) у(па ь а — ь) и х у уу' уу Уу = 1 а=О, 1, ..., (1 — 1. Период состояния 1 равен д, позтол!у р(ла+'-п)=0, за исключен наем лишь случаев, когда я — а имеет вид г А Значит, л(па+а) лл Ип1-)-а)пил — г)а) и хли н г=ь и требуемый результат (20) следует из (19).
Лемма доказана. Из лемм 2 — 4 вытекает, в частности, следующий результат о предельном поведении вероятностей р(е) 1у Теорема 1. Пусть марковская цепь неразложима (т. е. ее состояния образуют один класс существенных сооби(аюуцихся состояний) и апериодична. Тогда: а) если все состояния нулевые или невозвратные, то для всех 1 и 1 р<(л)-и О, и-у со; (21) гл. тш. млуковские цепи Ь) если все состояния ! положительны, то для всех ! р!"> — — ~ О, п —:. со; 1 (22) >ч 4. Обсудим результат этой теоремы для случая марковской цепи с конечным числом состояний Е = (1, 2...,, г). Будем предполагать, что рассматриваемая цепь неразложима и апериодична. Оказывается, что тогда она автоматически возвратна и положительна; неразложимость ( неразложимость>> возвратность >( = 1 / положительность е(=! (23) Для доказательства предположим, что все состояния невозвратны, Тогда в силу (21) и конечности множества состояний цепи 1 =! Цп ~ р>ч> =,У', 1пп р<,".> = О.
и и ь . » Л (24) р, ++ р р" рт- р>» —.р ~О. 1 > -- и. ии >Ф и,1,, ' и> (25) Поэтому найдется е)0 такое, что для всех достаточно больших и р)",> )е) О. Но р>т">-+ —, а значит, р> ~0. Тем самым нмпликация (23) доказана. Обозначим п> — — 11ир Тогда в силу (22) п>)0 и, поскольку ь ь 1=1!гп У, 'рЯ>= ~ пм то (апериодическая неразложимая) цепь л является эргодической, Понятно, что для всякой эргодической Полученное противоречие показывает, что все состояния не могут быть невозвратными. Пусть !ь — возвратное состояние, а произвольное состояние.
Поскольку !ь 1, то по лемме 1 состоя. ние !' также возвратно. Итак, все состояния у апериоднческой неразложимой цепи возвратны. Теперь установим, что все возвратные состояния положительны. Если предположить, что все опи нулевые, то тогда снова придем к противоречивому равенству (24). Следовательно, существует по крайней мере одно положительное состояние, скажем 1',. Пусть > — какое-то другое состояние. Поскольку > 1„то найдутся з и 1 такие, что р!» О, р<,'>)О и, значит, з з кллссиФикеция состоянии конечной цепи найдется и, такое, что для всех п)пь пп'и ро! ~ ) О. и (26) В ~ 12 гл. 1 было показано, что верно и обратное: из (26) следует зргодичность. Таким образом, имеют место следующие импликации; неразложимосты с:=> )~~ с:Ф 26) неразложимость| воз рат ос ь зргодич-1 й = 1 ) положительность~ ( ность / д=1 Можно доказать, однако, больше.
Т е о р е м а 2. В случае конечной марковской цепи неразложилсость ~ ( неразложимость~, возвратность 1 (эргедин-~ й = 1 ) положительность) ( ность ) й=1 Доказательство. Достаточно доказать импликацию неразложимость (зргодичность =ю возвратность ~ положительностью)' й = 1 Неразложимость следует из (26).
Что же касается апериодичности, возвратности и положительности, то они справедливы в более общей ситуации (достаточно лишь существования предельного распределения), что доказывается в теореме 2 ~ 4, 5. Задачи. 1. Рассмотрим неразложимую цепь с множеством состояний О, 1, 2, ... Для того чтобы она была невозвратной, необходимо и достаточно, чтобы система уравнений иу = У, 'и;ро, / =О, 1, ..., имела ограниченное решение такое, что и;цнс, 1= О, 1, ... 2.
Для того чтобы неразложимая цепь со множеством состоя. ний О, 1, ... была возвратной, достаточно существования такой последовательности (и,, и„...) с и;-+.оо, (-~со, чтобы для всех 1~0 ив~ ~~ ли'Ру. 3. Для того чтобы неразложимая цепь с состояниями О, 1, ... была возвратной и положительной, необходимо и достаточно, Гл. у1п. мАРкавские цепо! чтобы система уравнений и, =- У', и;рн, 1= О, 1,... имела не тожде! ственно равное нулю решение, для которого Р', ~ и,',(со. 4. Рассматривается марковская цепь с состояниями О, 1, и переходными вероятностями Роо =го Го! =ро)0, 1= !'+1, Рц= в остальных случаях. справедливость следующих цепь невозвратна с=а цепь положительная с:=> цепь нулевая с=> 5.
Показать, что ~ -=и:, зцр р!".! ~1!! = ~ р!л!. » -! 6. Показать, что для любой марковской цепи со счетным множеством состояний всегда сушествуют пределы для р!»! в смысле Чезара: ! пп — р".' = —, Р Л',о !! Рг' о=! 7. Рассматривается марковская цепь $о, й„... с $А+! — — Яо)++ +ЧА „Й~О, где т)1, !)„...— последовательность независимых ОДинаково РаспРеделенных слУчайных величин с Р(!)о= 1) =Рр 1=0, 1, ...
Выпишите матрицу переходных вероятностей и покажите, что если ро)0, р,+р,(1, то цепь возвратна тогда и только тогда, когда ~Х~ Иро ~ 1. Р,~О, Г,.=- О, д,~О, 0 Пусть р„= 1, Р„, = ч' "' ч" . Локазать Р!" Р» утверждений: цепь возвратна с=:а ~ ! Ри ~о Р;»(аа Рюя» ~~'Р.=., '~ Р».Р» % 4, пьсдвльнь>в н сткцнонкьныв яхспевдвления 549 5 4. О существовании предельных и стационарных распределений 1. Начнем с некоторых необходимых условий существования стационарных распределений. Теорема !. Пусть л>арковская цепь со счетныл4 множеством соппояний Е = )1, 2, ...) и матрицей переходных вероятносп>ей Р=,! р»! такова, что для всех 4 и / существуют пределы !нпроо =л>, не зависящие от Е Тогда а) ~;л,~1, ~л>р»= 4,:, > )>) или все л>=0, или же У',л>=1; / с) если все л> =О, то стационарного распределения не существуе>п; если же У', л, = 1, то )П = (л„л„...) образует единствен/ ное стационарное распределение.
Доказательство. По лемме Фату У, 'л,= ~ч,'1ип рой =.!!го ~~ р<'.о=1. ц » > Далее, ~, лр» = ~ 1! !и> рЯ1 р» ( ! !)н> ~ч~ р4ч рт =1нн р<ч+ '> = лц П В т. е. для любого ! 'У', л;р» ( лр Предположим, что для некоторого 1, ~ л,р»,(л„.
Тогда Х ~Х~Х гр 1=Х Хр»=Ель l I 4 4 Полученное противоречие доказывает, что ;У, 'Л>Р» - Л> для любых 1, 550 ГЛ. Ч11!. МАРКОВСКИЕ ЦЕПИ Из (1) следует, что Х 1л) лион = лр Поэтому пг = 1! Ел ~', П1р1111 = ~х , 'п1 Его р1" 1 = (1 'У, 'п1) пг, л т. е. для всех / ят (1 — ~ч , 'П1~ = О, откуда следует утверждение Ь).
Пусть теперь Я = (о„ о,, ...) — какое-то стационарное распределение. Тогда, посколькУ ~ АР,'~' =дг и, значит, Я д1пг=ом т. е. 1 й п,=д1 для всех )', то это стационарное распределение должно совпадать с )П=(п„п„...). Поэтому, если все пг =О, то стационарного распределения нет. Если же У', пг= 1, то )П=(п„пх, ...) l будет единственным стационарным распределением. Теорема доказана. Сформулируем и докажем основной результат о су1цествованин единственного стационарного распределения. Теорема 2. Для марковских цепей со счетныл1 множеством состояний единственное стационарное распределение существоет пшгда и только тогда, когда во множестве состояний существует в точности один положительньсй возвратнь1й класс (существенных сообщающихся состояний).
Локазательство. Обозначим через й( число положительных возвратных классов. Пусть )У =О. Тогда все состояния невозвратные или возвратные нулевые и в силу (3.10) и (3.20) 1ппр1л1=0 для любых 1' и 1. Следовательно, по теореме 1 стационарного распределения не сушествует. Пусть 0=1 и С вЂ” единственный положительный возвратный класс. Если й(С) =1, то, согласно (3.8), р1.'!~ -+ — > О, 1, 1 ен С. 1 и Если у ВАС, то 1 невозвратно и в силу (3,7) для всех 1 р11т1-~0, Положим % с пвадельныя и стлционавиые глспеедялвния 551 Тогда по теореме 1 набор Я=(д„д„...) образует единственное стационарное распределение. Пусть теперь !(=Л(С)) 1.
Обозначим С„, ..., С„, цикличе- ские подклассы. Каждый из этих подклассов С„относительно матрицы Еи образует возвратный апериодический класс. Тогда, если 1, ) ен Са, то согласно (3.19), Р(зю . ->О, ц Поэтому на каждом из множеств С„набор —, ! ен Сы образует И! (относительно матрицы гм) единственное стационарное распределе- %'3 1 1 ние. Отсюда, в частности, следует, что ~,— =1, т. е. м! и! гас„ МСА Положим и покажем, что для исходной цепи набор Я=((1„д„...) образует единственное стационарное распределение. В самом деле, для ! ~С !Рд т ! !л0 — 1! Рв = .Р~ Рц Р!! !Е С Тогда по лемме Фату 6~ и и --,, !/ — = И!и р!.з1) 'У !нп р<"а '!Р11= У вЂ” рт! и! !ес гас и, значит, 1 к! 1 ~,7„Р~! и! и! 1ес Но з — 1 а-! Так же„как и в теореме 1, отсюда показывается, что на самом деле 1 Ъ' 1 Рг! 1мс Вто доказывает, что набор $=(йо д„...) образует стационарное распределение, которое единственно в силу теоремы 1.
Пусть теперь число положительных возвратных классов )Ч ~ 2. Обозначим их С', ..., С", и пусть (Ц'=ф, д!> ...) — стационар- Гл у!и млРковскг!в цепи нос распределение, соответствующее классу С' и построенное по формуле ( — )О, ( ! о! =~ и! О, (ЯС!, !МС.
< )!! р(л! г! г —, !яС, гевЕ, и О, 1'фС, (ев Е. Тогда для любых неотрицательных чисел а„..., ан таких, что а,+...+ам =1, набор иД!+...+агДн будеттакже образовывать стационарное распределение, поскольку (аД'+... + анЯн) Р— =- аД'Р+... + ан4ьР = аД'+... + ах(йн. Отсюда следует, что для М.=: 2 существует континуум стационарных распределений. Таким образом, единственное стационарное распределение сущест- вует лишь в случае Ф = 1. Теорема доказана.
2. Следующая теорема дает ответ на вопрос об условиях, при которых существует предельное распределение для марковских цепей со счетным множеством состоявий Е. Теорема 3. Для ного чтобы существовало предельное рас- пределение, необходимо и достаточно, чп!обы во множестве Е всех состоянии цет! нашелся в точности один апериодический поао- ввительный возвратный класс С такой, что )!! = 1 для всех ) е—= .С и !'~Е, Доказательство. Необходимость. Пусть д!=!пир",;" и и набор ((;) =- (д„дм ...) образует распределение <д! ~ О, ~', д! = 11.
Тогда по теореме 1 это предельное распределение будет единст- венным стационарным распределением, а значит, по теореме 2 существует один и только один возвратный положительный класс С. Покам!ем, что период этого класса с(= 1. Предположим противное, т. е. пусть !() 1. Обозначим С„, С„..., Сл,— циклические под- классы. Если ге=С, и (е-=С„то, согласно (19), р~."л-ь'>-э.— и и! р!"л'=О для всех и.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
