SLPR_030 (Случайные процессы)

Рис. 1. /(вижепие по пиклическим подклассам. В самом,:селе. пусть состояние 1 Е С„и р, > О. 0огда ) Е Сяж)1 „,„,),О. Покажем это. Пусть п, такопо. что р(, > О. Тогда и = аЫ,+р и, значит, п = р( п1о1) п(~. т.с. п+1 = р+1( ,() юоб 12). Отсюда р, ' > 0 и )' Е С,+П „,„,(4). (тч-1) Рассмотрим некоторый подкласс С„. Пусть в начальньти момент частипа находится во множестве С .

Тогда в моменты в = р — () + 11!, 1. = 0,1...., опа будет находиться в подклассе С1,. Поэтому, с ка кдым подклассом С,, можно связать новук1 марковскую пень с матрипсй переходных вероятностей ((р 1 )(, которая будет псразлозкимой и апсриодичсской. (4) Тем самым, принимая во внимание проведенную класспфикапи1о закл1очаем, что при исследовании вопросов о предельных свойствах вероятностей р, можно ограьплчиваться (л) рассмотрением лнп1ь апериодических неразложимых попей. 4.3 Задачи 1.

Пусть матрппа переходных вероятностей (однородной) марковской пепи имеет вид Описать классы состояний этой пепи. Па1лти периоды классов. 2. 11усть матрипа переходных вероятностей (одноролной) марковской пепи имеет впд О О 0 0 1 1 2 я з з — — 0 0 Д 2 О 0 Описать классь) состояний этой пепи. На1йти периодь1 классов. 3. Простое случайное блуждание. Пусть Е = 10.

~1, ~2, ... ) — множество состояний (однородной) марковской испи и пусть псрсходпыс вероятности заданы в впдс при 1 =1+1: р: рм = (); при) =1 — 1: О, в остальных случаях: 21 Б 3 1 2 — — 0 .з 4 4 0 0 0 о о х 0 0 0 0 0 0 0 1 0 о 1 0 где ~ Е Е., у Е Е., 0 < р < 1, е = ! — р. Описать классгя состояний этой пепи. Найти периоды классов. 4. Случайное блуждание с поглоьпаюппьи экраном, ! !усть Š— (О. 1, 2, ... ) - множество состояний !однородной) марковской пепи и пусть переходные вероятности рп; = 1 для любого у > О, а для 1 > 0 заданы в виде при у =1+1: Р~, ! — ч'.

п1эи у =1 — 1: О, в остальных случаях: гдеу>0.0<р<1,п= ! — р. Описать классы состояний этой пепи. Найти периоды классон. Лекпня 6 Марковские цепи (продолякение) Пусть = Р((Й = 1. С;1 и'= 1 При 1 ( ! ( Ь вЂ” 1 ссь = 11. = РГсРЙ = .1'., с1 ф .1' при 1 < ! < )с — 1 ф1 = (), .1' ф 1: Легко проверить. что (и) ~;(Й) (и — Й) Рм = ~ 1, Ры (4.3) Введем для каждого ( Е Е всличппу )и = '~~„.~.' п=1 ОПРЕДЕЛЕНИЕ 20. НаЗОВЕМ СОСтаяНПЕ 1' ЬОЗЬратНЫж, ЕСЛИ (и = 1, И НССОЗЬратНЫж, ЕСЛИ )и < 1.

Пусть г, — возвратное состояние. Определим среднее ьреня ьозьролпснмя как Ря г1);,Р) . Каждос возвратное состояп1лй мсвкпо в свого очсрсдь отнести к одпол1у из двух типов в зависимости от конечности нли бесконечности среднего времени возврашения. Определение 21. Назовем возвратное состояние 1 положитсльныж, если р, < ос, и нулсьыл1, если р( = ж.

Лемма 4.1 а) Состояниес 1 ьозьратно тогда и только тогда, когда сс (и) п=1 Ь) Если состоянис. З' ьозьратно и 1+ — Й ), то состояние 1 танжс ьозьратно. ,~(оссазательство, а) ()усть состояние ! возвратно, В силу (4.3) (и) Х С(Й) (и-Й) Р,, — л ~„Р„ Поэтому ос и ос сс (и) Я «'( «1(Й) (и-Й) '~ «1(Й) ч~ (и-1) п=1 п=1 Й=1 Й=1 с=/с п=0 — пероятпости соотвстстпеппо первого позврашепия и состояние 1 и псрпого попадания и состояние ) в момент времени Й при условии ~о = г.

1(озтому, если ~„", рь < сс, го (н < 1. (и) Обратно. !!усть ~ „', р„— сс. 1огда аналогично (и) (п) ~~ .(Й) ~ (и-Й) ~ ~(Й) ~ (и) п=о п=1 Отсюда Ъ) Пусть р," > О, р:, > О. Тогда р,, > р, р- р,, и если ~ „,р.; = ос, то пп (г) р„ = оо. т.е. состояние л возвратно. (.) Из леммы 4.1 легко выводится следуюший первый результат об асимптотпческом поведении вероятностей . Лемма 4.2 Ес,.ги состояние ) неьозпратно, то для игюбого г и, знпчитг р,, — !О прин — !ос. Доказательство.

пс и 'па :х э.-. 00 ~ ~— ~ )(~) ( — Ь) ~~(Ь) ~ ~— (и-1) ~ (и) п=1 п=1 й=г ппь п=о Псрсйдг лл теперь к случаю возвратгплх состояпигл. Лемма 4.3 (без доназслте.листопад. Пусть у' яь.ляется ьозьратны.гл сосгпояниеги с с1(Я = 1. То да а) Еоггг, л л — 1 у', гпо р. — ! — прин,— !сс, (и) 1 Р1 гп,е., сат, ) — полгопгсггпгепгг нос соетоянгге, то р;,; — + — >О прин — !х:, () 1 Р1 сели же у япляется нуяспысн состояниелб то (и) р, — ь 0 при н — э "с. (7) Есаги г,' и У пРглнадлг. лсаггга Разным к„:лосспм соог)гггглнггггглисал состолний, то Рц — л — при и, -+ сс.

() .!7 Угг у(оказательстпо леммгг имеется, например, и [31. Перейделл теперь к рассмотрению случая периодических состояний. Лемма 4.4 11усгпь у' — ьозьратног. сотпоянис и гу = с![у) > 1, '!'оедо а) Если состояглия г и у' принадлслсагпл одному классу состояний, при этои г' принидогсзгсглт цикличсскону подклассу С„.

п у — цггклическоиу поди„гаггсу С„+,г то р" — л — > 0 при, п — +ос, (пггц-а) 6 УЛ7 [4зц) 17) Есапг лсе г,' произьольно. то ! .7 [4.5) еде а = О. 1..... д — 1 Доказательстно, и) Пл'сть сначала и = 0. Относительно матрнпы переходных Вероятпостейл Р = ((ул~. (( состояние у позпратпсл и апериодглчпо. По лемме 4.3 при и — л сж ((г) Ь7 !г, (ааг) 1 оа й (го а) Ь=1 л-., ь д1(ьи) Пусть [4Л) доказано для а = г. Тогда при и — л ос д д Р(ь ь= (пггц-пц-1) Ч ' (пи+и) Р, = ~ргьрь, Ь) Ясгго, что пи+а (пол+а) ч,(Ь) (пи+о-и) л=г Период состояния у' рапсп су, поэтому р . ' = 0 за псключспиенл лишь случаен.

когда (п 4Л- а — Ь) !г — а = гс1. Поэтому (пи)-а) Х Г(~ А-'~о) ((и-п)о) Р,, =~ л,,; Ргл и — — 0 и из [4.4) получаем [4.5). Лемма доказана. Из лемм 4.1 — 4.4 Вытекает. и "гастпости, следугоппгй рл"зультат о предельном попедепии вероятностей. Теорема 4.3 !!гуспгь,иаркгэбская г(епь нера!лоопа,иа ('гг!. с. ее состояния обри.лг2югг! один класс сущестбеггггых сообщающихся состояггий) и апериоди ггш. Тогда: гл) если бге состояния пулевые или псбозбратпыс., то д,гя босх г и 2 (»2 р,; — ~О прин — ~ос: 62 ссяи бее госгпоянггя 7 гэолгээгсг!Пгеягьны, гпо деля бсех г, р — + — > О при и — !со. , (п2 2гэ Пусть, как и раисе, имеется (од!город!!а!!) марковская нспь со счетным мпоэксством состояний 22 = (1, 2, ...

2. Определение 22. Пусть сушествуют пределы г, = 1пп„, р;", 2' = 1,2, ..., не зави(п2 сяшис от !. Пусть. кроме того, эти пределы удовлетворя!от соотношению " ', гг. = 1. '('огДа говоРЯт, что числа (гг, тт.... ) обРазУкгт пРедельное РаспРсг2слснис бсРоэппнотатЪ (данг!ой марковской испи). Легко провсритги что, если (кл, тя.... ) образуют пр! дельное распрсдслспис вероятностей, то претельг т.; удовлетворяют неравенствам О < и; < 1. г' 1,2..... Определение 23. Пусть числа (кг, кт, ...

) образуют предельное распределение вероятностей, и пусть, кроме того. выполнены неравенства гг, > О, у = 1, 2, .... Тогда гопорят. что марковская пень является лрводической и что (ял,кги ... ) образуют эрводическое распредсэгенис. Опрс,плсгпис 24. Пусть сушествугот числа аг.

дя, ... такие, что (2 > О, 2 = 1. 2, дг =ЕЬрг: 2= (:2: э=1 Тогда говорят. что !псла ал, ая, ... образуют стационорпос. рггспргдсглгплге (для даппогл марковской !лепи). 4.4 Задачи 1. В задачах 1 — 4 лскпии 5 охарактсрллзовать состошпля этих пспслл: явллпотся ли опп возвратньгми или невозвратными, являются лп полсгжлгтельными или нулевыми. 2.

Пусть матрипа переходных вероятностей (однородной) марковской пепи имеет впд О 1 О Р= г2 О р О 1 О 26 где 0 < Р < 1, ~! — 1 — Р. !!роперить сушествует .ли претельпое распределение, является ли пень эргодической, сушествует ли стапиопарпое распределение. 3. Случайное блуждание с двумя отражаюшими экрапамп. Пусть Е = (О, 1, .... Х) — множество состояний (однородной) марковской пепи п пусть переходные вероятности заданы в ниде рш — 1, ро1 — 0 для любого 7 Е Е, не равного 1, рича ~ — — 1. рьч1 = 0 для любого !' Е Е, не равного М вЂ” 1. р, прп ~' = ! + 1, ! = 1, ....

Л' — 1: пра1=! — 1: 1=1, ...,Х вЂ” 1: О, при~'фь,' — 1иу'ф!+1: 1=1, ...,1У вЂ” 1: г,те 0 < р < 1, и — 1 — р. Охарактеризовать состояния этой пепи: являются ли они возвратными пли невозвратными, япляютсл спл положительными пли пулевыми. !!роверить сушествует ли предетьное распретеленпе, является ли пень эргодической, сушествует ли стапионарное распределение, 4. Случайное блуждание с двумя поглошаюшпми экранами.

Пусть Е = (О, 1, ..., Х) — множество состояний !однородной) марковской пепи и пусть переходные вероятности заданы в виде рпо = 1, рп; = 0 для любого ! Е Е, не равного О, р~ча = 1, р~у = 0 для любого ! Е Е, не равного Ж р, при 1=!+1: 1=1, ...,Л' — 1: и, при 1=! — 1: 1=1, ....Х вЂ” 1: О, при ! у'= ! — 1 и ! ~ ! + 1: ! = 1...., 1Ч вЂ” 1: где0<р<1,у=1 — р. Охарактеризовать состолпия этой ш пи: валяются ли ошл возвратными пли певозврат- ными, являются ли положительными или нулевыми Проверить сушествует ли предельнос распределение, являетсн ли пень эргодической, сушестпует ли стапиопарпог распределение. 27 ,)(екплля 7 Марковские цепи (продолякение) Предположим теперь, что марковская пень имеет конечное число состояний Е = (1, 2,.... Х1.