3. Основы теории случайных процессов. Карлин (1971) (3. Основы теории случайных процессов. Карлин (1971).djvu), страница 13

Как только лампочка перегорает, ее сразу же заменяют новой. Пусть первая лампочка перегорает в момент 5ь вторая — в мои «1 мент $~ + $е и и-я — в момент л.'е $о где $е — взаимно незавнсит-и мые, одинаково распределенные случайные величины (распределение каждой из них совпадает с распределением с. в.

$). Пусть и„обозначает среднее число замен, произведенных к моменту л. Если первая замена имела место в момент й, то среднее число замен в оставшееся до момента а время есть и„н. Суммируя по всем возможным значениям к, получаем и„= ~ (1 + и„н) ан + 0 ° ~2~ ан —— н-о н-п-~-1 75 й Л дискретное уравнение восстоновленля Теорем а 1.2. (Основная предельная теорема для марковских цепей.) (а) Рассмотрим возвратную неприводимую непериодическую марковскую цеггь. Пусть Рг, есть вероятность оказаться в г-м состоянии на и-м шаге, п = О, 1, 2, ..., >гри условии, что Х(0) = г (т. в. состояние г начальное), Пусть, как и ранее, Р„.=-!. Пусть есть вероятность впервые возвратиться в состояние г' на п-лс шаге, причем )?, = О, По доказанному ранее (слг формулу (51) гл.

2), имеем -е е ~ 1, если п=-О, е-о " " 1 О, если п>0. В этом случае справедливо равенство 1!гп Р"и = л)и л о (б) При этих лсе условиях )пп Р"и =!нп Р;и л-+ л -+ Доказательство. (а) Положим ил= Р;ь п))0; ил=О, п<0; п)0; а„=О, п<0; ~1, п=О, 1 О, пФО. Воспользовавшись теперь теоремой 1.1, получаем доказываемый результат. (б) Пусть с у = ~г а — ьхтл е-о где а )О, тга =1, !нп хе=с. =о е-+ Докажем, что прн этих условиях !нп ул =- с. В самом деле, имеем л+ у„ — с = ~ ал ьх„ — с .'чв а„ = 2~ ал „(хь — с) — с ~ и . я-о я=о о-о л>=лег 76 Гл.

3 Основные пределенвее теоремы для марковская цепей Для любого заданного а ) 0 существует К (е), такое, что ! хн — с1<е13 для всех й) К(е). Следовательно, К 1е1 и уи — с=- ~~.', аи п(хн — с)+ ~ аи н(хн — с) — с ~ а, и-о Е-К!сны ие-и+! откуда К 1е1 !уи — с!<М ~~а„„+ — ~~ а„„+!с! ~~~ а, о=К!сны где М = шах ! хн — с 1. я~о Выберем теперь У(е), такое, что ~ с! ~ а <а/3 и т =и+1 кол и Х вЂ” — = .ьй ° 3М ъч е а„„= р а < — для п)Лс(е)! я=о ы и-К (е! мы видим, что 1уи — с)< 3+ 3 + 3 =е для п)еУ(е).

получаем доказываемый результат. Замечание 1.3 Пусть С вЂ” возвратный класс. Тогда Р;"1=0 при е'ен С и ! !й С для всех и. Следовательно, попав в С, выйти из него невозможно. Таким образом, подматрица ~~РО!~, е, 1 он С, является матрицей переходных вероятностей, а соответствующая марковская цепь неприводнма и возвратна. Это означает, что предельная теорема справедлива дословно для любого непериодического возвратного класса. 3 а меча н и е 1.4. Если а„-на при п-+ оо, то, как легко показать, выполняется равенство и 1 Ъя 1!гп — ~ ан- а.

и.е.ю и А с (1.3) Воспользуемся теперь ранее доказанным нами соотношением (см. формулу (5.9) гл. 2) Р",. = ~~~~ ~',Рп ", (Ф1, п>0. е о Полагая 77 Э' !. Дискретное ураененае еосстанаеленпя в возвратный непериодический Значит, если состояние с входит класс, то л ! ~~ пт 1пп — т Ри = и+ т с ! ! т ~ п1,; (1.4) п О где спс — среднее время возвращения.

Если состояние с входит в возвратный периодический класс,то, как можно показать (см. задачу 7 гл. 2), Р;с = О, если сп не кратно периоду д (т. е. если сн ~ пд для какого-либо и), и 1пп Ри = —. ил л.+ "'с Эти два последних результата вместе с (1.3) показывают, что со- отношение (1.4) справедливо и для периодического случая, Если 11сп Рс; =ссс>О для некоторого состояния с из пепел-э Риодического возвРатного класса, то пс > О дла всех 1 из этого класса. (Доказательство этого факта аналогично доказательству следствия 5.1, и мы его опускаем.) В этом случае мы называем класс возвратным положите,гьным, или сильно эргодическим.

Если все ис = О и класс возвратный, то будем говорить, что класс воз- вратный нулевой, или слабо эргодический. Те о р е м а 1.3, Для непериодического возвратного положи- тельного класса с состояниями 1 = О, 1, 2,... !пп Рсэс = ис пи ~~~~с псРсс, ~ пс 1, л -+ -о с-о и величина! (ис) однозначно определяются условиялси и!~ )О, 2~ с« =1, ссс = Х псрсс. с=о с-о (1.5) Дока з а тел ь ство. Для любых и и М м ~чэ~ Рп > с-о с=о Устремляя п - оь и используя теорему 1.2, получаем 1 > ~~ пс с-о Набор (пс), удовлетворяющий условиям (1.5), называется стационарным распределениелс марковской цепи. Подробнее об этом речь пойдет в гл.

5, Гл. 3, Освоение предельнме теоремы для марковских цепей 78 м м для любого М, откуда ~ п~ ~ 1. Далее, Р~~+ ) ~ РеоРц, при у=о л-о м и-+по это дает п~) ~пнРц. Поскольку левая часть этого нее-о равенства не зависит от М, при М вЂ” оо получаем п~) ~ и Рц. о-о (1.6) Умножая обе части (1.6) на Рм и суммируя по /, получаем неравенство п~) ~ я,Р',. Точно так же убеждаемся, что это нера- и-о «\ венство справедливо для любого рд и ) ~2"„п„Р",. Предположим, о=о что длЯ некотоРого )о имеет место стРогое неРавенство. СУммиРУЯ по /, имеем Х п~ > Х ~~~ пеРц= ~ и ~ Ро~ — — ~~з„пн; е-о !=о о-о о-о т-о и-о таким образом„п~ = ~2„' тсяРц для всех п.

Поскольку ряд ~по я=о сходится, а Ро~ равномерно ограничены, при а-+ оп и пй = ~ по Ит Рц = пе ~~'., ян для всех 1. А о и.+ ю н-о хо= — ~ х~Ры — — ~е х~Р~ь 1-о е-о откуда, устремляя п- оо, получаем л хо = ~ х~ 1пп Ран= ил ~~з~ х; =по. ° ! о л+ у-о В силу того что класс возвратный положительный, имеем и >О, и поэтому ~~~з по =!. и-о Предположим теперь, что последовательность х = 1х,) удовлетворяет соотношениям (1.5), тогда 79 у й Диенретное уров!!ение восстановления О 1 О д, о р, о д, о р,, Р =$!Рсс!1= (см. пример Б гл 2). с'(ы исследуем существование стационарного распределения, т.

е. найдем положительное решение уравнений хс= с~~хсрсс=Рс 1хс !+дс+!хсл.с, с=о, 1,, (17) С-О при условии «нормировсси» ~хс — — 1, С-О где р 1 = О и ро = 1, а значит, хо = д!х!. Уравнение (1.7) при с = 1 позволяет выразить х, через хо, при с = 2 выразить х, через хо и т. д. Легко проверить, что 1-1 С 1 — !РС-2 ''' С!1 $ $ РЯ х,= х,=х,Ц !)1, с 1 1 я О в+1 удовлетворяют (!.7), причем хв еще надлежит определить.

Используя условие нормировки, получаем ю 1-1 1 = хо+ л~~~ хо ~ ~ — ~ ! В-О да с.с илн ХО= Таким образом, хо ) О тогда и только тогда, когда Прим ер. Рассмотрим класс процессов случайного блуждания, матрицы переходных вероятностей которых имеют вид ,5 2. Доказательство теоремы !.! 81 Из (2.1), (2.2) и (2.3) имеем ! М л! ил (~~ иьил в+ е< ~ авил в+ М ~~~~~ ив+а< ь-о в-о ! в-и+~ < ~ авил -в+ 28 < в-о < (а, + аз+ аз+ ...

+ ам) (Л+ и) + аЛ'+ 2в ( ( (! — а,) (Л+ е) -! а, Л' + 2е < Л + Зе — а, (Л вЂ” Л') = Л вЂ” е. Но это противоречит первому из неравенств (2.3), и, следовательно, !нп ил, = Л. Повторением предыдущих рассуждений убе! ь ! ждаемся, что для любого целого числа с( ~~ О 1!т ил а =Л. (2.4) ДаЛЕЕ, ПОЛО.КИМ Гл= ивы+ алло+ ...; ОЧЕВИдиО, ~ )тал — — Х Гл. в-о л о ( Заметим, что сходимости ряда тегл не требуется.) Подставляя а, = г,— го а,= г, — г„... в (2.1), получаем гоил+ г,ил, + ...

+ гли, = гои„~ + г,ил, + ... + г„~ио+ Ь„ (и= 1, 2, ...). Полагая Ал=гоил+ ... +тли„мы можем записать последнее равенство в виде Ал- Ал,+Ьл, и=1, 2, ..., где А,=сои,=-(! — а,) и,= Ь,. Отсюда следует, что Ал= ~ Ьи Ь-О Так как гл) О и ил) О при всех п, то для любых фиксированных Лт > О и ! > О имеет место неравенство л. г,ил +г,ил 1+ +гни,-и(А =- ~ Ьл. л-о УстРемлЯЯ ! -ь оо, полУчаем неРавенство (г, + ... + г, ) Л ( ~~о~ Ьл, л О гм которое можно записать в виде Л(~Ь„~Яг„~ . Поскольку о о Л'>О произвольно, отсюда следует неравенство ~ч' „Ьл (2.5) ~~~~~ тл ас Гх.

Д Основные предельные теоремы для марковских цепей (2.6) й 3. ВЕРОЯТНОСТИ ПОГЛОЩЕНИЯ Ранее мы установили (см. задачу 9 гл. 2), что если состояние! невозвратное, то Рц- О, и что если состояния ! и 1 принадлежат одному и тому же непериодическому возвратному классу, то Так как ин.-эО при всех й, из неравенства (2.5) следует утверждение теоремы для случая, когда ~ ге = оо, поскольку [как это л О следует из (2.5)) Л= !пп ил=О. л.+ Если ~гл<оо, положим р=!ипил. Те же рассуждения, что л 0 л-т. и для верхнего предела, показывают, что если Пт ил - р, то лт ть !пп ил в=р для любого целого числа с(- О, Положим т.

! -и+~ =д(У); ясно, что 1пп д(У) =О и лт Х Ьл ( гвин + г1 и -~ + ... + гиил -м+ йт (У) М л с Устремляя 1-н оо, получаем 2;Ьл<(ге+" +ги)р+й(У)М. л-с Переходя теперь к пределу при У -н оо, получаем неравенство ~з„ьл ~~ Ь„(~!ь~ гл, илн р> " л-0 л О ~ г л л 0 Из (2.5) и (2.6) следует, что !х >~ Л. С другой стороны, р 4 Л по самому их смыслу. Следовательно, р = Л, что означает, что предел 1!гп ил существует и, более того, л.+ь ~Ч„'Ьл !пп ил = л.+ л О Для случая, когда аь = О, но наибольший общий делитель целых чисел сп, для которых а ) О, равен 1, теорему 1.1 можно доказать аналогичным способом, воспользовавшись при этом следствием 4.1 гл.

2. 88 8 3. Вероятности погяоекенпя Рс!-+ и! ) О. Если состояния ! и 1' входят в один и тот же возвратный периодический класс, то последнее утверждение сохраняет и силу, если Р'! заменить в нем на и ' ~~,'г Рп. Для того, чтобы т=! завершить рассмотрение предельного поведения вероятностей Р;, остается рассмотреть случай, когда состояние ! невозвратное, а состояние 1 возвратное.

Пусть Т вЂ” множество всех невозвратных состояний; введем величины х,". с помощью следующей рекуррентной формулы: х!= ~иР! ! -т х = ~ч'„Р,.т т ! т где ! еп Т и п)~ 2. Заметим, что х" ,есть вероятность того, что, отправившись из состояния с, процесс не выйдет нз класса Т в течение следующих п шагов. Покажем с помощью индукции, что последовательность (х"., п = 1, 2, ...) является невозрастающей. Действительно, так как х",.

~ 1 при всех а, то !сит тигт Предположим теперь, что х" <х,".-! при всех !'еп Т, тогда О(хе+1= Х Р. Хч - Х Р..х" !=х".. !! ! . и ! тыт ! т Зто означает, что ограниченная последовательность (хпс, п = = 1, 2, ...~ не возрастает и, следовательно, стремится к некоторому пределу хе, причем х! == ~ч."! Р,,хп 1 . Т. (3.1) с:и Г Таким образом, если единственным ограниченным решением уравнений (3.1) является нулевой вектор (О, О, ...), то, отправляясь из любого невозвратного состояния, процесс с вероятностью 1 будет поглощен некоторым классом возвратных состояний.