3. Основы теории случайных процессов. Карлин (1971) (3. Основы теории случайных процессов. Карлин (1971).djvu), страница 16

ТогДа с-о $'ас с+,=$с при 1)1, т. е. ~ ~' сьспс с+,— -й, С-С-1 1=С-1 откуда заменой индекса суммирования получаем ~ аД~= 5. ь-о Если $ (О < $ < 1) удовлетворяет этому уравнению, то для 1 = О получаем ХР«ь =Х Х аь зс= Сс-1 = 2~ ~2~ аойс = Ь-1 С-О у ь -Х" (', ')= —,',(-"-Х . )= Ь-1 О-1 ! (1 — по — ($ — ао) ) = 1, 1 — $ т.

е. уравнение удовлетворяется и для 1' = О. Рассмотрим производящую функцию 1(С) = ~ аДь. Так как н-о 1'(О) = ао > О и 1(1) = 1, то пРи Условии Г'(1) = ~ йаь>1 сУщеь-о ствует точка $о, О < $о < 1, такая, что 1(зо) = $о (см. рис. 4). Величины пс — — (1 — З,)Ц, с'-О, 1, 2, ..., сумма которых равна 1, представляют собой стационарное распределение вероятностей исследуемой марковской цепи.

В частности, финальная вероятность отсутствия очереди равна 1 — $о. Система УРавнений ~л~~ асРсс=ас, 1'ФО, совпадает с системой с о ы ~ч'„', Рсс~~ — — ~„с~О, из пРедыдУщего пРимеРа. Как мы видели, с о 99 б б. Еи!е один пример из теории очередей Р-процесс является возвратным, если ~ йаи(1. В этом случае и-о последняя система не имеет ограниченного непостоянного решения. Следовательно, если ~2'„' !еаи (1, то система ~~.", тнРΠ— — т!т р-о не имеет ограниченного непостоянного решения, и поэтому, Рис. 4.

в частности, пе существует стационарного распределения и про. цесс является либо возвратным нулевым, либо невозвратным. Мы докажем сейчас, что система 2,'Рцдг=уь !ФО, !6.1) г-.о имеет непостоянное ограниченное решение тогда и только тогда, когда ~е пан (!. Следовательно, процесс является невозвратным ~1' тогда и только тогда, когда ~ наи(! и возвратным нулевым, когда ~ йае-!. Так как любая последовательность с одинако- и=о ными членами удовлетворяет системе (6.1), мы можем считать, что уо —— О. Тогда !6.1) сводится к уравнениям аоуо + Жу~ + аоуе = У~ аоуо+ а у, + а,у, + аоуз = уь а.ч.|ус+а.д~+ ., +а~у„+асуп+~=у, умножая т-е уравнение на зонт, суммируя н пользуясь формулой для преобразования свертки, получаем Г (з) А (з) — заоуе =- зУ (з), или 1' (з) = '1,'~', !6.2) 100 Гл.

3, Основные предельные теоремы длп марковских Ченел при условии, что А(з) ~з. В (6.2) мы положили у(в)- Х рьв', ь-о А(з) = ~ аьз". ь о А (в) — з = (! — ю) [!— = (1 — в) ! =(1 — з) 1 Ю =(1 — )(1 — Цт(в)1, Ф'( )=Х то 8", -о где цтв= ~2~~ а >О т-и+ ~ Так как А(0) = ае и А(1) = 1, то А(з) = з для некоторого г, такого, что О < в < 1, если А'(1)=~а Угад) 1.Следовательно, т'(з) не ь-о может иметь ограниченных коэффициентов в этом случае, так как это означало бы, что У(з) сходится для каждого з си(0, !). Таким образом, если ~~ Уеаь>1, то процесс возвратен. ь-о Из строгой выпуклости функции А(в), т.е.

из того факта, что А"(з) > О, следует, что А(з) чь з при 0 <ю < 1, если А'(1) = ы = ~ Уеах((1 (см. рис. 5). При условии ~Угап <1 имеем; в-о У 6. Еще адик пример ие теории очередей 101 Тогда еаоу, (! — ч) [!в нт (еН еаоув (1 + ! — е й' (з) + ( йр (з) )' + " ) = где и„' О, У(з) = ~.и„з"= ) (йт" (г)]~, п о о-о и где о„= ~~~„ио, )т (з) = ~~~~ ~о„з", (1 (е) = зооу! 1 — 5 1 (з) = зооу!т (з) о-о и-о т. е, () (е) 1 — е Далее, следующие условия эквивалентны: )(7 (1) = ~ 'пап < 1 ~ + (() (1) = ~ ио < оо, о-о т ч, о-о так как с)(!) = 1+ )тт(!) + (Чт(1))'+ ...

есть сходящийся ряд типа геометрической прогрессии. Ясно, что о! < оо < ...— С)(1), Рис. 5. так что у(з) = заоу!)т(з), будучи разложенной в степенной ряд, имеет ограниченные коэффициенты тогда и только тогда, когда ~ йао <! . Поэтому если ~е )еа» < 1, можно взять У,~О, уо = аоу,оо ! и получить ограниченное непостоянное решение уравнений (6.1), !оа Гл. Д Основные предельные теоремы длн марковских Ченел последовательно возвращаясь к уравнению (6.2) и приравнивая коойффициенты. Это означает, что йроцесс невозвратный.

Если ~~.", йан !, любое решение системы (6.1) с необходимостью неограничено, откуда следует, что в этом случае процесс возвратен. Итак, процесс невозвратный, если ~'„', )сан<1, процесс возвратный нулевой, если ~ йан = 1, процесс возвратный положительный, если ~~ йан>1. $7. СЛУЧАЙНОЕ БЛУЖДАНИЕ Мы приложим теперь критерии возвратности нз $4 к исследованию процесса случайного блуждания с матрицей переходных вероятностей о Рв Р~ О О д, г, Р, 11РИ11- Пусть Рор~ рп-~ с= и= чюе . ч» 2',Р,,у,=уь ЕФО, е-о или ФУо+ '1У1 + Р~Ух = У~> УпУп-~ + Г Уп + РпУп+ ~ = Уп Легко видеть, что решения этой системы образуют двумерное линейное пространство. Мы можем задать ув и у~ произвольно, и тогда все остальные у» определяются из системы.

Очевидно, у; 1 и-1 является решением. Покажем, что У,=О, у„= ~ 1/р,яь п)1, с-а Для случая, когда г; — = О, было показано (см. пример в $ 1), что процесс случайного блуждания обладает стационарным распределением тогда и только тогда, когда ~ пн<во. Рассмотрим си. и 0 стему уравнений ф 7, Сиу 1айлое блуждалие !ОЗ также является решением. Для первого уравнения имеем У1УО+ г1У1+ Ргуе = г1( /+ Р1 ( + ) = — = У! л «о Ро «1«о ) Ро Проверяя выполнение и-го уравнения, мы должны показать, что /и-2 л-1 и п-1 1-о 1 1-О 1-О Поскольку р„+ г„+ дл = 1, достаточно убедиться в том, что л-2 л л-1 1-О 1 О 1=О Но левая часть этого равенства есть не что иное, как л-1 кл ! 1 1 (Чл+ Рл) ~2 р и о/л „,, + Рп, .—,— о о=о !' 1 Рл-1 и-1 л" л 1 — 1 — 1 Рп-1' п — 1 (Рл-1/ои) л-1 л %л 1 процесс возвратный, если ~ — = оо, олоа р л 1-О 1 %ч процесс возвратный нулевой, если г — = оо и г п1= оо, А РЕЯ! 1-О 1-0 1 процесс возвратный положительный, если г — = оо и Рея! 1-О 1 процесс невозвратный, если ~ — < 1 0 «1~! «а и,< О по определению величин и .

Этим проверка и завершается. Пои-1 скольку два решения у,= — ! и уи= ~~«~ 1/ропе линейно независимы, общее Решение системы РеРнз! — — а„/ч' О,иллеет вид гл = а+ 1-о + бу„и ограниченное непостоянное решение существует у этой системы тогда и только тогда, когда ограничены у, т, е. когда .ае 1/реп!< Оо. Итак, мы установили, что 1-О 104 Гл. 3, Основнь!е лредельнь!е теоремы для марковских целей ЗАДАЧИ !. Рассмотреть процесс случайного блуждания, где с,с+,-р, О<р<!, Рс, с-! = !/-1 — ч при с-!, 2, ..., г-1, /ть,ь=/г, г= !* и найти с/(й) = М [время до поглощения состояниями О илн г] начальным со. стоянием является й]. Ответ; ! й г (1 — (д/р)' ) ! если р Ф вЂ”, 4-р 4 — р 1 — (4/р)' ' 2' Ф(й)- 1 й(г — й), если р- —.

2' 2 Матрица Р [[ Рс/ ]]" называетса стохастической, если 1,/ ! (1) РО) О при всех !', !-1, 2, ... ьь (И) ~ Рс/=1 при всех /=1 2 / ! Матрица Р называется двояко стохастической, если помимо условий (!) и (й) выполняется следующее условие: ~',Рс/ 1 при всех/ 1,2,.... ! ! Доказать, что если матрица переходных вероятностей конечной иеприводимой марковской цепи двояко стохастическая, то все стационарные вероятности равны между собой. 3. Пусть 1[ Рс/ ]]! / ! — матрица переходных вероятностей неприводимо» и марковской цепи с конечным числом состояний, и пусть (а!) — стационарное рас. пределение втой цепи.

Пусть, далее, ср(х) — выпуклая функция, определенная на положительной полуоси к ) О, (Рс/ ~~ — матрица вероятностей переходов за !т! ! н шагов и и Е = ~ ', л/ср(рс/ы!') / фиксировано. ! ! Доказать, что Е является неубывающей функцией аргумента вг, т. е. Е ь!)Е привсехга)1. 4. Пусть Р 1[РЧ1 — матрица переходных вероятностей неприводимой мар. конской цепи. Доказать, что если матрица Р идемпотентна (т.

е. Р! Р), то Рг! Рь! для всех ! и / и марковская цепь непериодична. и Указание: Использовать теорему 1.2 для средних (!/са) ~', Рс/. вт 5. Предположим, что состояние Π— возвратное положительное, и обозначим через (йть) (а .1, 2, ...) последовательные времена возвращения в состояние О. Очевидно, с.

в. ()Р„) — независимые, одинаково распределенные, с конечным сред. ниы. Пусть Р(/)= ~ч~~ саР(йт! й)(]/[<!)-производящая функция их общего а ! Задачи 105 )=г — 1, )=о+1, 1» г, л, 1 — Л вЂ” Р., и О, т, )-О, 1...., М. РО= )= т. ) ! — г)) 1. Предположим, что ро =- Ло = рк = Ля=О, а все остальные Рг и Лг положительны, Пусть й — начальное состояние процесса. Определить вероятности поглощения для состояний 0 и У. Ответ: Р (поглощение в состоянии О) = 1 — Р (цоглощение в состоянии М] = М-! Хр г-ь м — ! Хр т-о где Ропе Нт ро ' р! Л Л ... Л ! 2 ''' *8.

В предыдущем упражнении определить среднее время до поглощения. Указание: Использовать метод процесса возвращения, описанный в задаче 6. Показать, что система уравнений для стационарных вероятностей (и!)! о сво. М днтся и уравнениям ! (!(й, р и — Л и. = — п, й+1(!(Лт, ! ! )-! 1-! ' и распределения. Определим У„ нак момент последнего пребывания в состоянии 0 перед лооыевтом л. Показать, что ,'~~ !" ~~ "~(~.=)) = (1 — !) (1 — Р (к!) ) ' и в 1-о Указание: Доказатьи воспользоваться соотношением Р(У = !)= Р (Ох!+ ... л + йгч '= !) чо ), где ао = Р()ут~ > г) и Уо — число «визитов» в состояниеО '" о за первые и испытаний. 6.