3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 24
Текст из файла (страница 24)
л о Условия леммы выполнены, так как 0<РН<! И ~~РтР1 = ~ ч о последнее в силу того, что состояние / — возвратное. Поскольку 1пп 6 = 1!гп Рц =:.".~ ~;, =),р ычч ы+ г о то в силу леммы имеем ч", р» и о 1пп нгч« ~рч и теорема доказана. ° Перепишем теперь соотношение (2.!) для 1е = (чй 12 (2.5) Переходя к соответствующим производящим функциям, получаем сР» (з) = с!'с1 (з) сР, (з). 149 э и теоае,лм об отношениях Ранее мы уже показали, что,Р;! =,Ре !Р!! < оо, если состояния л О 1 н !' — сообШающиеся, Поэтому по лемме Абеля 1пп 1РО;(з) =- Итп А!(з) Иш Р!!(з)< л.+!в 5+!в е +!— и окончательно имеем Р'! = Х 1Р1! = Иш 1Рп (3) < л-О е-+1- (2.6) Т е о р е м а 2,2, Если ! и ) принадлежат одному и то,ну же возвратному классу состояний, то 3 а м е ч а н и е.
Для 1 ~ 1 введем случайные величины: 1, если процесс, исходя из состояния 1, за и шаган попадет в состояние 1, при переходе не возвратившись в состояние 1; О в противном случае. Тогда М(У ) = еР ! и Доказател ь ство. В силу соотношения (2.2) имеем так как,Р1! =О при ч > п. Меняя порядок суммирования, получаем л~ ш ~' Рл '51 РО! ~~ Рлтт '5$ РО Рт-м л О О О л-О -О Таким образом, в условиях теоремы 2.2 вероятность !Рп есть сред- нее число попаданий в состояние 1 между последовательными воз- вращениями в состояние 1.
ио Гя. б. Теоремы об отношениях переходных вероятностей где еРц=Х 1Р'и, т-О т=О, 1, 2, сРе'~ = О, и= — 1 — 2 Тогда »т ы ы ;Е Рц= Х Рцерец ' — — ХРТе ',Р'ц. » О т О »=в Теперь мы можем применить лемму 2.1, положив а, = Рц, Ь, = ОРц т» т» и с = ~ Рц, так как ~ Рц ~ = 1 и ~в Рц =оо !состояние ! возвратп О т о нее). Но !1гп Ь~= !1ш тРц.= 2> ерц= ~Реп ш.е ы-э т О а, следовательно, в силу леммы 2.1 имеет место равенство Дрц "'+ ~~ р» » О Теорема доказана. ° Если состояния ! и ! — сообщающиеся, то мы можем записать ~~ рп »=О т ~ р"„ »=О »-О » О так как ~ Рц) О для достаточно больших т.
Далее, если оба со- »-О стояния ! и ! возвратны и принадлежат одному и тому же классу, то, согласно последним двум теоремам, первое отношение в правой части стремится к !цц=!, а второе отношение — к,Рц, следо- вательно, » О т».+ в — о. Хрее и О Хрц !!т ы'+~ »я р» ХФ »=О = 1пп ~Ч; рец Е 8. Существование абобщеннмк стае/ионарних раеаределений /5/ Из (!.1) и (2.5) получаем соответственно /1/(з) =-/Ри(з) А/1з), /Р// !з) = А/ (е) /Р// !з) Отсюда, воспользовавшись леммой Абеля, получаем тождества /'1/ =-,Р;, 1/'1/, 1 1/ Н//1 У' Если 1' и / принадлежат одному и тому же классу возвратных состояний, то /, *= 1, откуда .Р* * 1 Н 1/ /Р*/ 5 3.
СУП!ЕСТВОВАНИЕ ОБОБЩЕННЫХ СТАПИОНАРНЫХ РАСПРЕДЕЛЕНИЙ В случае неприводимого возвратного положительного класса стационарное распределенче !п/), представляет собой сходящееся /такое, что ~ п/(о положительное решение системы уравнений 1 О ~ х,РП вЂ” — х/„ / =О, 1, 2, 1-О (3.1) ил/еет решение, у которого ~ч.", !х/! < ао, / о причем не все х; равны нулю, то марковская цепь является воз- вратной положительной. До к аз а тел ь с т в о. Из (3.!) последовательно получаем ~~~ ~х;Р//=х/, и'= 1, /=о Это утверждение доказывается в теореме 1.3 гл. 3. В следующей теореме доказывается, что это свойство является достаточным условием для положительной возвратности.
Т е о р е м а 3.1. Предположим, что марковская цепь неприводима. Если система уравнений У', х/Р//=х/, 1=-0, 1, 2, ..., /-о 162 Гл. Б. Теореме! Ой отношениях переходных вероятностей Пусть Р!! = (1/тп) ~ Рс1, тогда «! Х нт х!Р1; = х!. т-о Перейдем теперь к пределу при и- оо. Так как нт м'1( х!Р!т! ~ (т'1х! ! <ОО мы можем перейти к пределу в каждом слагаемом (т. е. поменять местами суммирование и переход к пределу); тогда х,= 1пп ~ х!Рте= ~ х! 1пп Р!». ш.+ 1-0 ! о ш.+ Но !пп Р!"т=!1пт — ''~'„Р!1=и!)О. ш.+ ш-т я н О Следовательно, хт=п! ~х!. 1-о Так как ~~'.~1х!1< ОО и, согласно условию, существует т, такое, что ! О хт Ф О, то последнее равенство гарантирует, что для некоторого т пт Ф О, а значит, и! > О для всех !' = О, 1,2..., .
° Сейчас мы докажем теорему, обратную к только что доказанной, в усиленном варианте, опирающемся на систему неравенств. Т е о р е м а 3,2, Если неприводимая марковская т(епь — возвратная положительная и (х; >~ О, ! = О, 1, 2, ...) есть решение системы неравенств Х х!Р!!~ (хт, т'=О, 1, 2, ..., 1-о то ~ к!Рт! ( хт, 1-о п)1, Х х1< 1-о до к а за тел ь ство. Так же как и в предыдущем доказательстве, мы имеем б Д Существование обобщенных стинионорнь!х роепределеяиб 153 а при /п)~1 х/Рп < х„ где Р/! = — Р/ь /-о и о "! о о!т о =1 о !=1, 2, ..., является рс!иениел! системы уравнений о! — - ~ п/Рп, !' = О, 1, 2, ...
/-о (определение,Р;,. дается в формуле (2.6) ). До к а з а тел ь ст в о. По определению,Р;, имеем тч ю ит Д', о/Р/; = „'Е~ оРыРп+ Ро; — — Ро!+ ~ ~ оРои/Р//. /-о / ! /-!и ! Поскольку,Ро/< оо '), повторный ряд в правой части, все члены которого неотрицательны, сходится, и поэтому порядок суммирования можно изменить, что дает нам (3.2) ~ о;Р; = Р /+ Х ~„К Рпь /-о и !/ ! ') Это условие требует пояснения. Мы можем формально изменить порядох суммирования, н если получающийся ряд сходится абсолютно, то сходится н исходный ряд, прячем суммы обоих рядов одонаховы, — Прим. иерее, м Так как х/) О и Р/;) О, то ~ х/Р!!(х! при любом М)О.
/-о Переходя к пределу при пт- со, получаем ет 1нп ~ х/Р,! = и! ~ х/ хь от+ ! о /-о Так как и! ) О, частичные суммы ~х/ равномерно ограничены /-о при всех М ) О; следовательно, имеет место ~ х/(оо. ° /-о Согласно теореме 3.1, в случае неприводимой возвратной нулевой марковской цепи система (3.!) не может иметь нетривиального сходящегося решения. Вместе с тем существуют положительные решения, представляющие значительный интерес; о них пойдет речь в следующей теореме. Теорем а 3.3. Если марковская цепь неприводил!а и возвратна, то положительная последовательность 154 Гя.
Б. Теорема од отношениях лереходносх вероятностей Но ( орос", с'М= О, 2~ оРо,РП =1 если с = О. Следовательно, при с чь О имеем чл яр с ~1 лес Х осрсс= Рос+ ме орос = 2с орос =орос = ос, с=о л 1 л=е так как Рм —— ,Р„при с Ф О. При с'=О ~~и~ оС~ Со = ' ос+ ~~й ~со = ~~ Соо = Тоо = 1 = ом с-о л 1 л=о чем и завершается доказательство теоремы. ° Теорем а 3.4.
Для неприводимой возвратной лсарковской цепи система ос = ми осРсс, с-о по= 1, ос)~О, с'=О, 1, 2, с'=1, 2, (3.3) (3.4) имеет единственное решение. Д о к а з а т е л ь с т в о. В силу предыдущей теоремы последовательность о = 1, о, = Р„'л с' = 1,2,..., является решением системы уравнений (3.3), удовлетворяющим условиям (3.4). Мы докажем нашу теорему, если покажем, что не существует никакого другого решения системы (3.3), которое удовлетворяло бы условиям (3.4). Пусть (ас) — последовательность, удовлетворяющая (З.З) и (3,4), тогда а,= ~ асРсь с-о с'=О, 1, 2, ад ~с'.с асРсд = ~с Рм ~ асР; с о с-о с-о ~с ас ~ РпРсд = ~ а;Рсд.
со с-о с-о Умножая обе части последнего равенства на Род и суммируя по с', получаем Э 8. Существование обобщенныл станионарном распределений 155 Изменение порядка суммирования правомерно, так как все члены ряда неотрицательны, Повторяя эту процедуру, получаем для любого п)~ 1 ас = 2~ а;Р1ц 1 = О, 1, 2, ....
1-о Так как рассматриваемая марковская цепь непрнводнма н возвратна, для каждого 1 существует п)~1, такое, что Ро;)О. Следовательно, ал = с~ а;Рц~ )аоРол) О, 1-О так как ао ) О. Итак, а; ) 0 при всех й Введем в рассмотрение следующие величины: Яц — — — Рг о а1 ас (3.5) Очевидно, ~~ агр %1 1-о Яц~)0 и р 1лц = =1, а 1-о Вероятности перехода за и шагов имеют вид Ф = — 'Р,"ь п)1. а Поэтому ХФ=ХРц= н О и О н Оц являются переходными вероятностями возвратной марковской цепи. Воспользуемся теперь теоремами об отношениях. В силу теоремы 2.1 имеем 1%о Вш "„' =~;о(а=1, в.+ -о Таким образолл, мы мо'кем рассматривать величины Оц как элементы матрицы переходных вероятностей некоторой марковской цепи Я.
Соответствующие вероятности перехода за два шага задаются формулой о ъч ъл ол а. а1 ал Фг = „ра сс'лАы =,ра — Ры — Ры = — ~~а РР— Р о-о о=о ' Л-О 156 Гя. д Теоремы об втношенеях переходных вероятностей где );ОД) определена по отношению к цепи Я обычным образом. Ее значение равно 1, так как (1 — возвратная неприводимая марковская цепь. Но в силу теоремы 2.2 Х Ото Х рот в о во . в о во )пп = — Втп = — ОРо1 ы ы т.+ н н Вт ы.+ е~ 2~ О)оо Л Роо в О в-О Поскольку ао = 1, то тем самым мы показали, что от=,Р',, 1'=1, 2, ....
Единственность доказана. ° Р(Х(1) 1~Х(0) ВР(Х(0) 1) ( ) Р (Х (1) 0 911 — — Р(Х(0) =)(Х(1) Так как процесс стационарен, то Р(Х(1) = 1) = лт, Р(Х(0) =1) пг и (4.!) принимает вид ()т1 = (4.2) Последовательное применение соотношения (4,2) приводит, по существу, к «обращению» времени. Легко видеть, что если с. в. Х(0) имеет своим распределением (пг), то сг'т1 = Р (х (О) = у (х (и) = (). Название «обратный процесс>, данное марковской цепи с матрицей переходных вероятностей 111',)Н(1, таким образом, отражает сущность дела, й 4.
ИНТЕРПРЕТАЦИЯ ОБОБЩЕННЫХ СТАЦИОНАРНЫХ РАСПРЕДЕЛЕНИИ Марковскую цепь с матрицей переходных вероятностей 1(ЯО111, связанной с матрицей (1РО111 по формуле (3.3) через некоторое положительное решение системы (3.3), называют обратной марковской цепью к цепи Р. В возвратном положительном случае, когда о, = сп, (с — константа), 1йт1 можно интерпретировать следующим образом. Предположим, что начальное распределение совпадает с (пе), т. е. марковская цепь Х(п) в начальный момент находится в состоянии ( с вероятностью ль Вычислим условную вероятность того, что начальным состоянием было 1, если известно, что после одного перехода процесс находился в состоянии 1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
