3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 14
Текст из файла (страница 14)
В самом деле, к, (! ~ Т) есть вероятность никогда не попасть в возвратный класс, если ! было начальным состоянием процесса. Поскольку (х;, ! еп Т) является ограниченным решением уравнений (3.1), то х, = О при всех !. 3 ам е ч а н не 3.!. Если марковская цепь имеет лишь конечное число состояний, скажем М, то среди нпх нет возвратных нулевых 84 Гл.
3, Основные предельные теоремьь для марковских Чеяеа состояний, а все состояния не могут быть невозвратными, Дейм-~ ствительно, так как ~ Р» = 1 для всех и, то 1пп Р»=О не для т-о и.ь всех 1'. По этой же причине отсутствуют нулевые возвратные состояния. Пусть С, Сь См ... — возвратные классы. Определим тм(С) как вероятность того, что, отправляясь из невозвратногосостояния й процесс рано илн поздно войдет в класс С.
(Вспомним, что, однажды попав в возвратный класс, процесс уже никогда его не покидает.) Пусть я",(С) есть вероятность того, что процесс достигнет класса С и, следовательно, будет им поглощен, впервые на и-м шаге, при условии, что начальным состоянием было ь' ~ Т; тогда (3.2) п)~ 2. (З.З) Используя (3.3), (3.2) можно переписать в виде и, (С) = и! (С) + ~ пвс (С) = и,' (С) + ~ ~ Р»пв ' (С) я-а и=а 1ыт = и',(С) + ~ Р» ~ и" '(С), в 2 и (С) = и' (С) + ~ Р»п) (С), (ен Т. (ЗА) т Если предположить, что единственным ограниченным решением однородной системы уравнений — Р»шо /ыт (ен Т, 1)гп Р»=тес(С) 11ш Р~~ пс(С)тц.
является тривиальное решение (нулевой вектор), то (пе(С)) является единственным ограничеяным решением системы уравнений (3.4). Более того, либо л',(С) >О для некоторого 1~ Т, либо л;(С) = О для всех (ен Т и, следовательно, пн,(С) О для всех п. Теорем а 3.1, Пусть 1'енС (С вЂ” непериодический возвратный класс), тогда для 1ы Т имеем Э 3. Вероягноега ногяонгения во Док аз ательство.
Легко видеть, что пл(С)= ~~П ~ил (С), е с где пл!л(С) есть вероятность того, что, отправляясь из состояния г~ Т, процесс на и-ы шаге войдет в класс С через состояние !г. Имеем , (С) = )' 2 и;., (С) < !. с Следовательно, для любого е > 0 существуют конечное число состояний С'о С и целое число Лг(е), такие, что л л и!(С) — ~г ~к,'г и',.
(С)~<е, т. е. ~~'.! ~~ и,'. — ~"„~ пх <е и-! е --с' ' н=.! е-с ' -! ис (3.5) для всех п>Л'(е). (Здесь мы пишем и',. вместо и', (С).) Для !'~ С рассмотрим разность л р" ~~ "~~~ у -! еис' С помощью знакомых нам рассуждений получаем л Р",г=- ~ ~ еемРя!', !'яТ, )е:-С. -!я с Опираясь на эти соотношения, получаем неравенство =- Х;й, У(Р~т -пг)+Х Х '!.Рег' < н-! ис н-! е с «!Вс < 2', ',Р п,(Р",à — ') + н-! ис л л + ~ ~ и!е(Рц ' — и!) + ~г,с~ и!ерц н-яе! е .с' с, е!Лс «!о Рц '< 1, ~ Рц ' — и;~<2 и !!гп Рц =п!, если С вЂ” непериодический класс и ге я С.
Поэтому существует такое М'>Л', что пои п>Л!'имеем ~Р„"— и!~<а (яенС), так что при п>гн' выполняется неравенство ! л л л Рц — ( Х Х и!я)п!~~~а+2 ~е ~~'., л', + ~~ У, ге, и=! ис я=о!+! Йес н=! Вес, Йес 86 Гм 8. Основные предельные теоремы для марковских цепей Однако выбор У и С' гарантирует нам, что правая часть последнего неравенства не больше, чем 4е. Отсюда, воспользовавшись (3.5), получаем ~ Рт! — п,(С) и! ~ ~< 4е+ еп! при и >Л" (е) и, следовательно, 1! гп Р ч = и; (С) пп И Если С вЂ” периодический класс и 1 ен С, то точно так же можно показать, что 1нп — ' ~))~~ Р7! = пт (С) пб и-ь тя ! В закчючение заметим, что если 1 — невозвратное состояние, а / — возвратное, то предельное значение вероятности зависит от обоих состояний ! и 11 В этом состоит существенное отличие от случая, когда 1 и / принадлежат одному н тому же возвратному классу. Пр имер.
(Задача о разорении игрока, играющего с партнером, капитал которого ограничен.) Как мы видели, марковская цепь, описывающая игру, имеет конечное число состояний, скажем п + 1, а ее матрица переходных вероятностей имеет внд 1 О О О е) О р О Опор д О р О О 1 Мы найдем и; = тс;(Со) и о, = гм(С„) — вероятности, отправляясь из состояния с, рано илн поздно попасть в поглощающие (и, следовательно, возвратные) состояния О и п соответственно. Система уравнений (3.4) для рассматриваемой задачи имеет вид и, =д+ри,, и,=ди,,+ри„., (2<1<и — 2), (3.6) 87 Э 3.
Вероятности поглощения Система состоит из и — 1 неоднородных уравнений с а — ! неизвестными Будем искать решение в виде и„= х", Подставляя это выражение в средние из уравнений (3.6), получаем рх'+ д = х. Последнее уравнение имеет два решения, х = 1 и х = д/р, Таким образом, величины и, = А + В(с//р)т, г = 2, 3... п — 1, удовлетворяют средним уравнениям из (3.6) при любых значениях А и В.
Определим Л и В так, чтобы первое и последнее уравнения также удовлетворялись, (Если т/ = р, то решение х = 1 является двукратным корнем уравнения рх'+ д = х, в этом случае (т//р)т следует заменить на г.) Подставляя соответствующие выражения в первое уравнение, получаем Л+  — = д+ р(А+  —.,) А =- 1 — В. или, упрощая, Последнее уравнение дает А+ В(~) = д (А+ В( — ") ), или р"А+с/"В=О. Отсюда Л= ~,В= йп и \ Чп и и = ~~ ~Р если ч ~! (ч/р)" — ! ' ' " р Если д = р, то точно так же находим, что А = 1, В = — 1/а, так что и — Г и, =- если р= д.
и Лналогичные выкладки показывают, что о, =! — иь (3.7) и, =д+ри„ ит — — амит-~+ ритл.ь с') 2. Так же как и раньше, находим, что и, =- А + В (т//р)' (д Ф р) и и; = А + Вс (ч р /2) чего и следовало ожидать, поскольку поглощение одним из классов Со илн С„есть событие достоверное. Рассмотрим теперь игру с бесконечно богатым партнером. уравнения для всроятпостн разорения игрока (поглощение состоянием 0) имеют вид 88 Гл. 3.
Основные предельные теоремы длл марковских цепей Если д)~ р, то из условия ограниченности и! следует, что В = О, а из первого из уравнений (3.7) следует, что и! = 1. Если ц < р, то мы находим, что и; = (фр)с, для чего нужно лишь перейти к пределу при и- оо в решении предыдущей задачи — задачи о разорении с конечным числом состояний. й 4. КРИТЕРИИ ВОЗВРАТНОСТИ Мы докажем две теоремы, которые окажутся полезными при определении возвратности или невозвратности марковских цепей, а затем применим их к нескольким примерам.
Теорем а 4.1. Пусть ч) — неприводильая марковская цепь, состояния которой отождествлены с неотрицательными целыми числами. Для того чтобь! цепь ф была невозвратна, необходимо и достаточно, чтобы система уравнений ~л~~ Рцу! — — ус, !' Ф О,' (4.1) !=о и чела ограниченное решение, отличное от у! =- сопз!. До к аз а тельство.
Пусть Роз Рм Р,о Рн Р = 11 Р,! 11 = — матрица переходных вероятностей цепи ф. Сопоставим ей мат- рицу переходных вероятностей 1 О О Р 1!Р !! !о !! !2 Рта Ре! Рм (4.2) которая обращает нулевое состояние в поглощающий экран, оставляя вероятности переходов между другими состояниями без изменения. Обозначим марковскую цепь, матрица переходных вероятностей которой имеет вид (4.2), символом ф.
Для доказательства необходимости предположим, что процесс невозвратный, а затем покажем, что в этом случае система (4.1) имеет ограниченное решение, отличное от константы, Пусть );о есть вероятность рано или поздно попасть в состояние О, выйдя из состояния й Поскольку процесс ь(! нсвозвратен, то ),*„к.! для некоторого ! ФО, так как в противном случае состояние было бы возвратным. (Докажите это! Напомним, что состояния неприводимой марковской цепи либо все одновременно воз- э 4 Критерии возвратности 89 вратны, либо невозвратны.) Для процесса ф, очевидно, имеем яо(Со) = 1, и/(С,) = 1;.о< 1 для некоторого /' Ф 0 и й/ (С,) = = ~~Р Р//й/(Со) длн всех /'.
Следовательно, й/(С,) = У, Р//й/(Со) /-о /-о для Е Ф 0; таким образом, у/= й/(Со) (1 =О, 1, 2,,) есть искомое ограниченное решение, отличное от константы. Предположим теперь, что система (4.1) имеет ограниченное отличное ог константы решение(у;). Поскольку постоянный вектор ') является решением системы (4.!), то г; = ау; + 6 также есть решение этой системы, которое при подходящем выборе а и б будет удовлетворять условиям г, = 1, 0 < г; < 2 Поэтому можно предположить, что О <у;.-.
2 и уо = 1; в таком случае а../ Р,/у/-— -у, /-о для всех /)~ 0 и, значит, для всех п ~~! имеем /о /1/ и ,сл Р"..у = у, /~) О. Поскольку цепь ер неприводима, Р,",> 0 для любого 1 и некоторого и, поэтому каждое из состояний ! = 1, 2, ... должно быть невозвратным в цепи ф, так что Р//-»0 для !'~0 н по теореме Э.! имеем Р7о- й/(Со), где й/(Со) — вероятность (относительно ф), отправившись из состояния /', быть поглощенным состоянием О.
Следовательно, так как при всех /)~ 0 выполняется неравенство Ри — !»л у « ~~~ Ри д /=о то, устремляя и -» со, мы приходим к неравенству и/(С,) < уь Возможны два случая: либо существует ~акое да(й ~ 0), что у„< 1, либо такое, что да > 1 (й вь 0). В первом случае = яа(Со) < у, < 1, откуда следует, что цепь 43 невозвратна, так как состояние й достижимо из состояния 0 по предположению, в то время как вероятность возвращения меньше, чем 1. Во втором случае эти же рассуждения следует применить к решению г; = 2 — ут системы (4.1), что даст неравенство йа(Со)(ге<1, откуда опять же следует, что цепь е() невозвратна. Теорем а 4.2.
Для того чтобы непр//водамая марковская цепь была возвратной, достаточно, чтобы существовала последовательность (д/), такая, что Х Рму/ <уь /' ~ О, //; оо. (4.3) /-о ') Здесь и далее под «постоянным вектором» понимается вектор с одинаковыми компонентами. — //рим. ред. во Гл. 8, Огновные предельные теоремы для ыврковгкик цепей Д о к а з а т е л ь с т в о. Используя обозначения предыдущей теоремы, имеем Х Рссус~(ус для всех с'. с-о Поскольку гс = ус + Ь удовлетворяет неравенствам (4.3), мы можем предположить, что ус > О для всех с > О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
