А.Н. Ширяев - Вероятность-1 (1115330), страница 25
Текст из файла (страница 25)
МАРКОВСКИЕ БЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 153 Отсюда видно, что состояния О и В являются «поглощающими»ч в любом же другом состоянии 1 частица остается с вероятностью гь переходит на единицу вправо с вероятностью р; и влево с вероятностью д1. Найдем а(х) = !пп аь(х) — предельную вероятность того, что частица, ь со выходящая из точки х, достигнет нулевого состояния раньше, чем состояния В. Предельным переходом при й- оо в уравнениях для а»(х) получим, что для О < у < В а(у) = 1)уа(у — 1) + гуа(у) + р;а(у'+ 1) с граничными условиями а(О) = 1, а(В) =О.
Поскольку г; = 1 — дг — р1, то р1. (а(у'+ 1) — а(у)) = 1)у(а(у) — а(у — 1)) и, следовательно, (у+ 1) — (у) = р;(а(1) — 1), где 91" «1' "=Р "Рг 1 Но а(у+1) — 1= ~ (а(1+ 1) — а(1)). Позтому 1=О 1 а(у+1) — 1=(а(1) — 1) ~ рь 1=0 Если у= — 1, то а(у'+1)=а(В)=О, и, значит, а(1) — 1 = — —, 1 В-1 2.' УЛ 1=0 откуда у=),...,В. (Ср. с соответствующими результатами $9.) В-1 д.
Тл В-1 д. ул 1 0 В-1 2. УЛ и а(у)= в'=', 2" .Р1 ГЛ. 1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ !54 Пусть теперь т(х) = 1!та тз(х) — предельное значение среднего времени блуждания до попадания в одно из состояний 0 нли В. Тогда т(0) = =т(В) =О, т(х) = 1+ ~у т(у) р„„ и, следовательно, для рассматриваемого примера т(у)=!+ту;т(у — 1)+г;т(у)+ р;т(у+!) для всех у = 1, ...,  — !.
Чтобы найти т(у), обозначим М(у) = т(у) — т(у — !), у = 1, ..., В. руМ(У+!)=аум(у)- 1, У=1, ..., В- 1, Тогда н последовательно находим, что М(у'+ !) =Рум(1) - гу, где Ру "Ру Ру' Ру-1 Ру-1 "Ру Поэтому У вЂ” 1 У-у т(у) = т(у) — т(0) = ~ М(у+ 1) = ~~ (Рут(1) — Ву) = т(1) Ч~у Р; — ~~у У=О 1=0 У=О =О Осталось лишь найти т(1). Но т(В) = О, значит, В-1 В-1 Е Ру н для 1<у <В В-1 у т(у) =~~ Р; У=О -~' Ру. 1=0 Ру (Ср. с соответствующими результатами нз $ 9, полученными там для случая г;=О, р; = р, ууу=уу.) 6.
В этом пункте будет рассмотрено одно усиление марковского свойства (8), заключающееся в том, что оно остается справедливым при замене момента времени й на случайный момент (см. далее теорему 2). 5 ИЬ МАРКОВСКИЕ ЦЕГ1И. ЭРГОЛИЧЕСКАЯ ТЕОРЕМА 155 Важность этого так называемого строго марковского свойства будет проиллюстрирована, в частности, на примере вывода рекуррентных соотношений (38), играющих существенную роль для классификации состояний марковских цепей (гл.
т"1П). Пусть с = (со, ..., с,) — однородная марковская цепь с матрицей переходных вероятностей (!р;Д, У» = (У»Е)е<»к„ — система разбиений, У»~ -— =Уе, е,. Через М»Е будем обозначать алгебру а(У»), порожденную разбиением У», Приладим прежде всего марковскому свойству (8) несколько иную форму. Пусть В е Я».
Покажем, что Р(с„= а„..., ~»+~ = а»+1 ( В П (4» = а»)) = =Р(б„=а„..., 6+~ — а»+, ~4»=а») (29) (предполагается, что Р(Вй(С»=а»)) >О). Действительно, множество В можно представить в виде В=,) (со=по,.",с»=а»), где сумма 2 ' берется по некоторым наборам (ао, ..., а').
Поэтому Р(С„=а„, ..., (»+~ =а»+~~ВП(Р»=а»))— Р((Е =, ..., б»=а»)ОВ) РЯ» = а») й В) (ЗО) Р((С4— - ая, ...,4»=а»)ОЫОг аа, ..., С»=а»)) Р((е» = а») г\ В) Но в силу марковского свойства Р((С„=а„, ..., С»=а»)й(Се=аз, ..., С» =а»)) = 1 Р(с„=а„, ..., 4»+~ =а»+~ (со=по, ..., с»=а») х хР(Се=а*, ..., с»=а»), если а»=а', О, если а»э»а», Р(С„= а„, ..., С»+, — — а»+~ (Я~= а») х хР(со=по, ..., с»=а»), если а»=а»', О, если а»Ра», Р(с =а„..., с»+1=а»+~ ~~»=а») х х РЯ» = а») г~ В), если а» = а„', О, если а» Ра„'. ГЛ.
1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕИ 166 Тем самым сумма 2 в (30) равна РК, =а„, ..., с»+~ =а»+~!с»=а»)Р(К»=а»)йВ), что и доказывает формулу (29). П~сть т — момент остановки (относительно системы разбиений Уд = = (У»)ок»к,, см. определение 2 в $11). Определение. Будем говорить, что множество В из алгебры Я» принадлежит системе множеств Я», если для каждого 0 < й < и В й (т = й) Е Я»~. (31) Нетрудно проверить, что совокупность ЯЕ таких множеств В образует алгебру (называемую алгеброй событий, наблюдаемых до момента т).
Теорема 2. Пусть с = Ко, ..., с„) — однородная марковская цепь с матрицей переходных вероятностей (1р1!11, т — момент остановки (относительно У»), В еЯ» и А =(ы: т+! <и). Тогда, если Р(А йВй й К = аьЦ > О, то выполнены следующие с т р о г о м а р к о в с к и е свойства: Р К +~ = а1, ..., с +1 = а1 ~ А й В й К, = ао)) = =РК,+1 =а1, ..., С,+1 =а11АйК„=ао))), (32) и (в предположении Р(АйК,=ае)) >0) РК»ч 1 — а1 . ~~+1 — а1 (А Г1К» — ае)) — Рддд ..
Рд~ дн (33) Доказательство проведем для простоты лишь в случае ! =1. Поскольку Вй(т=й) еЯ», то, согласно (29), РК +1=а1, АйВйК =ае))= ~~~ РК»+1 =ан С»=ао, т=й, В)»д »Кд-1 РК»+~ =а1К»=ао, т»дй, В) РК»=ао, тддй, В)= »Кд-1 — Р (с»+1 = а, ~ с» = аь) Р К» = ае, т = А, В) = »кд-! =р, ц, ~ РК»=ао,т=й, В)=р„,,Р(АйВй(с,=ао)), »<д-1 что доказывает и (32), и (33) (в случае (33) надо взять В = О).
П Замечание 1. В случае ! = 1 строго марковское свойство (32), (ЗЗ) эквивалентно, очевидно, тому, что для любого С СХ Р(с,.»1 е С1А й В й К, = ае)) = Р~(С), (34) $!2. МАРКОВСКИЕ ((ЕПИ. ЭРГОЛИЧЕСКАЯ ТЕОРЕМА где (С)лл~ р„„. ланс В свою очередь (34) может быть переформулировано следующим образом: на множестве А = (т < и — Ц РК, ЕС(ййл)=У'.(С), (35) что является одной из обычно используемых форм строго марковского свойства в общей теории однородных марковских процессов. Замечание 2. Свойства (32) и (33) остаются справедливыми (если воспользоваться соглашениями, описанными в замечании 1) и без оговорок, что вероятности событий А и В й (с = ао) и А Г) (с, = ао) должны быть положительными.
7. Пусть с=(со, ..., с„) — однородная марковская цепь с матрицей переходных вероятностей )(р(у(), М ) = Р(6 = (, 4~ Ф У, 1 < У < и — 1 Ь = У) (36) идляуфу 1;'" =РТА=у,((Фу,1<У<А-)!4о=У) (37) — вероятности первого возвращения в состояние ( в момент времени й и первого попадания в состояние у в момент и соответственно. Покажем, что (л) ~ ~ )(А) (л-А) (О) р,, — иу р,, где р,)в А=( (38) ту = ПНП(1 < й < Л: (А = у'), полагая т;=и+1, если ()=а.
тогда 1~() =Р(ту=А(со=У) и 4 =Р(6=у!4~=()= ~ Р((„=у,;=А!6=1)= (КА<л Р(~п+„А = у, ту = й1со = У), (39) )КА<л Наглядный смысл этой формулы ясен: чтобы за л шагов попасть из состояния у в состояние у, надо сначала за и шагов (! < й <и) впервые попасть в состояние у, а затем за оставшиеся и — й шагов из у попасть в у, Дадим теперь строгий вывод. Пусть у фиксировано и ГЛ.!. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ 158 где последнее равенство следует из того, что С,г»„» =С„на множестве (т;=й). Далее, для всякого 1<й<а множество (т;=й)=(т(=й, (, =у).
Поэтому, если Р(Со =(, т; = й) > О, то в силу теоремы 2 Р(Сп~.-~=у[Со=(, ту=й) =Р(С;~.-»=у[Со=(,, =К (п =у) = = Р(с .ч., ~ = у ! (и = у) = р; и, согласно (37), р;,". = г Р(с,,+„»=у[со=(',ту=й)Р(т;=й[со=У)=~р р" » У(», что и доказывает соотношение (38). 8. Задачи. 1. Пусть 4=(4о, ..., 4„) — марковская цепь со значениями в Х и у = у(х) (хеХ) — некоторая функция. Будетли последовательность (у(4о),..., у(4„)) образовывать марковскую цепь? Будет ли марковской цепью «обратная» последовательность (с„, с -н ", 4о)? 2.
Пусть )р= [[р(у[[, 1 < (', у < г, — стохастическая матрица и Л вЂ” собственное число этой матрицы, т. е. корень характеристического уравнения бе1 [!)Р— ЛЕ[! =О. Показать, что Л( = 1 является собственным числом, а все остальные корни Лз, ..., Л, по модулю не больше 1. Если все собственные числа Л(, ..., Л, различны, то р,, допускают представление (») р, =(г;+а;((2)Лз+...+ау(г)Л„ (») » » где яу, а;;(2), ..., а(у(г) выражаются через элементы матрицы )Р.
(Из этого алгебраического подхода к анализу свойств марковских цепей, в частности, вытекает, что при [Ля[<1, ..., [Л„[<1 для каждого у существует предел 1!гп р,", не зависящий от (.) (») 3. Пусть с =((о, ..., с„) — однородная марковская цель с множеством состояний Х н матрицей переходных вероятностей Р= [[р„„[!. Обозначим Тр(х) = Е[~р((() [4о =х] (= ~~~ Р(у) р»г) Пусть неотрицательная функция (о = р(х) удовлетворяет уравнению Тр(х)=(о(х), хеХ. Доказать, что последовательность случайных величин «=(ь», У»д) с ~»=(о(с») образует мартннгал. 412.
МАРКОВСКИЕ ЦЕПИ. ЭРГОДИЧЕСКАЯ ТЕОРЕМА 159 4. Пусть с = (с„, П, )Р) и С = (С,, П, Р) — две марковские цепи, отличающиеся начальными распределениями П=(рп ..., Р,) и П=(рп ..., Р,). Пусть !!)!!"! = (р! 1, ..., р!"1), Й"1 = (р!"1, ..., р!"1). Показать, что если пнп р;; ) е > О, то Ц (Р "' — Р,.'"~ <2(1 — ге)и. 1=1 5. Пусть Р и 1;) — стохастические матрицы.
Показать, что Рг,! и ар+(1 — а)1) с 0<а<1 также являются стохастическими матрицами. 6. Рассматривается однородная марковская цепь (се, ..., С„) со значениями в Х = (О, !) и матрицей переходных вероятностей ('.' -',) где 0 < р < 1, 0 < д < 1. Положим 5„= Со+... + С,. В обобц1енне теоремы Муавра †Лапла ($ 6) показать, что Ял — — и р Р <х -+Ф(х), и- оо. ире(2 —, — 4) Убедиться в том, что в случае р+ д = 1 величины Со, ..., С„независимы и сформулированное утверждение сводится к тому, что Р( " <х)- Ф(х), и-+со.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
