1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 23
Текст из файла (страница 23)
покидают множество (А, В), попадая в множество (В, В+1, ..., й!). Положим для А(х=-В 136 ГЛ.!. ЭЛЕМЕНТЛРНЛЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ где, как нетрудно убедиться, опираясь на марковское свойство и однородность цепи, что Р((Ет ..., Ег,) ен %~„~Е,=х, Е, =у) = =Р ((х, У, Е„..., Ед) ее,йдд1 (Ею=х, Е»=У) =Р ',(у, Е„..., Ед) ~»%»,'Е,=у)= =Р((у юь °" юьд-1) е=югй»~Е»=гг') =ЯР»- (у) Поэтому для А (х«:В и 1«lг«п ()д (х) = ~к~ Р ю Рд 1 (У). При этом ясно, что ~д (х) = 1, х = В, В+ 1, ..., Аг р» (х) = О, х = — Аг, ..., А. Аналогичным образом выводятся и уравнения для ад(х) — вероятностей первого выхода из интервала (А, В) через нижнюю границу.
Пусть тд=пип(0«1«й: Ег ф(А, В)), причем тд=/г, если люножество ( )=(О. Тогда тот же самый метод, примененный к лгд (х) = М (тд ~ Ею = х), приводит к следующим рекуррентным уравнениям: т» (х) = 1+ ~ т,, (у) р„„ (здесь ! «(г«п, А(х СВ). При этом тд(х)=0, х~(А, В). Понятно, что если матрица переходных вероятностей задаегся формулой (11), то уравнения для сюд (х), рд (х) и тд (х) превращаются в соответствующие уравнения пз й 9, где они получены, по существу, тем же самым методом, что и здесь. Наиболее интересны применения выведенных уравнений в предельном слу~ае, когда блуждание осуществляется неограниченно во времени. Так же, как и в э 9, соответствующие уравнения можно получить формальным предельным переходом из выведенных выше уравнений, полагая й -д.со. Для примера рассмотрим марковскую цепь с состояниями (О, 1,..., В) и переходными вероятностями Рюю=1 Рва=1 1зт $12 МАРКОВСКИЕ ПЕПИ и для 1(У( — 1 1=(+1, р,~о, Рц = д,~о, у=у, у=У вЂ” 1, Где р2+ г; + д, = 1, Этой пепи соответствует граф '"В- 2 — — -4 ! у рви му В- ' В" 2В-Г у у! и (у ) = д; и (у' — 1) + гуа (у') + руи (у + 1) с граничными условиями а(0)=1, и(В)=0.
Поскольку гу = — 1 — д, — ру, то р; (и(у'+!) — и(у)) = ду (и(у) — а(у — 1)) и, следовательно, а(у+1) — и(у) =ру(и(!) — 1), где Ру= Ро=.1 ° ч1 "чу Р2 °" Р2 Но и(у+1) — ! = ~~ (и(У+1) — а(У)). !=О Отсюда видно, что состояния 0 и В являются «поглощающими», в любом же другом состоянии у частица остается с вероятностью го переходит на единицу вправо с вероятностью р; и влево с вероятностью дь 1-1айдем и(х) = Вш а„(х) — предельную вероятность того, что частипа, выходящая иа точки х, достигнет нулевого состояния раныпе, чем состояния В, Предель21ым переходом при Уг-+- со в уравнениях для и„(х) получим, что для 0 с у с В !за ГЛ. 1. ЭЛВМВНТАРНАЯ ТВОРНЯ ВВРОЯТНОСТБП Поэтому ! а (/ + 1) — 1 = (с2(1) — 1) Р,' р,.
Если 1= — 1, то о2(1+!) =2т(В) =О, и, значит, а(1) — ! =— ! Х Р2 откуда в — ! в — ! Х Р! и 2х(!) в ! ! 1 В 'Х'Р! (1) 2 ! ~э РЧ 2=! !2 и, следовательно, для рассматриваемого примера Р2(!) =1+21!о!(!' — 1)+Р1т(!)+р2Р2(2'+1) для всех 1'= 1, „.,  — 1. Чтобы найти п2(!), обозначим М(/)=Р2(у) — л2(!' — 1), )=О, 1, ..., В.
Тогда р,м()+1)=),м()) — 1, )=1, ..., в — 1, и последовательно находим, что М()+1) =р,й1(1) — Я,, где р ''' / Р! Р2' Р2' " Р!-! Поэтому П2 (2) = Уп (!) — Р2(0) = У М (2+ 1) = ! — ! /-! 1 — ! (о,т (1) — й2)=Р2(1) У р; — У, )!22 !=о (Ср. с соответствующими результатами 5 9.) Пусть теперь п2(х) = Вгп п2А (х) — предельное значение среднего времени блуждания до попадания в одно из состояний 0 или В. огда п2(0) =л2(В) =О, л2 (х) = 1+ ~~ л2 (р) р„„ )зв 5!2 м»Ркоаскпе непп Осталось лишь найти т (1).
Но т (В) = О, значит, в — ! ~ Ра а) (1) = '= ю Х р! с=-о и для 1<!(В в — ! ~ р! ш()) ~~ !=» Х )» »=-» ~д ~р! !=о »=» (Ср. с соответствующими результатами из 8 9, полученными там для случая г;=О рю=р д =») ) 6. В этом пу»!кэе будет рассмотрено одно усиление марковского свойства (8), заключающееся в том, что оно остается справедливым при замене момента времени й на случайный момент (см.
далее теорему 2). Важность этого так называемого строго марковского свойства будет проиллюстрирована, в частности, на примере вывода рекуррентных соотношений (38), играющих существенную роль для классификации состояний марковских цепей (гл. Ъ'111). Пусть $ =Д-„..., Р„) — однородная марковская цепь с матрпцей переходных вероятностей ) рн 1, .й'» = (Ы»!) — система разбиений, ~~З=Ю' . Через»ай! будем обозначать алгебру !» " !»' » а(»8"!»), порожденную разбиением Я Придадим прежде всего марковскому свойству (8) несколько иную форму. Пусть Вен,Ю! ~Покажем, что тогда Р Д„= а„, ..., 8»»! = а»»». В П ($» — а»)) = =Р Д„=а„, ..., 8»~ — — а»+»(8»=а») (29) (предполагается, что Р (В П Д» = а„)) ) О).
Действительно, множество В можно представить в виде В = т» Д,=а,', ..., $»=аЦ, где суммирование 2,» распространяется по некоторым набора (а,", ..., а»). Поэтому РД»=а„, ..., ~„»=а»„»(ВП(й»=а»))= Р ((Д„=а„, „., !»=а»]() В! Р (Я» =а„) О В) В*Р !6„» и», ..., $»=а») ОД»» а», ..., К»=а»\» Р (!Е»=а»)()В) 140 Гл. 1. элементнРнля теОРия аеРОятиостГИ Но в силу марковского свойства Р ((е„=а„, „., $»=а„) П($,=а,', ..., 5»=а»)) = Р (е„=а„, ..., $»„=-а»»» ! я»= — а„', ..., $» =а») х — »сР До = а,„*,, ..., Ь» = а»), если ໠— — а»~, О, если а»Фа», Р (я„= а„, ..., Е» ч =- а1 ы ! 'Е» =- а») "' (:ь = а» » , ь» = а»), если а» = а», О, если а» Ф а7:, Р (й а Р»ы -.— а ь» = — а,' 1 Р ((ь» а») П ) если а» =- а.';, О, если а»чьи;. Гем самым сумма х'ь в (ЗО) равна Р(й„=а„, ..., Я»„»=а»„($»=а») Р((ь»=о,) ПВ1, что и доказывает формулу (29).
Пусть т — момент остановки (относнтельно системы раз пений =(У1)ь»~., см. определение 2 в ~ 1!). Определение. Будем говор»иь, что множество В из алгебры %~ принадлежит системе множес1в .%~ если дли каждого О.-..= й и ВП(Т==М Б.%» ° (3!) Нетрудно проверить, что совокупность таких множеств В образует алгебру (называемую алгеброй собьггий, наблюдаемых до момента т). Теорема 2. Т)усть ь —.. (Е», ..., Е„) — однородная л»аркоеская Цепь с л»атРиЦей пеРеходных ееРоЯтностед 1Ру Ц т — момент останоеки (относительно ед»), В ~ %, ьи А = (ы: т-;(.=.=,и).
Тоедаь если Р(АПВП($,=аь)) .. О, пю Р Д 1=- ао . ° ° 'Ет+1 — — а» ! А П В П (В, = аь)) = = Р Дты =- а„..., а„» = а, ! А П (ь, = аь)), (32) и если Р ( А П Д, = а,) ) ) О, то Р Мтн=аь» ° ° 1 ьт»»=а»! АП (Бт=ао)1=р»» ° ° ° р»» .
(ЗЗ) гг! $12 МЛРКОЗСКИЕ ЦЕПИ Доказательство проведем для простоты лишь в случае 1=1. Поскольку ВП(т=гг) ее,эаг, то, согласно (29), Р Я,~1 = а„А () В () ($, = а,) ) = Р(аалг= а„$а=а„, т=/г, В) = 1<л — 1 Р Дал!=а, '",„=а,, т=lг, В) Р (за=а„т=й, В) = Ф~л — 1 Р 11!алг — — а, ! $2 = ао11 Р Йл = аа т=)г, В) = 1~л — 1 р... ~ РДа=а„т=гг, В)=р,,„, Р(АНВАР(Е,=аа)), 1<л — 1 Р Д,м ~ С~ А ПВ() Я, =а,)) = Р„(С), Р.,(С)= ч: р., а,мс (34) где В свою очередь (34) может быть переформулировано следующим образом: на множестве А = (т ~ п — 1) Р Я„1 ен С' ,%~) = Рг (С), (35) что является одной из обычно используелиых форм строго марковского свойства в сбщей теории однородных марковских процессов. 7.
Пусть $ = (3„ ..., г.) — однородная марковская цепь с матрицсй переходных вероятностей )рц,'(, ))~' = Р д„=- 1', ~, ~= (, 1 ( 1( гг — 1' ,$, = () (35) и ДлЯ 1~1 а' = Р Яа =-!', 11Ф!', 1 ( й"-:= й — 1 ', $0 =1) (37) вероятности первого возвращения в состояние 1' и момент первого попадания в состояние 1 в момент врел!ени гг соответственно.
Покажем, что гл1 гл ! 1л — 21 и! Ри = л~л 1'и Рг! Еде Рр =1 ° (38) а =-1 что и доказывает одновременно (32) и (33) (в случае (ЗЗ) надо взять В=- !2). 3 а м е ч а н и е. В случае ! =! строго марковское свойство (32), (33) эквивалентно, очевидно, тому, что для любого С = Х 142 ГЛ. 1. ЭЛЕМЕНТАРНАЯ ТЕОРИЯ ВЕРОЯТНОСТЕЙ 1-!аглядный смысл этой формулы ясен: чтобы за и шагов попасть из состояния 1 в состояние 1, надо сначала за а шагов (1 )(- и) впервые попасть в состояние 1, а затем за оставшиеся л — )( шагов из / попасть в !. Дадим теперь строгий вывод.
Пусть / фиксировано и т = (п 1п (1 == )( == и: $А = Д, считая т=а+1, если ( ) = ф. Тогда )((л) =Р(т=/(,' е = !) и 1<А<л где последнее равенство следует из того, что на множестве (Т=Ц Далее, для всякого 1л=.й~п множество (т=й) = = (Т=К Ц,=!). Поэтому, если Р(Г4=1, т=))))0, то в силу теоремы 2 и, согласно (37), р'"'= '~~~ Р(е „~=! ($ =1, т=)() Р(т=й(5~= 1) = (л — А) (То Р)у Ь э А=) что и доказывает соотношение (38).
8. Задачи. !. Пусть 5 = (с„ ..., $„) — марковская цепь со значениями в Х и 1= )(х) (х ен Х) — некоторая функция, Будет ли последовательность (1(1л),, 1($„)) образовывать марковскую цепь? Будет ли марковской цепью «сбратнаял последовательность (с„, $„„..., л,)2 2. Пусть Р=)р(т((, 1(1', !(г,— стохастическая матрица и Х вЂ” собственное число этой матрицы, т, е. корень характеристического уравнения (!е!) Р— АЕ, '=О. Показать, что Л, =1 является собственным числом, а все остальные корни Д„..., )., по модулю не больше 1.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
