И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов (1134101), страница 34
Текст из файла (страница 34)
Это нетрудно доказать. Пусть Я,(гл) †событ: система попадает в 1ье состояние по меньшей мере от раз, а т, — число шагов до первого попадания в состояние 1. Тогда А 61 пепи мАРкОВА со счетг)ым числОм состоянии 197 Пусть дц(т) — вероятность события ()((т), если $(0) = !'. Имеем д) (т) = ~ Р ((,)( (т) () [т( — — п) 1 е (0) = !') = = ~, Ро(()((т) ~)т( — — и) Ри) (т( — — и )я(0) =!) = л ! = ~„[«л) («„() Р)!) (ф (па) [т( = п). л ) Нетрудно проверить, что Ри) М( (т) ~ т( = и) = Р)п (О( (т — 1)) = д (т — 1) Таким образом, д)( (т) = " ((* 1) д» (т — 1) (8) Пусть дц = д;((ьо) — вероятность того, что система, выйдя из (-го состояния, попадает в (че состояние бесконечно много раз. Так как д«( — — !ипдц((п), то из (8) следует дц = Р («, () д». (9) Т е о р е м а 3.
Если ( — возвратное состояние, то дц = Р(), () и, в частности, «П( = 1; если же ( невозвратно, то дц = 0 для любого !. Доказательство. Если Р((, () ( 1, то, положив в (9) ! = (, получим д» = 0 и нз того же равенства имеем дц — — О. Если Р((, () = 1, то нз (8) вытекает д»(т) = [Р((, () -) — 1, откуда д» = 1. Из (9) тогда следует, что дц = Р((, (). ~ Пусть Р((,() = 1. Из свойства строгой марковости (см. $ 5, теорема 5) получаем в ~ « / Р" (в в ( )) )! л, «- «) - «т))) - в' )в) в" ( и В в ) = ) )) А ) ь-! для любого В ен 3, . Из этого соотношения вытекает «( Теорем а 4. Если Р((,() = 1, то случайный про)(есс е'(() = = ь(т(+ () (л(0) = !) стокастически эквивалентен к(() с начальныл! состоянием $(0) = ( и не зависит от о-алгебры 3 Сл едет вне. Пусть к(0) = ), ! — возвратное состояние, е!— число шагов до первого возвращения в «, аз — число шагов между первым и вторым возвращением в ! и т. д. Случайные величины К), ам ....
е„, ... одинаково распределены и независимы. Теорем а 5. Если состояние ! возвратно и Р((,() О, то си,стема, выйдя из состояния (, посетит ( бесконечно много раз (дц = 1) и Р (1, () ) О. В частности, Р («', () = 1. СЛУЧАИНЫЕ ПОСЛЕДОВАТЕЛЬНОСТИ 198 (гл. и! г) (! 1) — ~ Р(л) (1 !) Смысл этого ряда был выяснен для случая ! =1. В общем слу- чае установим следуюшее соотношение: Р(") (1', )) 1!Тп „ = г" (1, 1), н'+ ~ (л) ( ° (10) Доказательство основано на формуле (4). Полагая в (4) и = — 1, 2„..., Ф и суммируя полученные равенства, будем иметь А л-1 (л) ( ° ) ~ ~ ~л~ !(л 5) (1 ) (3) (! !) л=! .-1 .-О н-! и Л-1 = Е Е„!Ол '(', 1) р'*'(1. !) = Х, рьо(), !) р,-„ Из теоремы 3 следует, что число возвращений в состояние 1 бесконечно. Пусть С» обозначает событие: ь(ежду (й — 1)-м н й-м посещениями состояния ! система зайдет в состояние 1.
В силу строгой марковости процесса события С» независимы между собой и имеют одну и ту же вероятность. Так как Ц С» » 1 есть вероятность того, что система вообше когда-либо посетит ), то Р(С»)) 0 и ~, Р(С,)=со. Из теоремы Бореля — Кан- »-1 телли следует, что с вероятностью 1 осушествляется бесконечно много Сы Более того, система, попав в 1-е состояние, бесконечно много раз посетит (ке состояние.
ф С л е д от в и е 1. Оэ возвратного состояния достижимы только возвратные состояния. Возвратные состояния существенны. Это следствие уточняет теорему 2, полученную ранее с применением производящих функций. Следствие 2. В классе сообщающихся состояний, содержащем возвратное состояние, все остальные состояния также возвратны, и система, находящаяся в этом классе, с течением времени с вероятностью 1 попадает во все остальные состояния класса, и притом бесконечно много раз. Класс возвратных сообщающихся состояний будем называть возвратным классом.
Положим ф 61 непп мьяковь со счетным числом состоянии 199 где с" —, = ~ 1'~"~(ю', 1) и Рн — Р (с', 1) при Ж вЂ” «оо. Таким образом, с н Х р'"1(й 1') и ! ~, р1"1 (~',1) с с Ь с 1пп '=' = 1пп с„. н-»« с.» Ьь ь-с Доказательство. Если с = 1пп с„, то Л Ь,с Ь-о — с= н ~ ьь Ь-О н ь, ь-н- +~ + с ~~~ ЬЬ(с — с) Ь-с Ь с Ь-н-с+~ ~ ьь Если номер и выбран так, что при и' ) и имеем )с — с„) ( е, где е ) 0 произвольно, то первое слагаемое в правой части равенства (11) меньше а.
При фиксированном и второе и третье слагаемые также стремятся к 0 при Ж-э со, так как с„ограничены. Это доказывает лемму и вместе с тем равенство (10), так как условия леммы всегда применимы к рассматриваемому слу"аю нбо р1"1(1, 1) ограничены. ф Из формулы (10) вытекает Теорема 6. Внутри возвратного класса 6(1,1) =+ оо; если иге 1 невозвратно, то 6(1,1) ( оо при всех й Справедливость формулы (10) теперь вытекает из следующей леммы. Л е и м а 1. Если 6„, и = О, 1, ..., — последовательность неь отрицательных чисел и —,- О, то для произвольной сходяь, »=0 щейся последовательности с„, п = 1, 2, слгчхнныа послвдоватвльююости зоо югл ию Действительно, если 1 — невозвратное состояние, то знаменатель в левой части соотношения (10) стремится к конечному пределу, а поэтому и предел числителя конечен, Если же 1 возвратно, то предел знаменателя равен ьо; если г" (1,1) О, то и предел числителя также равен со.
И Периодичность. Заметим, что если рпп (1, ю) )О, то также рюь"ю(юд )О, действительно, рюкю(1д ) рюш(1д рю" ю(1д... рьц(ю1). Обозначим через д(ю) наибольший общий делитель всех'п, для которых рюгв(1, ю)) О. Если рсн(1, 1) = 0 для всех и ) 1, то будем считать й(ю) = ьо, Теорема 7. Если ю ч — э1, то й(ю) = йЦ). Доказательство. Во-первых, сслн ю 1, то й(ю) н йЦ) конечны. Пусть рию(ю, 1) ) О. Найдутся некоторые и ) 0 и пю ) 0 такие, что р"'(ю,1) ) 0 и рю"'юЦ, ю)) О, так что рю"+ .юиЦ,1)) ) рю'"юЦ, 1) рюп(1, ю) рю"'(1,1) ) О. Лналогично рю"е +ьпЦ,1) ) О.
Поэтому ю(Ц) делит (и+ юп+2з) — (и+ юп+ з) = з. Отсюда вытекает, что йЦ) ~ ю1(ю). Из симметрии ролей 1 и 1 вытекает й(1) = "Ц) И Сл едет в не. В каждом классе сообюцаююцихся состояний величина д(ю) постоянна. В частности, для неприводимой цепи Маркова величина й = й(1) не зависит от состояния.
Определен не. Если в неприводимой цепи й = 1, то цепь Маркова называется апериодичной; если й ) 1, цепь называется периодической, а число й — ее периодом. Теорем а 8. Если й(1) « ьь, то найдется такое пы что при и) пь р<"' юю» (ю', ю) > О. Доказательство. Пусть пь (й = 1,2, ..., з) — последователь- ность чисел таких, что р( ь)(1, ю) > О, и наибольший общий де- литель чисел пь пю, ..., и, равен й(ю). В силу леммы 4 $ 4 най- дется такое пь, что при п ) и, будем иметь пй(ю) = ~~' сьпм Слей-ю довательно, р (ю', ю)~)(р("') (1, 1)] '(р("я)(ю ю)]" ~р(",)(ю 1)]~а > О Следствие. Если рю юЦ, ю) > О, то для всех достаточно больших и р' + '»Ц, ю)>О Действительно, р""+ ююпюЦ, 1) рю'"юЦ, ю)р'"'юн»(ю, 1).
При изучении цепей Маркова во многих случаях удобнее сначала рассматривать апернодические цепи, а затем обобщать полученные результаты на периодические. эм ЦЕПИ МАРКОВА СО СЧЕТНЫМ ЧИСЛОМ СОСТОЯНИИ 201 Покажем еще, что период состояния может быть вычислен по вероятности первого возвращения. Лен м а 2, Период ю'-го состояния совпадает с наиболыиим общим делителел! Тех и, для которых у!"'>(ю, ю) > О, Доказательство. Пусть Ен и Лн — множества тех и, и Уч', для которых р'">(ю, ю) > 0 и соответственно у!">(у, ю) > О, а аю, и ю(ч — их наибольшие общие делители.
Очевидно, Лй с: 2ч и следовательно, ю('ч ) дн. При этом аю! = юУ!. Пусть существует М такое, что а„' = аю„при п(ю>У, а дне! > ю(н+ . Тогда уюн+!> (', ю) = О, а рюй "(ю', ю) > О. Из равенства р'ч+ю>(ю, У) = (он+и(ю, ю) + )- 2,' уюь> (у, ю) о!э+' м (ю, ю) вытекает при некотором э, 0 < э < у, А ! соотношение Ую!>(У, У) рюч-" '! (ю', ю) > О, т. е. з и Л'+! — з делятся на юун и, следовательно, Лю+1 делится на йн, что п>отиворечит соотношениям йн+; < юу,'ч+! — — юун. Й Т е о р е м а 9.
Каждый класс К сообщающлхся состояний периода ю( (ю( < со) можно разбить на ю( подмножеств Кы К„..., Кл-! попарно без общих элементов так, чтобы за один юиаг из К, (з < ю( — 1) можно было перейти то.>ько в К, „„ а из Кл ! — только в Кы При этом, если У~К„, у"=-К„то найдется такое Лу = Лю(ю, у), что р"""* '(ю', у) > 0 при и > Лю.
Доказательство. Пусть К, — множество всех состояний у, для которых хотя бы прн одном положительном целом й имеем рюью>(У, у) ) О, где ю' — произвольно выбранное состояние нз К. Тогда Уен К,. Так как У и у сообщаются, то найдется такое т, что р! >(у, ю) > О. Число т кратно аю. Действительно, рюкю"'- >(ю, ю)) '= рюьг>(ю', у) р' '(у, У) > О, и, следовательно, я!У+ т делится на ю(. Так как т делится на а), то если вместо состояния ю в определении К, взять любое у, для которого р!"">(ю, у) > 0 при некотором й, то К, ие изменится.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
