1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 89

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 89)

Но — )О, поэтому ры' не имеет предела и! !/ при и- оо, что противоречит исходному предположению о суще- ствовании 1пп р!"!. Пусть теперь ! енС и ! ен Е. Тогда, согласно (3. 11), )и (и р<д!-!- —. Следовательно, и, = —. Но и! не зависит от !'. Значит, иг' И(" В=5=1 Достаточность. В силу (3.!1), (3.10) и (3.7) 4 4 пРедельные и стАционАРные РАСГ!Ргделгння азз Поэтому, если /2/=1 для всех /ее С и !'Ев Е, то д/=!Нпр!." не зависит от !'. Класс С положкиеельнЫ, значит, 2//)О для /~ С. Тогда по теореме 1 ~~ у/ =- 1 и набор Я = (2/„ 2/„ ...) образуег 2 -предельное распределение.

3. Резюмируем полученные выше результаты о существовании предельного распределения, единственного стационарного распределения и эргодичности для случая конечных цепей. Теорема 4. Для конечных марковских цепей имеют место следугощие имплпкации: !эргодичность) Доказательство. Все «вертикальные» импликации !) очевидны. Имплнкации (1) установлены в теореме 2 2 3, импликации (2) — в теореме 3, импликации (3) — в теореме 2. 4. Задачи. 1. Показать, что в примере 1 из 5 5 стационарные и предельные распределения отсутствуют. 2.

Рассмотреть вопрос о стационарных и предельных распределениях для марковской цепи с матрицей переходных вероятностей 1/2 О 1/2 О О О О ! ( !/4 1/2 1/4 О/' О !/2 1/2 О 3. Пусгь Р=<<рг/) — конечная дважды стохастическая матрица, 222 т. е. ~ р;/ — — 1, /=1, ..., т. Показать, что для соответствующей г=! марковской цепи стационарным распределением является вектор <);,)=(1/т, ..., 1/т).

О с сущгспгог/егп пре-~, дельное распреде-)~ ление О < сущестоугт един- ственное спгацио- нарное распрйделе-( ние 'цель неразлолг! ма ооз-т с=о арап!на, полом!<!!!слона) 'с й=! 0 <,! /сг/и<ест!грет В гпвчнастиг< с.Ф ~ один созвратный поло- ~ жгипельный класс с й =! 0 /суг<<ествует в пгочностг!'< ~один возвратный поло-~ <3! житгльный класс гл.

чш. маяковские цепи й 5. Примеры 1. Приведем несколько примеров, иллюстрирующих введенные понятия и полученные выше результаты относительно классификации н предельного поведения переходных вероятностей. Пример 1. Будем называть простым случайным блужданием марковскую цепь, в которой частица с некоторой вероятностью остается в каждом состоянии и с некоторыми вероятностями переходит в соседние. Простое случайное блуждание, соответствующее следующему графу: Р Р Р описывает блуждание частицы по состояниям Е =(О, -+-1, ...) с переходом на единицу вправо с вероятностью Р и влево с вероятностью д. Понятно, что вероятности перехода равны ( Р, 1'=1+1, Рц=1 д, 1=( — 1, Р+д=1, О в осгальных случаях. Если Р=О, то частица детерминированным образом движется влево, если же р=1, то вправо. Эти случаи мало интересны, поскольку тогда все состояния несущественны.

Будем поэтому предполагать, что О ( р ( 1. В этом предположении, состояния цепи образуют один класс (существенных сообщающихся состояний). В каждое состояние можно вернуться за 2, 4, 6, ... шагов. Поэтому цепь имеет период с(=2. Поскольку для любого 1 ~ Е Ри =Сэ (РЧ)"= —,,(РЧ)", ()ю и л (зл)! то по формуле Стирлинга (п( 3Г2пл и"е-") (э„ (4по)" Рп )с Поэтому, если р=д, то У,'Р(,''и= со, и если рвами, то и ~Р~,'.ю(со, Иначе говоря, если р=о, то цепь возвратна, если а 5 5. ПРИМЕРЫ же р Фд, то невозвратна. В й 10 гл.

! было показано, что в случае р=а=1/2 1,",ю 2, и — «со. Значит, р,= ! а упл'и ' = ~' (2п) ~",.гл! =со, т. е, все возвратные состояния являются нулел выми. Поэтому в силу теоремы 1 из ~ 3 для всех 0<р<.'! р'л> — О, и — со, для любых ю' и !'. и Стационарные, предельные и эргодические распределения отсутствуют.

Пример 2. Рассмотрим простое случайное блуждание с Е = = (О, 1, 2, ... ), где 0 является поглощающим экраном: й Р р ! г о(ркт Состояние 0 образует единственный положительный возвратгый класс с Н = 1. Все же остальные состояния невозвратны. Поэтому, согласно теореме 2 из ~ 4, существует единственное стационарное распределение )П (ял и! П2 ' ) сял —— 1ип,=п, Рассмотрим теперь вопрос о предельном распределении. Ясно, что роя=1, р".'~ — «О, 1= 1, !)О. Покажем теперь, что для вся кого 1) 1 велйчины ее(!) =1!юру> определяются формулами л С этой целью прежде всего заметим, что поскольку состояние 0 ЯвлЯетсЯ поглощающим, то Рио = У, '~<вми,следовательно,а(!) =!м, А<л т.

е. интересующая нас вероятность се(!) есть вероятность того, что частица, выходящая из состояния 1, рано или поздно достигнет нулевого состояния. Для этих вероятностей тем же методом, что и в З 12 гл. 1 (см. также й 2 гл. Ъ'11), выводятся рекуррентные соотношения а(!) =ра(!+1)+ух(! — 1), (2) Гл чссс лслнковскссс ссепи прп этом а(0) =1. Общее решение этого уравнения илсеет вид а (с) — а + Ь (с)7р)с (3) и условие а (0) = 1 дает одно условие на константы а и Ь: а+ Ь =!. Если предположить, что сс ) р, то тогда в силу ограниченности сс(с) сразу получаем, что Ь =О, а значит, сс(с) =1.

Этот результат вполне понятен, поскольку в случае с) )р частица имеет тенденцию двигаться по направлению к пулевому состоянию. Если нсе р ) с), то ситуация обратная — имеется тенденция хода вправо, и естественно поэтому ожидать, что тогда сс (с') -+- О, с'-~ со, (4) а, значит, а = 0 и а(с) =( — ~) . (б) Чтобы доказать это равенство, мы не будем устанавливать (4), а поступим иначе. Наряду с поглощающим экраном в точке 0 введем в рассмот- рение поглощающий экран в целочисленной точке ссс. Вероятность того, что частица, выходящая из точки с', достигнет нулевого состояния раньше, чем состояния ссс, обозначим ам (с).

Для вероягнссгей ал(с) справедливы уравнения (2) с граничными ус- ловиями ам(0) =1, ал (йс) =О, и, как это уже было показано в й 9 гл. 1, сб) Отсюда с'ч ~с Вшан (с') = — ) и, следовательно, для доказательства требуемого результата (б) надо лишь показать, что а(с') =!пиал (с). (7) сс (с) = Р, (А), (8) Интуитивно это понятно. Строгое же доказательство можно получить на следующем пути. Будем предполагать, что частица выходит из фиксированного состояния с.

Тогда $5. ПРИМЕРЫ где А — событие, состоящее в том, что найдется такое У, что частица, выходящая из точки с, достигнет нулевого состояния раньше, чем состояния У. Если Ал =(частица достигнет 0 раньше чем У), то А Ц Ал. Ясно, что Лис= Ал,.„и лс =. с-<-1 Р, ~ Ц Ллс~= 1!<и Р;(Ал). л =- с <- ! (9) Но ал (с) =Рс(Ллс), так что (7) сразу следует из (8) и (9). Итак, если р с), то предельные значения !Ип р<'! зависят от с и, следовательно, в этом случае предельного распределения не существует. Если же р «с), то для любого (Пир<",! = 1 и(!<пр <'!! = О, /== 1. Таким образом, в этом случае предельное распределение )П имеет вид )П=--(1, О, О, ...

). Пример 3. Рассмотрим простое случайное блуждание с логлосс<псписссми эхрпнпсиа в <почках 0 и У; Р Р Р Р )пп р<'! = м л со (10) Ц<п р<"1 = 1 — 1ип р<"! и слс о й и 1!шр<".1=0, 1«1«У — 1. Здесь существуют два положительных возвратных класса (0) и (У). Все остальные состояния (1, ..., У вЂ” 1) невозвратны. Из теоремы 1 5 3 следует, что существует бесконечно много стационарных распределений )П=(я<с, а„..., я„) с п,=а, ял,=Ь, я<= ...

=Ил <=О, где а.=--О, Ь~О, а+Ь=1. Из теоремы 4 9 4 вытекает также, что предельного распределения не существует. Это следует и из того, что, согласно результатам п. 2 9 9 гл. 1, ГЛ. ЧИ!. МАРКОВСКИЕ ЦЕПИ П р имер 4. Рассмотрим простое случайное блуждание с Е = = (О, 1, ... ) и отражающим экраном в нуле: Нетрудно понять, что цепь является апериодической. Предположим, что р)а (блуждающая. частица имеет тенденцию ухода вправо). Пусть ! ) 1; для отыскания вероятностей )ц! можно воспользоваться формулой (!), из которой следует, что )з! = ( — ~-) ~ 1, ! ) 1, Все состояния рассматриваемой цепи сообщаются между собой, Поэтому, если состояние ! было бы возвратным, то тогда бы и состояние 1 также было бы возвратным.

Но (см. доказательство леммы 3 в З 3) тогда !з! было бы равно единице. Следовательно, все состояния рассматриваемой цепи в случае р) а невозвратны, а значит, р!"!-«О, а — «ОО, з, )ен Е, и предельного или стационарного распределения не существует.

Пусть теперь р~д. Тогда из (1) 1!!=! для з- 1 и 1з! = =,у+рГзз=1. Поэтому цепь возвратна. Рассмотрим систему уравнений, определяющую стационарное распределение )П=(аз, и„... ): ззз = пзч~ зт! = ззз+зззч "з =изр+пзЧ~ т. е. и! = Изу+ язв ззз = пзч+ пзЧ ° ° з откуда Если р=д, то тогда ззз=гзз=... и, следовательно, пз — — из = аз=...=О, Иначе говоря, если р=а, то не существует стационарного, а значит, и предельного распределен!зя. Отсюда и нз .теоремы 3 $4, в частности, следует, что в этом случае все состояния цепи нулевые, ббо гл. ч((( мляковскин цепи Рассмотрим для определенности состояние (О, О). Тогда вероятность Рл/ р(~,лл(,(им перехода из состояния (О, 0) за й шагов в (О, 0) задается формулами и = О, 1, 2, ...

(П, (к (+/=л) Умножая числитель и знаменатель каждого члева суммы на (л!)', получим Рлл — — ( — ) Сел 5 СлСл ( — ) (был) > поскольку .х, С.С (=- О Применяя теперь формулу Стирлинга, найдем, что Р,л лл и, значит, У,Р,„=со. Следовательно, состояние (О, 0) (также как и любое другое) является вазвритньт. Оказывается, однако, что в случае размерности три и болли(е симметричное случайное блуждание невозвратно.

Покажем это для блуждания по целочисленным точкам ((', /, й) в пространстве. Будем предполагать, что из точки (/, /, й) частица с вероят- ностью 1/б сдвигается па единицу вдоль одного из направлений координатных осеи: /б /б Тогда, если Р,— вероятность возврашенпя за й шагов из состояния (О, О, 0) в (О, О, 0), то Р,лв,=О, л=-О, 1, ..., (2л)! /! (зл (и)л(/Ол((л — ( — ()!)' (, б / (((, П: о<(+/<л! . Х Ь,."', „.Г(-,')"== и(, /ив<(-ь/<,> С вЂ” "— ! э( л( /'(1л «С вЂ”,С л2'л лая,(,В и/! (Л, /)! (З~ ((Ь (и в<(-(-(<л! (1 1) % о, папмеяы 561 где С„= шах ~..

л' . 11 (12) (и, П ОСг+Г<л) 1. Н й (л — ( — 1)1 Л Докажем, что при больших л шах в (12) достигается при 1' л/3, ) — ог/3. Для этого обозначим через 1', и 1, значения, для которых достигается шах. Тогда, очевидно, будут справедливы следующие неравенства; л( л! й! б — 1)' (л — ь — ( +! )' /о( (о' (л — /о — (о)1' л! л) ( Ь ' ((о (- 1 ) ! (л — ! — Π— ! ) 1 О. — 1 ) 1 (о( (л — /о — (.

+ 1 Р л! (6+ 1)1 ~о( (л — /о — (о — 1)1' откуда и — оо 1 ч= 2/о ~ и (о+ 1 л — /о — 1 — 2(о ~ л — /о+ 1 и, значит, для больших л 1', и/3, а /о и/3 и По формуле Стирлинга з~ з ф— Со,— лоол Зл о о оео ~ и поскольку л=-1 то ~х Р„,«оэ. Следовательно, состояние (О, О, О), а также любое л другое состояние, являются невозвратными.

Характеристики

Список файлов книги