1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 87
Текст из файла (страница 87)
Отсюда рэ)+ )) > О и ) ен С~+, <,э э). Заметим, что нз приведенных рассуждений следует, что матрица Р переходных вероятностей неразложимой цепи имеет блочную структуру: с с ... с Гл. чп!, мапковскип цепи Рассмотрим некоторый подкласс Ср. Если считать, что в начальный момент частица находится во множестве С„то в моменты в=р+Ш, 1=0, 1, ..., она будет находиться в подклассе Ср. Следовательно, с каждым подклассом С, можно связать новую марковскую цепь с матрицей переходных вероятностей (рл)!; с, которая будет неразложимой и апериодической. Тем самйм, принимая во внимание проведенную классификацию (см.
сводный Юиклакеаккк лойклакам Рис. 39. Классификация состояиий марковской цепи по арифметическим свойствам вероятиостел р!р!. к! . рис. 39), заключаем, что при исследовании вопросов о предельных свойствах вероятностей р!"> можно ограничиваться рассмотрением лишь апериодических неразложимых цепей. 3. Задачи. 1. Показать, что отношение « +а является транзитивным.
2. Для примера 1, рассмотренного в 9 5, показать, что для 0(р(1 все состояния образуют один класс с периодом а=2. 3. Показать, что марковские цепи, рассмотренные в примерах 4. и 5 в 9 5, являются апериодическими. й 3. Классификация состояний марковской цепи по асимптотьческим свойствам вероятностей р!,"! 1. Пусть Р=(р!!( — матрица переходных вероятностей марковской цепи (Х„)„а, ~Й = Р! (Ха = 1, Х! Ф 1, 1 ~ 1(А- 1) (1) и для 1М) ф=Р!(Ха=), Х!~1', 1~1~А — 1) (2) — вероятность первого возвращения в состояние ! и вероятность первого попадания в состояние 1 в момент времени й, когда Х„= !.
й 3. КЛАССИФИКАЦИЯ СОСТОЯНИИ Используя строго марковсное свойство (1.16), аналогично (1.12.38) показывается, что л р!л) Па)р)л-Е) !! = )/ 0 а=! Введем для каждого ! еи Е величину ~~~ 1(л) (4) по своему смыслу являюшуюся вероятностью того, что частица, выходяшая из состояния А рано или поздно вернется в зто состояние. Иначе говоРЯ, )н=.Р)(о)(со(, гДе о)=)п1(п)1! Х,=!) с о)=со, когда ( (=(().
Рис. 40. Классификация состояний марковскои цепи по асимптотическим свой- ствам вероятностей р)!). Назовем состояние !' возвратным, если )а=1 и невозвратным, если 1а(1. Каждое возвратное состояние можно в свою очередь отнести к одному из двух типов в зависимости от конечности или бесконечности среднего времени возвращения. А именно, будем называть возвратное состояние ! положительным, если !' сю ) — ! л=1 и нулевым, если / о» )- ! ))!т' = — ~ ~Ч~ и)!л)) =О. л=1 Итак, в зависимости от свойств вероятностей р),") получаем классификацию состояний цепи, изображенную на рис. 40. зло гл. тп! млгковския цепи 2. Поскольку отыскание функций ф'! довольно-таки сложно, то для определения того, является состояние ! возвратным или невозвратным, полезен следуюп<ий критерий. Лемма 1. а) Состояние ! возвратно тогда и пюлько тогда, когда '5"„р(л! = со, л=-1 Ь) Если состояние 1' возвратно и ( у, то состояние 1' я!анже возвратно.
Дока зательство. а) В силу (3) <и! ~~ !<о! <и — л! и и и Ф=< и, значит, (р)1'= 1) <и! ~~ т,' !<о!Р< — о! ~ у!!! ~~ (,< — и л -- ! л =-1 О = 1 О=-1 и=я сл ои л=о л =-! Поэтому, если У', р<,".! ~ оо, то ~и - 1 и, значит, состояние л=1 невозвратно. Далее, пусть ~~~, р<з! = о». Тогда и=< Ж Н и и и у Р<<1! у )~ (<о!Р<и — и т~ <<о! ~~, <и — о!~ у )»о! ~~~~ р<<! и и=! и=. ! О=< л=! <=о и поэтому и ии Ф Х ей< <о! %! <о! л = ! <'и= гг' 1<! ~ ~, ~и ~, -«1, А=! о=! <о и <=О Итак, если ~ р<<,"'=со, то 1и=1, т, е.
состояние ! возвратно. л=! Ь) Пусть р<<1~0, р';<!) О. Тогда <л+и+<! оя <и! <В Ри =-- Ри Ри Р!< и и если ~ч„р';" =со, то н ~ч р!<'=со, т, е. состояние ! возвратно. с ь4! % 3 КЛАССИФИКАЦИЯ СОСТОЯНИЙ ~~~~~рг/ ~ со (е) и, значит, !и) Р~/ — !" СО П )' ОО, Д о к а з а т е л ь с т в о. Из (3) и леммы 1 (7) ~" р)п) — у у /!А)р)п — ю 'Я )!А) ~х,~ р(л) «=1 п=!и=! А=! «/ О =1/ Х р,'4/)» Х р,!/' =' л=е л=ь где мы воспользовались тем, что г!/= з,' /!ы»1, поскольку зто и у л=-! ес)ь вероятность того, что частица, вышедшая из !', рано или поздно попадет в /. Итак, (6), а значит, и (7) доказаны.
Перейдем теперь к случаю возвратных состояний. Л е м м а 3. Пусть / является возвратным состоянием с с( (/) = 1, а) Если !' сообщается с /, то р!".' — —, и -э со. 1 (8) 1/ 1)/ Если к тому же / является положительным состоянием, то р!'.) — — ) О, и -+. со, )/ (9) Если же / является нулевым, пю /)! '-)-О, п-)-со. н (10) Ъ) Если ! и / принадлежат разным классам сообща/ошихся состояний, то Р'".' — Л вЂ”, П -)- ОО. /н (11) и Доказательство леммы будет опираться на следующий результат из анализа. ПУсть 7"„ /м ...-последовательность неотРицательных чисел с ~х~~!=1 такая, что общий наибольший делитель тех чисел /, /-! 3.
Из критерия (5) легко выводится следующий первый результат об асимптотнческом поведении вероятностей р!"), Лемма 2. Если состояние / невозвратно, то для любого 1 642 гл. чш. млэковскив цепи />>й> // !й>. ' где !й/ — — ~ч ', а///'. >й> л=! Перепишем теперь соотношение (3) в виде (р!,'.>=О, з О) !л> ~ /!й> !ч — и !/ и /> ° й=-! (12) Согласно доказанному для каждого фиксированного /г р!."-й>-й )й/', и- оо. Поэтому, если предположить, что 1пп ),' ~>й>/><.".— й> = У,' (>й>!ипр!' — "> //. ц // // й = ! (13) то тогда сразу получим />>и> + ~~ /(й> и/~.~ й=! (14) что и доказывает (11). По своему смыслу /!/ есть вероятность того, что частица, вышсдшая из состояния !', рано или поздно попадет в состояние /.
Состояние / возвратно, и если ! сообщается с /, то естественно ожидать, что тогда /!/=1. Покажем, что это действительно так. Пусть /!/ — вероятность того, что частица, вышедшая из состоя. ния !', бесконечно много раз побывает в состоянии /. Понятно, что )'>/-/;/. Поэтому, если показать, что для возвратного состояния / и сообщающегося с ним состояния ! вероятность /!/=1, то требуемое равенство /» = 1 будет установлено. Согласно утверждению 1>) леммы 1 состояние 4 также возвратно н, значит, (15) Пусть с!/ =! п1 (и ~ 1: Х„= !) и для которых // О, равен единице.
Пусть и,=1, и„= ~~~йи„й, й=! 1 и=1, 2, ..., и р= ~~ и/„. Тогда и,->- —, и- со (доказательство й=! см., например, в 169) Э 10 гл. ХП!). Учитывая соотношения (3), применим этот результат к и„= !й> = р';,"', /й=/(/. Тогда сразу получаем, что 54з $ х кллссификлция состоянии — момент первого (в моменты п~1) попадания частицы в состояние 1; полагаем а, =со, если такого момента не существует. Тогда 1=7п= ~ ~<,">= 'У, 'Р;(о;=п)=Р;(о;(оо), (16) « ~ «=г и, следовательно, возвратность состояния 1 означает, что частица, вышедшая из !, рано или поздно снова вернется в это состояние (в случайный момент а;).
Но после возвращения в зто состояние «жизнь» частицы как бы начинается сначала (в силу справедливости строго марковского свойства). Отсюда напрашивается вывод, что если состояние 1 возвратно, то частица будет попадать в него бесконечно часто: Р;(Х„ = 1 для бесконечно многих и) = 1. (17) Ладим теперь формальное доказательство зтого утверждения. Пусть ! — какое-то состояние (возвратное илн невозвратное). Покажем, что вероятность возвращения в него по крайней мере г Раз Равна (7п)'.
Лля г=1 зто следует из определения (п. Пусть утверждение доказано для г=т — !. Тогда, используя строго марковское свойство и (16), находим, что Р; (чнсло возвращений в ! больше илн равно и) = '5, 'Р;(и; =й, число возвращений в ! после момента й) = »= ~ ~ больше или равно т — 1 = ~", Р;(а,=А) Р,('по крайней мере (и« вЂ” 1) значение~о~ =А~ = »=~ (из Х» ~ьп Х, », ... равно( ~ / Р;(о;=й) Р;!'по крайней мере (л» вЂ” 1) значение) = ~из Хь Х„... равно 1 = У !"(к) (!"и)" '=77 Отсюда, в частности, следует, что для возвратного состояния 1 справедлива формула (17).
Если же состояние невозвратно, то (18) Р;(Х„ = ! для бесконечно многих и) =О. Перейдем теперь к доказательству того, что Дг 1. Поскольку состояние 1 возвратно, то в силу (17) и строго марковского 544 гл. т!и. мхгковскиа папи свойства 1 = ~я~ Р! (оу = й) + Р, (оу = оо) Ф-! (а~ = А, число возвращений в !1 = Х Р!~ после момента й равно) + Р (<гт = со) = бесконечности Р; !'оу *= й, бесконечно много значений~!+ Р; (о! = ~) = Д из Х,,ь Х„.„.„... равно ! ! ! бесконечно много зна- ;Е Р;(о,=й) Рс чений из Х„„„Х,„,...
/ — ((~... равно ! о;=й +Р!(о,=-оо)= У =! и У !!! Рг ~бесконечно много значений)+(! — !!4) — (,из Хд, Х„... равно ! = Х ай+(1 — 1!)=П(1!+(1 — У. ь =-! Итак, и, значит, Что же касается равенства (13), то его справедливость следует из теоремы о мажорируемой сходимости и того замечания, (л — и ! %! <и что р;! -ь —, п-~-со, г 1!! =Ц==.1. иу ь=! Лемма доказана. Перейдем теперь к рассмотрению случая периодических состоя. ний. Лемма 4. Пусть 1' — возвратное состояние и !((1) >1, Поскольку ! 1, то 1!!' » О, а следовательно, 1;;= 1 и ~ц = 1. Таким образом, в предположении (13) из (14) и равенства )у -— 1 следует, что для сообщающихся состояний ! и 1 Ф О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
