Цепи Маркова (1121219), страница 46
Текст из файла (страница 46)
д. Если qi = 0, то при условии X0 = iпроцесс (Xt) остается в состоянии i навсегда.В п. а) эвфемизм «предыстория» означает любое событие, порожденноеслучайными величинами Xs , когда s меняется внутри заданного множествазначений: 0 6 s < t в свойстве б) и 0 6 s < Hi(k) в свойстве в), где Hi(k) —k-е время попадания в состояние i. Здесь есть также тонкость, состоящаяв том, зависят ли остаточные члены o(h) в п. а) от i, j и t; мы не будемуглубляться в соответствующие детали. Однако при определенных подходящих условиях на o(h) в свойстве а) можно доказать такой результат.Теорема 2.6.6. Для невзрывной цепи приведенные выше характеризации а), б) и в) из определений 2.6.3 и 2.6.5 эквивалентны.290Глава 2.
Цепи Маркова с непрерывным временемНаконец, удобно охарактеризовать случай взрыва в терминах временискачков J0 , J1 , J2 , . . . Они определяются какJ0 = 0,J1 = inf [t > 0 : Xt 6= X0 ] ,J2 = inf [t > J1 : Xt 6= XJ1 +0 ] , . . . (2.6.17)§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачковПредполагая, что qi > 0 для любого i, получим корректно определенb с нулевыми диагональными элементаную стохастическую матрицу Pbми. Матрица P определяет цепь скачков для ц.м.н.в.
(Xt). Точнее, этоb( , P)-ц.м.д.в.(Yn) (некоторые авторы называют ее вложенной цепьюскачков, так как она наследует скачки исходной ц.м.н.в. (X t)). Термин «вложенная» в данном случае является значимым: цепь (Yn) ассоциированас (Xt), т. е. ее траектория построена по траектории (X t).Наглядный смысл таков: (Yn) есть наблюдения скачков в цепи (Xt),а формальное определение имеет видYn = XJn +0 , где 0 = J0 < J1 < . . . — моменты скачков цепи (Xt).Рис. 2.48Определение 2.6.7. Говорят, что ( , Q)-ц.м.н.в. (Xt) невзрывная, еслидля любого состояния i при условии, что X0 = i, с вероятностью 1 временаскачков Jn возрастают к +∞:P i ( lim Jn = ∞) = 1.n→∞n→∞< ∞) > 0, состояние i называется взрывным (для (Xt)).Теорема 2.6.8. Определения взрывной ц.м.н.в.
2.6.4 и 2.6.7 эквивалентны.Подводя итог, заметим, что имеются три типа поведения траекторииц.м.н.в.: регулярный, поглощающий и взрывной. Как было указано выше,последний можно преобразовать в поглощающий путем добавления состояния ∞.Как и в случае дискретного времени, маргинальные вероятности P (X t == i) образуют вектор, полученный из = ( i) под действием матрицыперехода P(t):P (Xt = j) = ( P(t)) j =Xii pij (t)∀ t > 0, j ∈ I.(2.6.18)Введем следующее обозначение:(qij /qi ,bbij), где bP = (ppii =0,j 6= i,j = i.(2.6.19)(2.6.20)Заметим, что цепь скачков (Yn) всегда можно неограниченно задаватьв дискретные моменты времени n = 0, 1, .
. .; она нечувствительна к «взрывам» исходной цепи.Перепишем соотношение (2.6.9) в терминах вероятностей скачков bpij :pij (t) = e−tqi 1(i = j) + 1(i 6= j)n→∞В противоположном случае, когда P i ( lim Jn = ∞) < 1, т. е. P i ( lim Jn <291+ 1(i 6= j)Xk∈IZtqi e−sqiqij − (t−s)qjeds+qi01(k 6= i, j)1(qk > 0)Zt Zt0 s1q i e −s 1 q i ×qkjq× ik qk e− (s2 −s1)qk e− (t−s2)qj ds2 ds1 + .
. .qiqk(2.6.21)с общим членомnY−1l=01(ql > 0)Zt Zt0 t1...Zt Yntn−1k=1bik−1 ik ×(qik−1 exp [− (tk − tk−1)qik−1 ]) p× exp [− (t − tn)qin ] dtn . . . dt1 ,(2.6.22)где t0 = 0.Повторим, что уравнения (2.6.21), (2.6.22) дают «конструктивный»взгляд на то, как вероятности pij «строятся» из вкладов, внесенных различными траекториями. Подход, возникающий на основе таких рассмотрений,был разработан в 1920–30 гг.
Колмогоровым, Леви и другими. Ревностнымсторонником этого подхода выступал и Дуб, который неустанно подчеркивал, что случайный процесс следует трактовать как вероятностноераспределение на множестве его выборочных траекторий.292Глава 2. Цепи Маркова с непрерывным временем§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков293Теорема 2.6.13. Предположим, что (Xt) — невзрывная ц.м.н.в. с генератором Q и что qi > 0 ∀ i. Пусть = ( i) — инвариантная мерадля (Xt). Тогда = ( i) является инвариантной мерой для цепи скачков (Yn), где(2.6.25)i = i qi = − i qii , i ∈ I.j,т.
е.P(t) = .(2.6.23)P Если выполнено лишь условие i > 0, но не выполняется равенствоявляется инвариантной мерой для (Xt). Еслиi = 1, то говорят, чтоi.PPi < ∞, то, положив i = ij , получим инвариантное распределениеij= ( i).Замечание 2.6.10. Для минимальной взрывной цепи последнее определение имеет смысл только в случае, когда распределение сосредоточено в поглощающемP состоянии ∞, хотя все же можно думать и о мере ,удовлетворяющейi = ∞ и соотношению (2.6.23). Будем этого избегать,iвсегда предполагая, что цепь невзрывная, если речь идет об инвариантныхмерах или стационарных распределениях.Теорема 2.6.11.
Предположим, что (Xt) — невзрывная ц.м.н.в. с генератором Q. Мера = ( i) — инвариантная мера для (Xt) тогдаи только тогда, когдаXQ = 0.(2.6.24)i qij = 0 ∀ j, т. е.iЗамечание 2.6.12. Утверждение теоремы 2.6.11 для конечной ц.м.н.в.было доказано уравнением (2.2.5). В теореме 2.6.11 оно распространенона общий невзрывной случай. К аргументам, использованным при выводе уравнения (2.2.5), нужно отнестись критически: они не работают длявзрывной цепи. Точнее, в случае взрывной цепи нельзя гарантировать, чтоd( P(t)) = Ṗ(t), хотя верно, что Ṗ(t) = QP(t) = P(t)Q.dtqii=qiX h qiji : i6=jiqii−ij|i Xqij1+=i qij = ( Q) j .qii{z}||0Видим, что левая часть равна 0 тогда и только тогда, когда правая частьравна 0.Таким образом, еслиявляется инвариантной мерой для невзрывнойPц.м.н.в.
(Xt), причемi qi < ∞ и i = i qi , то b = (bi) является стационарным распределением для (Yn), гдеP (Xt = j) =Определение 2.6.9. Пусть (Xt) — невзрывная ц.м.н.в. Распределениевероятностей = ( i) на I называют инвариантным, или стационарнымраспределением для ц.м.н.в.
(Xt), если для любых j и t > 0Рис. 2.49Обратно, если— инвариантная мера для (Yn), то мера ,определяемая соотношением (2.6.25), является инвариантной дляц.м.н.в. (Xt).b = в виде Pb − = 0,Д о к а з а т е л ь с т в о. Запишем равенство PилиiX qijX hqijb − )j =( P− j=− ij =ii (1 − ij)bi = P i = P ijjqi.j qj(2.6.26)jОпределение 2.6.14. Пусть (Xt) — ( , Q)-ц.м.н.в. (возможно, взрывная). Состояния i, j ∈ I сообщаются в цепи (Xt) тогда и только тогда,когда i, j сообщаются в цепи скачков (Yn).
Таким образом, разбиение наклассы в обоих цепях (Xt) и (Yn) совпадают. В частности, будем говорить,что ц.м.н.в. (Xt) с параметрами ( , Q) (или ее Q-матрица) неприводима,если она имеет единственный сообщающийся класс (который, таким образом, замкнут).Представители всех сообщающихся классов, объединяйтесь!(Из серии «Кое-что из политики».)Теорема 2.6.15. Пусть (Xt) — ( , Q)-ц.м.н.в. (возможно, взрывная).Состояния i, j сообщаются в цепи (Xt) тогда и только тогда, когдавыполнено одно из следующих эквивалентных условий:а)qi0 i1 .
. . qin−1 in > 0(2.6.27)294Глава 2. Цепи Маркова с непрерывным временемдля некоторых состояний i = i0 , i1 , . . . , in = j,б)pij (t) > 0 ∀ t > 0.(2.6.28)Д о к а з а т е л ь с т в о. б) =⇒ а): если выполняется условие б),то i и j сообщаются в цепи (Yn), а следовательно, и в (Xt). Тогда pi0 i1 (t) . . . pin−1 in (t) > 0 для всех t > 0 и некоторой траектории i == i0 , i1 , . .
. , in = j. Значит, qi0 i1 . . . qin−1 in > 0, т. е. выполняется а).а) =⇒ б): если выполняется условие а), то для любой пары i k−1 ikи любого t > 0 имеемpik−1 ik (t) > P (единственный скачок на (0, t); Xt = ik | X0 = ik−1) ==Zt0qik−1 exp(−qik−1 s)|{z}1-й скачок в момент sqik−1 ikqik−1| {z }скачок ik−1 → ikexp(−qik (t − s)) ds > 0.|{z}на (s, t) нет скачков§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков295марковским и строго марковским свойствами в точности в той же формулировке, что и в теоремах 2.2.2 и 2.2.3 для конечных ц.м.н.в.В заключение заметим, что «склеивание» нескольких состояний в одно(в ц.м.д.в.
или ц.м.н.в.) может сохранять или разрушать марковское свойство. Это иллюстрируется следующим примером.Пример 2.6.16. а) Рассмотрим ц.м.н.в. (Xt) с состояниями {1, 2, 3, 4}и Q-матрицейПоложим−201502 1 −3 2 0 .Q=0 2 −2 0 (Xt ,Yt =2,(Xt ,Zt =1,2−8если Xt ∈ {1, 2, 3},если Xt = 4;(2.6.29)если Xt ∈ {1, 2, 3},если Xt = 4;(2.6.30)Являются ли процессы (Yt) t>0 и (Zt) t>0 цепями Маркова?б) Найдите стационарное распределение цепи (X t) t>0 , заданной в п.а). Предположим, что X0 = 1.
Найдите вероятность того, что Xt = 1 принекотором t > 0.Рис. 2.50Тогдаpij (t) > pi0 i1откуда следует условие б).tn. . . pin−1 intn> 0,Состояния всех классов, сообщайтесь!(Из серии «Кое-что из политики».)Приведем без доказательства следующее утверждение: каждая счетная цепь Маркова с непрерывным временем (взрывная или нет) обладаетРис. 2.51Решение. Переход от (Xt) к (Yt) состоит в «склеивании» состояний 2и 4 в одно состояние, которое мы обозначим 2 ∗ 4, см. рис. 2.51. Ясно, чтодля проверки того, что (Yt) — цепь Маркова, достаточно установить, чтовремя пребывания J Y (2 ∗ 4) в состоянии 2 ∗ 4 является экспоненциальным(нетрудно догадаться, что это распределение Exp(3)).
В ц.м.н.в. (X t) время296Глава 2. Цепи Маркова с непрерывным временемпребывания JX (2) в состоянии 2 распределено по закону Exp(3), а времяпребывания JX (4) в состоянии 4 — по закону Exp(8). Пусть HnY (2 ∗ 4) —момент n-го попадания в склеенное состояние 2 ∗ 4 в процессе (Y t). Тогдасостояние XHnY (2∗4) цепи (Xt) в момент HnY (2 ∗ 4) может быть 2 или 4.
Такимобразом,P (JnY (2 ∗ 4) > x) = P (JnY (2 ∗ 4) > x, XHnY (2∗4) = 2) + P (JnY (2 ∗ 4) > x, XHnY (2∗4) = 4).Действительно, неравенство JnY (2 ∗ 4) > x означает, что процесс (Yt) непрыгает в интервале времени (HnY (2 ∗ 4), HnY (2 ∗ 4) + x). Но если XHnY (2∗4) == 2, то процесс (Xt) не прыгает в интервале (HnY (2 ∗ 4), HnY (2 ∗ 4) + x).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
