Цепи Маркова (1121219), страница 50

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 50)

. , VP (Vk+11k×,2 k+1bn) образуют ц.м.д.в., как и предполагалось. Следовательно, с.в.т. e. с.в. (V(Vt) образует ц.м.н.в. Времена пребывания распределены экспоненциально∼ Exp(2/3), а интенсивности переходов определяются соотношением1 k+2×,3 k+11kqkl =×,3k+1 2− ,3если l = k + 1,если l = k − 1,k > 1,если l = k,и q01 = −q00 = 2/3; см. рис. 2.57.Рис. 2.57Докажем соотношение (2.7.22) индукцией по n: при n = 1 предположеb out , а также для Gb in , поскольку вероятностиние, очевидно, выполнено для Gnn318Глава 2. Цепи Маркова с непрерывным временемпереходов из угла равны 1/2. Далее, запишемb in = i | Vbn−1 = kn−1 , . .

. , Vb 1 = k1 , Vb0 = 0) =bn = k, VP (Gn=b1 = k 1 , Vb0 = 0)bn−1 = kn−1 , . . . , VP (Ynin = (i, k) | V.bn−1 = kn−1 , . . . , Vbn = k | Vb0 = 0)P (V(2.7.23)b in , достаточно проверить, что числительЧтобы завершить индукцию для Gnbn−1 = kn−1 , . . . , Vb0 = 0)P (Ynin = (i, k) | V(2.7.24)не зависит от i = 0, . . . , kn−1 .Как мы заметили выше, значение k может равняться k n−1 + 1 илиkn−1 − 1. Представим выражение в правой части равенства (2.7.23) каксуммуkn−1Xj=0b out = j | Vb0 = 0).bn−1 = kn−1 , .

. . , VP (Yn = (i, k), Gn−1(2.7.25)b out равномерно.По предположению индукции условное распределение Gn−1Далее, заметим, что число ненулевых слагаемых в сумме (2.7.25) равно1 или 2, в зависимости от i. Тем не менее, коэффициенты могут бытьподобраны так, что сумма не будет зависеть от i. Точнее, рассуждая каки выше, получим, что сумма (2.7.25) равнаbn−1 = kn−1 , .

. . , Vb0 = 0) ×P (V11 2 × kn−1 + 1 ,1 11+,××44kn−1 + 1 1 11 +×,44kn−1 + 1если k = kn−1 + 1 и i = 0 или k,если k = kn−1 + 1 и i = 1, . . . , k − 1,если k = kn−1 − 1 и i = 0, . . . , k.Мы видим, что вероятность (2.7.23) действительно не зависит от i, чтодоказывает равенствоbn = k, Vb in = i | Vbn−1 = kn−1 , . . . , Vb 1 = k1 , Vb0 = k0) =P (Gn1,k+1i = 0, . .

. , k.b out . Но между моОстается проверить аналогичное равенство для GnVVментами времени Jn и Jn+1 случайное блуждание совершает только горизонтальные скачки, оставаясь на вертикальном уровне k n = k. Эти скачки§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность319имеют одинаковую интенсивность 1/6 и сохраняют равномерное распределение. (Горизонтальное случайное блуждание обратимо, и равномерноераспределение удовлетворяют уравнениям детального баланса с семейством постоянных интенсивностей.) Таким образом, условное распредеb out также равномерно.ление Gni+ )te− (+ )t +→Π=++ +→+++−++e− (+ )t+−e− (+ )t+e− (и переходная матрица имеет вид− +P(t) = +−случае генератор равен Q =В этом параграфе рассматриваются только неприводимые и невзрывные ц.м.н.в.

(Xt). Начнем с аналога теоремы 1.9.2.Теорема 2.8.1. Для положительно возвратной неприводимойц.м.н.в. (Xt) справедливо соотношениеpij (t) →b 2n+1 = P.bPВ. Вордсворт, (1770–1850), английский поэтb 2n = I,P321b n не сходятся при n → ∞. Тем не менее, в непрерывномОчевидно, степени PДействие мимолетно — шаг, дуновение,Движение мускула, выбор пути — ...Страдание постоянно, темно и мрачно,Оно подобно природе бесконечности. b= 0 1 ,P1 0Action is transitory, — a step, a blow,The motion of a muscle, this way or that — ...Suffering is permanent, obscure and dark,And shares the nature of infinity.пример§ 2.8.

Сходимость к инвариантному распределению.Обратимость§ 2.8. Сходимость к инвариантному распределению. ОбратимостьГлава 2. Цепи Маркова с непрерывным временем320+при t → ∞.(2.8.1)при t → ∞для любых состояний i, j. Иными словами, переходная матрица P(t)сходится при t → ∞ к матрице с постоянными элементами вдольстолбцов, строки которой совпадают с вектором :Рис.

2.58−− −− −−...P(t) →  .−− −− −−...Здесь = ( i) — (единственное) инвариантное распределение цепи.Доказательство опускается, т. к. оно напоминает доказательство теоремы 1.9.3.Замечание 2.8.2. Сравнивая с результатом для ц.м.д.в. (см. теорему1.9.1) заметим, что здесь не упомянуто условие апериодичности. Действительно, любая ц.м.н.в. (Xt) является апериодичной.

Более того, h-дискретизированная вложенная ц.м.д.в. (Zn), где Zn = Xnh , всегда апериодичнадля любого h > 0. Следовательно, если является инвариантным распределением для h-дискретизированной цепи (Zn), то будет инвариантнымраспределением для ц.м.н.в. (Xt), и при наличии сходимости P(nh) → Π приn → ∞ имеет место сходимость P(t) → Π при t → ∞.С другой стороны, цепь скачков (Yn) может быть периодической, на-Замечание 2.8.3. Заметим, что для неприводимой положительно возвратной ц.м.н.в. (Xt) предельная матрица Π = ( ij) существует и являетсястохастической (это следует из теоремы 2.8.1). Тогда строки матрицы Πдолжны задавать инвариантное распределение для ц.м.н.в.

(X t). Действительно,ΠP(t) = lim P(s)P(t) = lim P(s + t) = Π и ΠṖ(t) = ΠQP(t) = 0 ∀ t > 0.s→∞s→∞Для t = 0 получаем ΠQ = 0. Значит, каждая строка предельной матрицы Π является инвариантным распределением для Q. Для неприводимойположительно возвратной цепи существует единственное инвариантноераспределение , и поэтому все строки равны . Обратно, предположим, что для ц.м.н.в. (Xt) матрица перехода P(t) сходится при t → ∞к предельной стохастической матрице P(∞), строки которой совпадают состохастическим вектором .

Тогда является единственным стационарнымраспределением и ц.м.н.в. имеет единственный замкнутый сообщающийсякласс, значит, она положительно возвратна.322Глава 2. Цепи Маркова с непрерывным временемОпределение 2.8.4. Невзрывная ( , Q)-ц.м.н.в. (Xt) называется обратимой, если для всех T > 0, n = 1, 2, . . ., и моментов времени 0 = t 0 < t1 << . . . < tn = T совместное распределение X0 = Xt0 , Xt1 , . . ., Xtn = XT такоеже, как и распределение XT = XT −t0 , XT −t1 , . . ., XT −tn = X0 , т.

е. для любыхсостояний i0 , . . ., in выполняется равенствоP (X0 = i0 , Xt1 = i1 , . . . , XT = in) = P (X0 = in , . . . , XT −t1 = i1 , XT = i0). (2.8.2)Более кратко,(Xt , 0 6 t 6 T) ∼ (XT −t , 0 6 t 6 T).(2.8.3)Иными словами, на любом отрезке [0, T] процесс стохастически не меняется при изменении направления отсчета времени.§ 2.8. Сходимость к инвариантному распределению. Обратимость323Теорема 2.8.5. Невзрывная ( , Q)-ц.м.н.в.

(Xt) обратима тогдаи только тогда, когда справедливы следующие уравнения детального баланса:i qij= j qji для любых состояний i, j, i 6= j.(2.8.5)Д о к а з а т е л ь с т в о. 1. Необходимость: предположим, что выполнены уравнения детального баланса (очевидно, уравнение (2.8.5) выполненопри i = j). Тогда является инвариантным распределением: для любогосостояния j выполняется равенствоXX( Q) j =qji = 0 (сумма берется по строке i).(2.8.6)i qij = ji∈IiПо индукции уравнения детального баланса справедливы для всех степеней Q:X (k−1)XX (k−1)(k)(k−1)(k−1)qil qlj =qli l qlj=qjl qli j = j qji .i qij = ilРис. 2.59Уравнения (2.8.2) и (2.8.3) означают, что «зеркальное отображение»траектории имеет тот же вероятностный вес, что и начальная траекторияв «прямом времени».llСледовательно, уравнения детального баланса справедливы для матрицы переходных вероятностей P(t) = etQ :i pij (t)=j pji (t),для любых состояний i, j и t > 0.(2.8.7)Проверим условие (2.8.2): для всех 0 = t0 < t1 < .

. . < tn < tn+1 = T и состояний i0 , i1 , . . . , in+1 выполняется равенствоP (Xtk = ik , 0 6 k 6 n) = P (XT −tk = ik , 0 6 k 6 n).(2.8.8)С учетом соотношения (2.8.7) получаем, что левая часть (2.8.8) равнаi0 pi0 i1 (t1Рис. 2.60Правая часть соотношения (2.8.3) определяет распределение обращенного во времени (относительно точки T) процесса (Xtrev , 0 6 t 6 T):P (X0rev = i0 , Xtrev= i1 , . . . , XTrev = in) = P (X0 = in , . . . , XT −t1 = i1 , XT = i0),1(2.8.4)и обратимость означает, что (Xt , 0 6 t 6 T) ∼ (XT −t , 0 6 t 6 T) ∀ T > 0.Заметим, что из обратимости следует равенство Q = 0, т.

e. = , —инвариантное распределение ц.м.н.в. (как и для ц.м.д.в.). Но (вновь каки в случае дискретного времени) это означает, что имеет место болеесильное свойство, а именно, находится с Q в детальном балансе.− t0)pi1 i2 (t2 − t1) . . . pin−1 in (tn − tn−1) == pi1 i0 (t1 − t0) i1 pi1 i2 (t2 − t1) . . .

pin−1 in (tn − tn−1) == . . . = pi1 i0 (t1 − t0)pi2 i1 (t2 − t1) . . . pin in−1 (tn − tn−1)in .Переупорядочим правую часть:in pin in−1 (tn− tn−1) . . . pi1 i0 (t1 − t0) = P (XT −tk = ik ,0 6 k 6 n).2. Достаточность: предположим, что выполнено условие (2.8.2). Тогдадля n = 1 и i0 = i, j0 = j получаем соотношение (2.8.7):i pij (T)= j pji (T).Продифференцируем по T и положим T = 0; учитывая, что ṗij (0) = qij ,получаем соотношение (2.8.5).revP (Xtrev+s = j | Xt = i и Xtk = ik , 0 6 k 6 n) =rev= P (Xtrev+s = j | Xt = i) =P (XT −t−s = j)p (s) := previj (t, t + s).P (XT −t = i) ji(2.8.9)qjj+1 =j,qj+1j =Здесь pij (s) — переходные вероятности для изначальной ц.м.н.в. (X t).Интересно, что если цепь (Xt) находится в состоянии равновесия, тоP (XT −t−s = j) = j , P (XT −t = i) = i и previj (t, t + s) = j pji (s) / i теряет своюзависимость от t.

Это означает, что в таком случае (X trev) однороднаяц.м.н.в. с Prev (t) = ( j pji (t) / i) (заметим, что сумма по j равна 1). Очевидно,Qrev = ( j qji / i) (с суммой по j, равной 0). Однако для того чтобы гарантировать совпадение цепей (Xtrev) и (Xt), нужно более сильное свойстводетального баланса, которое приводит к равенствам Q rev = Q и Prev (t) == P(t) для любых t > 0.Пример 2.8.8. Если процесс рождения и гибели (ПРГ) положительновозвратен, то он обратим. Действительно, уравнения детального балансадля процесса рождения и гибели могут быть легко решены с помощьюрекурсии. В самом деле, для процесса рождения и гибели ( j , k) имеемj+1 ,j = 0, 1, . .

Характеристики

Список файлов лекций