Цепи Маркова (1121219), страница 47
Текст из файла (страница 47)
Такимобразом,P (JnY (2 ∗ 4) > x, XHnY (2∗4) = 2) == P (XHnY (2∗4) = 2) P (JnY (2 ∗ 4) > x | XHnY (2∗4) = 2) = P (XHnY (2∗4) = 2) ×× P (Xt не прыгает в интервале (HnY (2 ∗ 4), HnY (2 ∗ 4) + x) | XHnY (2∗4) = 2) == P (XHnY (2∗4) = 2)e−3x .Аналогичным образом,§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачковИз этих вычислений видно, что этот факт справедлив потому, что цепь (X t)имеет такую же интенсивность скачков из состояния 2 в состояние 1 и 3,как и из состояния 4 в те же состояния 1 и 3 (скачок из 4 в 2 игнорируетсяпри переходе от (Xt) к (Yt)).В отличие от этого (Zt) не является цепью Маркова, поскольку приведенное выше свойство не выполняется для состояния 1 и 4.
Действительно,зададим s, t > 0 и выпустим оба процесса (Zt) и (Xt) из состояния 2. ТогдаP (Zt+s = 3, Zs = 1 ∗ 4 | Z0 = 2)=P (Zs = 1 ∗ 4 | Z0 = 2)P (Xt+s = 3, Xs = 1 | X0 = 2) + P (Xt+s = 3, Xs = 4 | X0 = 2)==P (Xs = 1 | X0 = 2) + P (Xs = 4 | X0 = 2)P (Xs = 1 | X0 = 2) P (Xt = 3 | X0 = 1)P (Xs = 4 | X0 = 2) P (Xt = 3 | X0 = 4)=+=P (Xs = 1 | X0 = 2) + P (Xs = 4 | X0 = 2)P (Xs = 1 | X0 = 2) + P (Xs = 4 | X0 = 2)P (Xt = 3 | X0 = 1)P (Xt = 3 | X0 = 4)=+.1+q1 + q−1P (Zt+s = 3 | Zs = 1 ∗ 4, Z0 = 2) =Здесь q обозначает отношениеq=P (JnY (2 ∗ 4) > x, XHnY (2∗4) = 4) = P (XHnY (2∗4) = 4) ×× [P (Xt не прыгает в интервале (HnY (2 ∗ 4), HnY (2 ∗ 4) + x) | XHnY (2∗4) = 4) ++ P (Xt имеет единственный скачок 4 → 2 в интервале(HnY (2 ∗ 4), HnY (2 ∗ 4) + x) | XHnY (2∗4) = 4)] .Сумма в квадратных скобках равнаe−8x+Zx8e−8s 5 −3(x−s)8e=eгде+ 5e−3xZxeds = e−8x+e−3x(1 − e−5x) =e−3x> x) = e[P (XHnY (2∗4) = 2) + P (XHnY (2∗4) = 4)] = e−3x,поскольку сумма в квадратных скобках равна 1.
Это означает, что (Y t)является цепью Маркова с Q-матрицей вида!QY =P (Xs = 4 | X0 = 3)(esQ)= sQ 34 .P (Xs = 1 | X0 = 3)(e ) 31.Таким образом,−3xP (Zt+s = 3, Zs = 1 ∗ 4 | Z0 = 3)=P (Zs = 1 ∗ 4 | Z0 = 3)P (Xt = 3 | X0 = 1)P (Xt = 3 | X0 = 4)=+,1+r1 + r−1Но отношения q и r не равны тождественно:−5s0P (JnY (2 ∗ 4)P (Zt+s = 3 | Zs = 1 ∗ 4, Z0 = 3) =ds =−8xP (Xs = 4 | X0 = 2)(esQ)= sQ 24 .P (Xs = 1 | X0 = 2)(e ) 21Аналогично, выпуская процессы (Xt) и (Zt) из состояния 3, получаемr=0297−2 2 01 −3 20 2 −212 ∗ 4.3(esQ) 24(esQ)6≡ sQ 34 ,sQ(e ) 21(e ) 31т. е. условная вероятность P (Zt+s = 3 | Zs = 1 ∗ 4, Z0 = i) зависит от i иусловие Z0 = i не может быть отброшено.Проверим, что q 6≡ r, рассматривая случай малого s : s → 0+.
Полезновычислить матрицы6104−202 ,0 −5 −51 −10 66−5 13 −10Q =2 −10 82−22 −122 −28172 25 −49 50 −26 Q =−14 46 −364 32546350−538298Глава 2. Цепи Маркова с непрерывным временем(нам нужны только элементы Q21 , (Q2) 31 , (Q2) 24 и (Q3) 34). Отметим, что(esQ) ij =X skk>0k!(Qk) ij →ij ,s→0+.Более точно, элементы (esQ) 34 , (esQ) 31 , (esQ) 24 и (esQ) 21 допускают следующее разложениеs3 3s3(Q ) 34 + O(s4) = × 4 + O(s4),3!3!s2 2s2sQ3(e ) 31 = (Q ) 31 + O(s ) = × 2 + O(s3),2!2!s2 2s2sQ3(e ) 24 = (Q ) 24 + O(s ) = × 2 + O(s3),2!2!ss(esQ) 21 = (Q) 21 + O(s2) = × 1 + O(s2).1!1!(esQ) 34 =Из этих формул вытекает, чтоq ≈ s,23r ≈ s.б) Уравнения детального баланса для цепи (Yt) имеют вид:21=2∗4 ,2∗4=3.Единственное нормированное решение = (1/5, 2/5, 2/5) задает стационарное распределение для (Yt). Стационарное распределение для (Xt)удовлетворяет условиям: 1 = 1 , 3 = 3 и 2 + 4 = 2∗4 .
Легко видеть,что1 7 2 1 = , , ,.5 20 5 20Заметим, что P (Xt = 1 | X0 = 1) = P 1 (Yt = 1 | Y0 = 1), поскольку состояние 1в обоих цепях (Xt) и (Yt) совпадает. Собственные значения QY -матрицыдля цепи (Yt) находятся из уравнения!det−2 −102−3 −202−2 −=0и равны 0, −2 и −5. С помощью стандартной диагонализации находимэлемент pY11 (t) переходной матрицы PY (t) = exp(tQY ) в видеpY11 (t) = A + Be−2t + Ce−5t , t > 0.§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков299Константы A, B и C удовлетворяют соотношениям:A + B + C = pY11 (0) = 1,−2B − 5C =d Yp (0) = −2,dt 11т.
е. B = 2/3, C = 2/15. Окончательный ответ:P (Xt = 1 | X0 = 1) = P (Yt = 1 | Y0 = 1) =15A = pY11 (∞) = ,1 2 −2t2+ e + e−5t .5 315300Глава 2. Цепи Маркова с непрерывным временем§ 2.7. Времена и вероятности достижения. Возвратностьи невозвратность. Положительная и нулеваявозвратностьРабочим нечего терять [в этой революции], кроме своих цепей.K. Маркс (1818–1883), немецкий философМы начнем этот параграф со следующего определения.Определение 2.7.1. Пусть (Xt) — ( , Q)-ц.м.н.в.
(возможно, взрывная). Пусть A ⊂ I — это некоторое подмножество состояний. Момент(первого) достижения HA (для ц.м.н.в. (Xt)) определяют следующимобразом:(inf [t > 0 : Xt ∈ A] , если Xt ∈ A для некоторого t > 0,A(2.7.1)H =∞,если Xt ∈/ A ∀ t > 0.Для того чтобы подчеркнуть связь с (Xt) или (Yn), будем использоватьобозначения HXA и HYA .Повторим определение времен скачков.Определение 2.7.2. Времена последовательных скачков процесса (X t)определяются какJ0 = 0,J1 = inf [t > 0 : Xt 6= X0 ] ,J2 = inf [t > J1 : Xt 6= XJ1 +0 ] , . . . (2.7.2)Чтобы подчеркнуть, какой процесс их порождает, мы часто будем писатьJ1X , J2X , .
. .Если процесс (Xt) невзрывной, то, очевидно,HXA < ∞, если и только если HYA < ∞;Xдействительно, HXA = JHA . (2.7.3)YВероятности достижения определяются так же, как и в случаедискретного времени:hAi = P i (HXA < ∞) = P (HXA < ∞ | X0 = i) = P (HYA < ∞ | Y0 = i).(2.7.4)Как и в предыдущих параграфах, P i обозначает распределение вероятностей ц.м.н.в. с начальным распределением i , т. е. цепи, выходящей изсостояния i. Аналогично E i означает математическое ожидание относительно вероятностной меры P i .Рассмотрим вектор-столбец hA = (hAi), компоненты которого — это вероятности достижения при различных начальных состояниях.§ 2.7.
Времена и вероятности достижения. Возвратность и невозвратность301Теорема 2.7.3. Пусть (Xt) — это ( , Q)-ц.м.н.в. (возможно, взрывная). Предположим, что qi > 0 для любых состояний i. Вектор hAзадает минимальное неотрицательное решение следующей системыуравнений:hAi = 1,i ∈ A,P(2.7.5)AT Aqh=(Qh)=0,i∈/ A.ij jij∈IД о к а з а т е л ь с т в о. Случай i ∈ A очевиден: hAi = P i (попасть в A) =bскачков (Yn) условно, по= 1. Поэтому пусть i 6∈ A.
Тогда для ( i , P)-цепипервому скачку, можно записатьX qijXhAi =hAj , т. е. − qii hAi =qij hAj , или (QhA) i = 0.j : j6=iqij6=iТаким образом, h всегда является неотрицательным решением. Минимальность доказывается точно так же, как и в случае дискретного времени.Замечание 2.7.4. Заметим, что hi ≡ 1, т. е. вектор h = 1 всегда являетсянеотрицательным решением, посколькуXqij = 0 ∀ i,(Q1) i =Aj(сумма элементов i-й строки матрицы Q). Но это решение не всегда минимально.Определение 2.7.5. Далее определим средние времена достижения:kAi = E i HXA = E (HXA | X0 = i).(2.7.6)могут быть бесконечными.Заметим, чтоТеорема 2.7.6.
Пусть (Xt) — это ( , Q)-ц.м.н.в. (возможно, взрывная). Предположим, что qi > 0 для всех состояний i. Вектор-столбецkA представляет собой минимальное неотрицательное решение(возможно, с некоторыми бесконечными элементами kAi = +∞) системыi ∈ A,kAi = 0,1 P qij A1(2.7.7)AAbk = + (Pk ) i , i 6∈ A. ki = q +q jqkAiij6=iiiЕсли kAi < +∞ ∀ i, то kA = (kAi) является решением системыkAi = 0,i ∈ A,PAA qij kj = (Qk ) i = −1, i 6∈ A.j(2.7.8)302Глава 2.
Цепи Маркова с непрерывным временемД о к а з а т е л ь с т в о. Равенство kAi = 0 для i ∈ A тривиально. ЕслиX0 = i ∈/ A, то HXA > J1X , где J1X — время первого скачка цепи (Xt), и условно,по первому скачку, можно записатьkAi = E [E i (HXA | состояние цепи после момента J1X)] == E [E i (J1X + (HXA − J1X) | состояние цепи после момента J1X)] =1 X qij1 X qij A= +E j HXA = +kjqij6=iqiqij6=iqiв силу строго марковского свойства. Отсюда следует соотношение (2.7.7).Если известно, что все компоненты kAi конечны, то можно переноситьслагаемые из левой части в правую и наоборот.
Умножение на q i приводитк соотношению (2.7.8).Докажем минимальность. Пусть g = (gi) — произвольное решение. Тогда gi = kAi = 0 для i ∈ A. Если i ∈/ A, положим J0 = 0, и пусть J1 , J2 , . . . —это моменты последовательных скачков. (Индекс X, указывающий на связьс (Xt), будем опускать.) Разделив на qi , перегруппируем слагаемые и получим, путем итераций уравнения, что gi равноXX X−1−1bij gj = E i (J1 − J0) +bbppij qj +pjk gk =qi +j∈/Aj∈/A= E i [(J1 − J0)1(HYAk∈/A> 1)] + E i [(J2 − J1)1(HYA > 2)] +Xj,k∈/Abij pbjk gk =p= . .
. = E i [(J1 − J0)1(HYA > 1)] + E i [(J2 − J1)1(HYA > 2) +YXbij1b j l j l+ 1 g j n .pp+ . . . + E i [(Jn − Jn−1)1(HYA > n)] +j1 ,...,jn ∈/A16l<nЕсли g > 0, то последняя сумма неотрицательна для любого n. Тогда дляHYA ∧ n = min [n, HYA ] находимgi >nXk=1E i [(Jk − Jk−1)1(HYA > k)] = E i" HA ∧nYXk=1#(Jk − Jk−1 == E i JHA ∧n % E i JHA = E i HXA = kAi , при n → ∞.YYЗамечание 2.7.7. Существуют примеры, в которых средние времена(0,i ∈ A,A(2.7.9)ki =+∞, i ∈/ A;§ 2.7.
Времена и вероятности достижения. Возвратность и невозвратность303см. пример 1.3.5. Ясно, что kAi из уравнений (2.7.9) задают неотрицательноерешение уравнения (2.7.7). Обратно, если любое неотрицательное решение(2.7.7) имеет вид (2.7.9), то E i HXA ≡ +∞, i ∈/ A.Определение 2.7.8. Пусть (Xt) — ( , Q)-ц.м.н.в.