Цепи Маркова (1121219), страница 49
Текст из файла (страница 49)
Поэтому положим§ 2.7. Времена и вероятности достижения. Возвратность и невозвратностьГлава 2. Цепи Маркова с непрерывным временем308j< ∞. Таким образом, i положительно возвратно, откуда следует п. б).1(Yn = j) == E i (время, проведенное в j цепью (Yn) до возвращения в i) == E i (число посещений состояния j перед возвращением в i) (2.7.17)для j 6= i; ср.
с уравнением (1.7.2). Будем писать bi = (bij , j ∈ I), чтобыподчеркнуть зависимость вектора b от выбора i.Дадим краткое резюме свойств возвратности и невозвратности ц.м.н.в.I. Неприводимые ц.м.н.в. с более чем одним состоянием имеют интенсивности qi > 0 для всех состояний i (поглощение отсутствует).II.
Неприводимые невзрывные ц.м.н.в. могут быть невозвратными иливозвратными:310Глава 2. Цепи Маркова с непрерывным временема) в первом случае P i (время возвращения Ti < ∞) < 1, т. e.P i (Ti = ∞) > 0 для всех i, или, что эквивалентно, P i (i непосещается цепью (Xt) после некоторого конечного моментаR∞{ i}времени) = 1 и pii (t) dt < ∞ ∀ i, или, что эквивалентно, hj =0= P j (достичь i) < 1 для некоторых j и i;б) во втором случае P i (время возвращения Ti < ∞) = 1, т. e.P i (Ti = ∞) = 0, или, что эквивалентно, P i (существуют скольугодно большие моменты времени, в которые i посещаетсяR∞цепью (Xt)) = 1 и pii (t) dt = ∞ ∀ i, или, что эквивалентно,0{ i}hj311Тогда для любых состояний i1tZt1(Xs = i) ds =0п.
н.= доля времени, проведенного в i на отрезке (0, t) −−→=i=среднее время, проведенное в iсреднее время возвращения в i1=mi q i(2.7.19)при t → ∞. Справедливо также соотношение для среднего1EtZt11(Xs = i) ds =t0ZtP (Xs = i) ds →0i.(2.7.20)= P j (достичь i) = 1 ∀ j и i; в этом случае для любого iвектор i = ( ij) из соотношения (2.7.15) удовлетворяет условию0 < ij < ∞, что и задает инвариантную меру для ц.м.н.в. (X t);i; в частности,все такие инвариантные меры имеют видki−1i= (bk) ×∀ i, k.§ 2.7. Времена и вероятности достижения. Возвратность и невозвратностьIII. Далее, неприводимая возвратная ц.м.н.в. может иметьа) нулевую возвратность: mi = E i (время возвращения Ti) = ∞ ∀ i;в этомP случае не существует такой инвариантной меры = ( i),чтоj < ∞; следовательно, в этом случае не существует стаjционарного распределения;б) положительную возвратность:mi < ∞ ∀ i; в этом случае дляPвсех инвариантных мерj < ∞ и существует единственноеi= Pi > 01и E i (время в j до момента Ti) =i qijjki qiдля1Et iZtнеприводимой11(Xs = i) ds =t0∀ i, k.Конечные неприводимые ц.м.н.в.
всегда положительно возвратны.IV. Неприводимые взрывные ц.м.н.в. всегда невозвратны.Сформулируем без доказательства полезный результат о асимптотических пропорциях для ц.м.н.в.Теорема 2.7.19. Пусть (Xt) — неприводимая положительно возвратная ( , Q)-ц.м.н.в. со стационарным распределением = ( i).положительноZt0откуда видно, что интегралRt0pii (s) ds →i,возвратной(2.7.21)pii (s) ds линейно растет при t → ∞.Замечание 2.7.20.
Уравнение (2.7.20) можно вывести из утверждениятеоремы 2.8.1 ниже; см. уравнение (2.8.1).∀ i;E i Ti == ( i), гдеjстационарное распределениев этом случае k = mk ,В частности,( i , Q)-ц.м.н.в.Remember this: if something possesses a frequency,then it will eventually occur with that frequency.(Из серии «Так говорил суперлектор».)Пример 2.7.21.
а) Рассмотрим ц.м.н.в.: (Xt) t>0 с состояниями{1, 2, 3, 4, 5, 6, 7} и генераторомQ=−6 2 02 −3 00 1 −50 0 00 2 21 2 00 0 10 0 4 00 0 1 0 1 2 0 1 0 0 0 0 .0 −6 0 2 0 0 −3 00 1 0 −2Вычислите вероятность того, что процесс, выходя из состояния 3, когданибудь попадет в состояние 2.312Глава 2.
Цепи Маркова с непрерывным временемПолучите, что§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность313Благодаря симметрии цепь скачков на {1, 2, 6} имеет инвариантную меру(1, 1, 1), и, рассуждая стандартным образом, мы получаем, что ц.м.н.в.4lim P (Xt = 2 | X0 = 3) = .15t→∞б) Группа клеток состоит из молодых и взрослых клеток. Спустя некоторое время (экспоненциально распределенное с параметром 2) каждаямолодая клетка становится взрослой. Спустя некоторое время (распределенное по Exp(3)) взрослая клетка делится на 2 молодые. Предположим,что вначале имеется одна молодая клетка, и пусть n(t) — среднее числомолодых клеток в момент t. Покажите, чтоn(t) = (4et + 3e−6t) /7.Решение.
а) Состояния 1, 2, 6 образуют замкнутый сообщающийсякласс; если ц.м.н.в. (Xt) туда попадает, то остается там навсегда. Другойзамкнутый сообщающийся класс состоит из состояния 4; состояния 3, 5, 7образуют открытый сообщающийся класс. Из состояния 3 можно попастьв {1, 2, 6} только через состояние 2; см. рис. 2.54.1 2 25 5 5(Xt) t>0 имеет стационарное распределение ( , , ). Таким образом,lim P (Xt = 2 | X0 = 3) = h3t→∞2=4.15б) Обозначим через m(t) среднее число взрослых клеток в моментt при условии, что изначально в момент 0 была одна молодая клетка.Рассматривая условные вероятности по первому событию, мы получим,что среднее число n(t) молодых клеток в момент t равноn(t) = e−2t+Zt2e−2s m(t − s) ds0иm(t) =Zt03e−3s 2n(t − s) ds.Значит,2te n(t) = 1 +Zt2e2u m(u)du,0e3t m(t) =Рис.
2.54и5h3 = 1 + 2h5 + h7 ,2h7 = h3 + h5 ,6h5 = 2 + 2h3 + 2h7 ,Таким образом,поэтомуЗначит,и9h3 = 4 + 3h3 ,ṅ + 2n = 2m, ṁ + 3m = 6n,n̈ + 2ṅ = 2ṁ = 12n − 6m = 12n − 3ṅ − 6n.n̈ + 5ṅ − 6n = 0,10h3 = 2 + 4h5 + h3 + h5 ,6h5 = 2 + 2h3 + h3 + h5или6e3u n(u)du0Положим hi = P i (попасть в 2). Тогда9h3 = 2 + 5h5 ,Zt5h5 = 2 + 3h3 ,236h3 = 4 и h3 = .Тогдаn(0) = 1,ṅ(0) = −2.n(t) = Aet + Be−6t , где 1 = A + B, −2 = A − 6B.4737−2 = A − 6 + 6A, 7A = 4, откуда следует, что A = , B = .314Глава 2. Цепи Маркова с непрерывным временемПример 2.7.22. Частица совершает непрерывное во времени блуждание по ближайшим точкам на правильной треугольной решетке внутри углавеличиной /3, причем выходит из вершины угла.
Интенсивности скачковиз этого угла решетки равны 1/3. В дальнейшем, если частица находитсявнутри угла, то интенсивности равны 1/6 в любом из 6 направлений. Однако если частица попадает на сторону угла, то она двигается по этой сторонеугла в направлении от вершины с интенсивностью 1 /3 и с интенсивностью1/6 в любую из трех оставшихся вершин внутри угла; см. рис. 2.55.§ 2.7. Времена и вероятности достижения.
Возвратность и невозвратностьа (Vt) — ц.м.н.в. с интенсивностямиqkk−1 =k,3(k + 1)23qkk = − , qkk+1 =k+2.3(k + 1)bn) и ц.м.н.в. (Vt) невозвратными, поОпределите, являются ли ц.м.д.в. (Vложительно возвратными или они имеют нулевую возвратность.bn = k и послев) Предположим, что при условии, что фиксированы Vдовательность пройденных ранее вертикальных уровней, горизонтальныеb in и Gb out равномерно распределены на {0, .
. . , k}, т. e. для всехпозиции Gnnдостижимых значений k, kn−1 , . . . , k1 и всех i = 0, . . . , k выполняется равенствоb in = i | Vbn−1 = kn−1 , . . . , Vb 1 = k1 , Vb0 = k0) =bn = k, VP (Gnb out = i | Vbn−1 = kn−1 , . . . , Vb 1 = k1 , Vb0 = k0) =bn = k, V= P (GnРис. 2.55В момент времени t > 0 положение частицы определяется ее вертикальным уровнем Vt и ее горизонтальной позицией Gt ; если Vt = k, тоGt = 0, . .
. , k. Здесь 1, . . . , k − 1 — позиции внутри угла, а 0 и k — позициина стороне угла на вертикальном уровне k.Пусть J1V , J2V , . . . — моменты последовательных скачков процесса (V t).Рассмотрим вложенный процесс с дискретным временемb in , Vbn) и Y out = (Gb out , Vbn),Ynin = (Gnnnbn — вертикальный уровень сразу же после момента J V , 2) Gb in —где 1) Vnnb out — горизонгоризонтальный уровень сразу же после момента J nV , 3) Gnтальный уровень непосредственно перед моментом J nV+1 .а) Поясните, почему (Ynin) и (Ynout) являются цепями Маркова.bn) — ц.м.д.в. с переходными вероятностямиб) Докажите, что (Vbn = k + 1 | Vbn = k − 1 | Vbn−1 = k) = k + 2 , P (Vbn−1 = k) =P (V2(k + 1)k,2(k + 1)3151.k+1(2.7.22)bn) и ц.м.н.в.
(Vt) имеют переходные вероятВыведите, что тогда ц.м.д.в. (Vности, указанными в п. б).Наконец, докажите свойство (2.7.22) для ц.м.д.в. (Y nin) и ц.м.н.в. (Ynout).Решение. а) С.в. (Ynin) образуют ц.м.д.в., поскольку вероятность перехода из состояния Ynin−1 = (in−1 , kn−1) в состояние Ynin = (in , kn) полностьюопределяется парой (in−1 , kn−1) и не зависит от предыдущих значений Ynin−1 ,bn = Vbn−1 ± 1,Ynin−2 , . .
. То же справедливо и для с.в. (Ynout). Заметим, что Vт. e. скачок всегда происходит на ближайший соседний вертикальный уровень.б) Выведем формулу для вероятностей достиженияbn попадет в 0 | Vb0 = i),hi = P (Vi = 0, 1, . . . , h0 = 1.Если мы покажем, что h1 < 1, то автоматически получим, чтоb0 = 0) < 1,bn возвратится в 0 | VP (Vbn) непривот. e. 0 является невозвратным состоянием. Так как ц.м.д.в. (Vдима, она невозвратна.Рассмотрим уравнения для вероятностей достижения:hk =1k1 k+2×h+ ×h ,2 k + 1 k−1 2 k + 1 k+1и перепишем их в терминах разностейuk = hk−1 − hk .k > 1,316Глава 2.
Цепи Маркова с непрерывным временемПолучим uk+1 =§ 2.7. Времена и вероятности достижения. Возвратность и невозвратность317ku , т. e.k+2 kuk =(k − 1) . . . 12u =u .(k + 1)k . . . 3 1 k(k + 1) 1Тогда, как обычно,hk = −uk − ... − u1 + 1 = 1 − (1 − h1) [1 + 2и минимальное решение равноhk = 1 −kXl=11l(l + 1)Поэтомуh1 = 1 −l=2X∞m=1 X∞12kXm=1l=11,m(m + 1)1m(m + 1)и< 1.kn−1j=0=Далее,bn = k, Gb out = j | Vb0 = 0) =bn−1 = kn−1 , . . .
, VP (Vn−11kn−1 + 1kn−1×Xj=0bn = k + 1 | Vb0 = 0) = 1 × k + 2 ,bn−1 = k, . . . , VP (V2bn = i | Vb0 = 0) =bn−1 = kn−1 , . . . , VP (VX1/6, 1/6} после отбрасывания интенсивностей в горизонтальных направлениях, см. рис. 2.56.Теперьk > 1.bn) невозвратна. Так как эта цепь являетсяТаким образом, ц.м.д.в. (Vцепью скачков для (Vt), получаем, что ц.м.н.в. (Vt) также невозвратна.в) Ввиду соотношения (2.7.22) запишем=Рис.
2.56kX 11] = 1 + 2(1 − h1),(l + 1)ll(l + 1)b out = j, Vbn = k | Gbn−1 = kn−1 , . . . , Vb0 = 0).P (Vn−1bn = k | Gbn−1 = kn−1 , . . . , Vb0 = 0) =b out = j, VP (Vn−13/4, если j = 0 или kn−1 и k = kn−1 + 1,= 1/4, если j = 0 или kn−1 и k = kn−1 − 1,1/2, если j = 1, . . ., kn−1 − 1.Мы использовали вероятности скачков {1/4, 1/4, 1/4, 1/4} и {1/2, 1/4, 1/4},полученных из интенсивностей {1/6, 1/6, 1/6, 1/6, 1/6, 1/6} и {1/3, 1/6,bn = k − 1 | Vb0 = 0) =bn−1 = k, . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
