Цепи Маркова (1121219), страница 48
Текст из файла (страница 48)
(возможно, взрывная). Состояние i ∈ I называют возвратным (соответственно невозвратным) для ц.м.н.в. (Xt), еслиP i (sup [t > 0 : Xt = i] = ∞) == P i (цепь (Xt) попадает в состояние i в сколь угоднобольшие моменты времени) = 1 (соответственно 0).(2.7.10)Замечание 2.7.9. Если цепь (Xt) взрывается, выходя из состояния i,то состояние i является невозвратным.Теорема 2.7.10. Пусть (Xt) — ( , Q)-ц.м.н.в.
(возможно, взрывная).Предположим, что qi > 0 для любых состояний i. Тогдаа) любое состояние i ∈ I либо является возвратным, либо является невозвратным для обеих цепей (Xt) и (Yn) одновременно;б) каждое состояние ц.м.н.в. (Xt) является либо возвратным, либоневозвратным;в) возвратность и невозвратность являются свойствами классадля ц.м.н.в. (Xt)Д о к а з а т е л ь с т в о.
а) Пусть состояние i является возвратным для(Yn), т. е. выходя из i, цепь Yn = XJn +0 попадает в состояние i бесконечночасто. Тогда (Xt) не взрывается, выходя из i (время взрыва содержитбесконечно много времен пребывания в i):!∞X(i)Sk < ∞ = 0,P i (Tвзр < ∞) 6 P ik=1поскольку(i)(i)(i)(i)S1 , S2 , · · · ∼ Exp(qi) и с.в. S1 , S2 , . . . независимы.Заключаем, что P i (Jn % ∞) = 1, а также Yn = XJn = i бесконечно часто.Отсюда следует, что существуют неограниченно большие t, для которыхXt = i. Следовательно, i является возвратным для (X t).Предположим теперь, что состояние i является невозвратным для (Y n).Тогда при том условии, что X0 = Y0 = i, имеемP i (n̄ = sup [n : Yn = i] < ∞) = 1.Но эту вероятность можно записать в видеP i (t¯ = sup [t : Xt = i] = Jn̄+1 < ∞).304Глава 2.
Цепи Маркова с непрерывным временемСледовательно, состояние i является невозвратным для (X t), и утверждение а) доказано.Утверждение б) следует из утверждения а) для ц.м.н.в. (X t), посколькуоно выполняется для ц.м.д.в. (Yn). Для доказательства п. в) используютсяте же рассуждения.Теорема 2.7.11. Пусть (Xt) — ( , Q)-ц.м.н.в. (возможно, взрывная).Для заданного состояния i имеет место следующая дихотомия.Либо а) qi = 0 (поглощение), или P i (TiX < ∞) = 1; тогда состояниеR∞i является возвратным и pii (t) dt = ∞. Здесь и ниже0TiX= inf [t > J1 : Xt = i] — время возвращения в i для цепи (Xt); (2.7.11)либо б) qi > 0 и P i (TiX < ∞) < 1; тогда состояние i является невозR∞вратным и pii (t) dt < ∞.§ 2.7.
Времена и вероятности достижения. Возвратность и невозвратностьРис. 2.52В противном случае состояние i может быть либо возвратным, либо(i)невозвратным (оно невозвратно, если hj < 1 для некоторого j 6= i и цепьнеприводима). Точнее,P i (время возвращения Ti < ∞) =0Д о к а з а т е л ь с т в о. Случай qi = 0 тривиален, предположим поэтому,что qi > 0.
Если TiY — это время возвращения в i для цепи (Yn), то событиясовпадают, {TiX < ∞} = {TiY < ∞}, иP i (TiX < ∞) = P i (TiY < ∞).В силу теоремы 2.7.10 а состояние i является возвратным (соответственноневозвратным) тогда и только тогда, когда P (TiX < ∞) = 1 (соответственноP (TiX < ∞) < 1). Наконец,Z∞pii (t) dt =0Z∞0= EiE i [1(Xt = i)] dt = E iXn"Z∞#01X1 X (n)bii .P (Yn = i) =p=qiqinj : j6=i(i)(i)bpij hj = 1, если hj ≡ 1, j 6= i,{ i}j 6= i.
Действительно, если цепь неприводима и h j6= i, то можно выбрать такое n, чтоbij(n)p< 1 для некоторого j 6=> 0. ЗаписавP i (существуют неограниченно большие моменты времени,когда цепь попадает в состояние i) 6X (n) {i} X (n){ i}bil hl <b6ppil = 1 (так как hj < 1),lвидим, что состояние i является невозвратным.Возвратность и невозвратность можно установить, рассмотрев дискретизацию цепи (Xt) с «шагом» h: X(Jn+1 − Jn)1(Yn = i) =E (Sn(i) | Yn = i) P i (Yn = i) =nXbij для некоторогоbij h{j i} < pно эта вероятность может быть меньше 1, если pl1(Xt = i) dt =305nR∞Приходим к заключению, что pii (t) dt = ∞ тогда и только тогда, когда0P (n)bii = ∞.
Теорема доказана.pсуммаn{ i}Замечание 2.7.12. Как и в случае дискретного времени, если h j == P j (цепь попадает в i) = 1 ∀ j 6= i, то состояние i является возвратным.Zn = Xnh , n = 0, 1, . . . ;(Zn) является ( , P(h)) − ц.м.д.в.(2.7.12)Назовем (Zn) вложенной ц.м.д.в.
с шагом h для цепи (Xt).Теорема 2.7.13. Для любого h > 0 введем ц.м.д.в. Zn = Xnh , тогдадля любого состояния i имеет место следующее утверждение:i является возвратным (соответственно невозвратным)для ц.м.н.в. (Xt) тогда и только тогда, когда i являетсявозвратным (соответственно невозвратным) для ц.м.д.в. (Zn).Глава 2. Цепи Маркова с непрерывным временемД о к а з а т е л ь с т в о. Если i является невозвратным для ц.м.н.в. (X t),то это состояние является невозвратным для ц.м.д.в. (Z n), что очевидно.Наоборот, если i является возвратным для ц.м.н.в. (X t), то для nh < t << (n + 1)h можно записатьpii ((n + 1)h) > pii (t)e−qi h = P i (Xt = i и нет скачков на (t, t + h)).Рис. 2.53§ 2.7.
Времена и вероятности достижения. Возвратность и невозвратностьlim Jn > lim (S1(i) + . . . + Sn(i) ) = ∞ п. н.,(Sk(i) )n→∞pii (t) dt 6 heqi h∞Xpii (nh),(2.7.13)P (Ti < ∞) = 1, но mi = ∞.(2.7.14)Здесь и далее E i обозначает математическое ожидание по вероятностноймере P i ц.м.н.в., выходящей из i. Как мы увидим в теореме 2.7.18, еслицепь является неприводимой и возвратной, то имеет место дихотомия: либовсе состояния являются положительно возвратными, либо имеют нулевуювозвратность. В первом случае мы говорим, что цепь (или ее Q-матрица)является положительно возвратной, во втором случае она имеет нулевуювозвратность.Теорема 2.7.18. Пусть ( , Q)-ц.м.н.в. (Xt) неприводима и возвратна.
Тогдаа) или каждое состояние i положительно возвратно, или каждоесостояние i имеет нулевую возвратность.б) Q-матрица является положительно возвратной тогдаи только тогда, когда она имеет (единственное) стационарноераспределение = ( i), иiт. е. состояние i является возвратным и для ц.м.д.в. (Z n).Определение 2.7.14. Предположим, что ( , Q)-ц.м.н.в.
(Xt) неприводима. Назовем цепь (Xt) (или ее Q-матрицу) возвратной, если каждоесостояние i возвратно.Теорема 2.7.15. Пусть матрица Q неприводима и возвратна. Тогда инвариантная мера i , удовлетворяющая условию Q = 0, единственна с точностью то множителя.Д о к а з а т е л ь с т в о. Случай, когда ц.м.н.в. имеет единственное поглощающее состояние, тривиален, поэтому предположим, что q i > 0 дляb = (qij /qi , i 6= j) возвсех i. Тогда матрица переходов для цепи скачков Pвратна.Ввиду теоремы 1.7.5 все инвариантные меры = ( i) для ц.м.д.в. (Yn)пропорциональны.
Таким образом, для ц.м.н.в. (X t) все инвариантные меры= ( i), i = i /qi , также пропорциональны.Теорема 2.7.16. Пусть ц.м.н.в. (Xt) неприводима. Тогда если (Xt)возвратна, то она невзрывная, т. е. если J1 < J2 < . . . — моментыскачков, то для всех состояний i выполняется равенствоP i ( lim Jn = ∞) = 1.n→∞mi = E i (Ti) < ∞,и нулевое возвратное, еслиn=10n→∞так как— н.о.р.с.в. с распределением Exp (qi).Далее, будем предполагать, что ц.м.н.в. (Xt) неприводима и все qi > 0.Таким образом, если ц.м.н.в. (Xt) возвратна, то она невзрывная.Напомним, что состояние i возвратно, если и только если P i (Ti < ∞) == 1.Определение 2.7.17.
Будем говорить, что состояние i положительновозвратно для ц.м.н.в. (Xt), еслиСледовательно,Z∞307Д о к а з а т е л ь с т в о. Для возвратной ц.м.н.в. (X t) любое состояние i(i)(i)возвратно и для цепи скачков (Yn). Пусть S0 , S1 , . . . — последовательныевремена пребывания в состоянии i. Тогда> 0 и mi =3061∀ i.i qi(2.7.15)Д о к а з а т е л ь с т в о. Для заданного i запишем mi в видеmi = среднее время возвращений в i = среднее время пребываний в i +X(среднее время, проведенное в j до возвращения в i).+j : j6=i=1, и пустьqiЕсли ц.м.н.в. (Xt) возвратна, то ц.м.д.в. (Yn) также возвратна.
Тогда потеореме 1.7.1 для всех состояний i вектор bi = (bij) задает инвариантнуюмеру для ц.м.д.в. (Yn) и 0 < ij < ∞ ∀ j. Далее, все инвариантные мерыдля (Yn) пропорциональны bi . Поэтому вектор i = ( ij), ij = bij /qj , задаетинвариантную меру для ц.м.н.в. (Xt); все такие инвариантные меры вновьпропорциональны i . (В частности, i = bik × k , для любых состояний i, k.)Далее, если состояние i положительно возвратно, тоXimi =j < ∞.i309j : j6=i< ∞,= ∞,(Jn+1 − Jn)1(Yn = j,=∞Xn=0=iij),1Eqj iX∞1(Yn = j, 1 6 n < TiY ) =1Eqj i" T Y −1iX#1(Yn = j) :=n=1bj.qjn=1j1задает (единственное) стационарное распределение .q i mii> 0 для любого состояния i. Более того,= mk , т. е.k#jk qk;(2.7.18)ср. с уравнением (1.7.10)., то дляОбратно, если ц.м.н.в. (Xt) имеет инвариантное распределениеPвсех инвариантных мер = ( i) справедливо неравенствоj < ∞, т. e.jP iдля всех состояний i вектор i = ( ij) удовлетворяет условию mi =j<bj = E i= Pi =E k (время, проведенное в j до возвращения в k) =Здесь полагаем b j = 1 и" T Y −1iX< ∞ ∀ k,т.
e. все состояния являются положительно возвратными. Аналогично еслиi имеет нулевую возвратность, то таковы все состояния k. Мы получили,что положительная возвратность и нулевая возвратность являются свойствами класса, т. е. установили утверждение а).Если матрица Q положительно возвратна, тоОчевидно,E i 1(Yn =j,16n<TiY )n=1kjjE i [(Jn+1 − Jn) |Yn = j] P i (Yn = j, 1 6 n < TiY ) =|{z}|{z}1q−jj6=ki=Xn=0n < TiY )= EiX∞mk =если состояние i положительно возвратно,если состояние i имеет нулевую возвратность.Таким образом определяем вектор = ( j) (или=(поскольку онзависит от выбора i).Далее, если TiY — время возвращения в состояние i для цепи скачков (Yn), тоjНо тогдаj(+Xjj6=i1+qi=jXmi =Тогда(2.7.16)0J1= E i (время, проведенное в j до возвращения в i) =" ZTi# Z∞= Ei1(Xt = j) dt = E i 1(Xt = j, J1 < t < Ti) dt, j 6= i.j1Первое слагаемое равно q−i .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
