Цепи Маркова (1121219), страница 8
Текст из файла (страница 8)
е. величинами X 0 , . . . , XT −1 ,а событие B определяется состояниями цепи после момента T, т. е. величинами XT +1 , . . . , XT +n при некотором n. Мы хотим проверить, что длялюбых n > 1 и i ∈ I выполнены следующие условия:а) P (A∩B | T < ∞, XT = i) = P (A | T < ∞, XT = i) P (B | T < ∞, XT = i)и б) условная вероятность P (B | T < ∞, XT = i) вычисляется так, как дляслучая ( i , P)-цепи Маркова:Xpij1 .
. . pjn−1 jn .P (B | T < ∞, XT = i) =(j1 ,...jn) ∈BКак и при доказательстве марковского свойства, предположим вначале,что A имеет вид {X0 = i0 , . . . , XT −1 = iT −1 }, а B имеет вид {XT +1 == j1 , . . . , XT +n = jn } для некоторых i0 , . . .
, im−1 , j1 , . . . , jn ∈ I. Призаданном m событиеA ∩ {T = m} ∩ {XT = i} = A ∩ {T = m, Xm = i}совпадает с событием{X0 = i0 , . . . , Xm−1 = im−1 , Xm = i},если T (i0 , . . . , im−1 , i) = m, а если T (i0 , . . . , im−1 , i) 6= m, то это пересечение пусто. Тогда вероятность события A ∩ B ∩ {T = m, X T = i} = A ∩∩ {T = m, Xm = i} ∩ B равнаi 0 pi 0 i 14 Ср.. . . pim−1 i pij1 . . .
pjn−1 jn 1(T (i0 , . . . , im−1 , i) = m).с названием фильма «Eat Drink Man Woman».§ 1.4. Строго марковское свойство49В случае общего события B мы должны просуммировать по всем(j1 , . . . , jn) ∈ B:Xpij1 . . . pjn−1 jn .i0 pi0 i1 . . . pim−1 i 1(T (i0 , . . . , im−1 , i) = m)СуммаP(j1 ,...,jn) ∈Bне зависит от m; она равна условной вероятности(j1 ,...,jn) ∈BP (B | T < ∞, XT = i) и вычисляется, как для ( i , P)-ц.м.д.в.В случае события A общего вида мы суммируем(i0 , . . .
, im−1) ∈ A:повсемP (A ∩ B ∩ {T = m, XT = i}) =X=i0 pi0 i1 . . . pim−1 i 1(T (i0 , . . . , im−1 , i) = m) P (B | T < ∞, XT = i) =(i0 ,...,im−1) ∈A= P (A ∩ {T = m, XT = i}) P (B | T < ∞, XT = i).Суммируя затем по m, получаемP (A ∩ B ∩{T < ∞, XT = i}) = P (A ∩{T < ∞, XT = i}) P (B | T < ∞, XT = i).Наконец, разделив на P (T < ∞, XT = i), находим, что условная вероятность P (A ∩ B | T < ∞, XT = i) равнаP (A ∩ {T < ∞, XT = i})P (B | T < ∞, XT = i) =P (T < ∞, XT = i)= P (A | T < ∞, XT = i) P (B | T < ∞, XT = i),что и требовалось показать.Условную вероятность P (A ∩{T = m, XT = i}∩ B | Xm = i) при условии,что Xm = i, мы находим после деления на P (Xm = i) = ( Pm) i : этоотношение определяется значениями X0 , .
. . , Xm и условной вероятностьюP ((A ∩ {T = m}) ∩ {XT +1 = j1 , . . . , XT +n = jn } | Xm = i) == P ((A ∩ {T = m}) ∩ {Xm+1 = j1 , . . . , Xm+n = jn } | Xm = i).В силу марковского свойства имеет место разложениеP ((A ∩ {T = m}) ∩ {Xm+1 = j1 , . . . , Xm+n = jn } | Xm = i) == P (A ∩ {T = m} | Xm = i) P (Xm+1 = j1 , . . . , Xm+n = jn | Xm = i) == P (A ∩ {T = m} | Xm = i)pij1 . . .
pjn−1 jn .50Глава 1. Цепи Маркова с дискретным временемСледовательно, безусловная вероятностьP ((A ∩ {T = m}) ∩ {Xm+1 = j1 , . . . , Xm+n = jn } ∩ {Xm = i}) == P ((A ∩ {T = m, Xm = i}) ∩ {Xm+1 = j1 , . . . , Xm+n = jn })равнаP (A ∩ {T = m} | Xm = i) P (Xm = i)pij1 . . . pjn−1 jn == P A ∩ {T = m, Xm = i})pij1 .
. . pjn−1 jn .Суммируя по m, находимP ((A ∩ {T < ∞, XT = i} ∩ {XT +1 = j1 , . . . , XT +n = jn }) == P (A ∩ {T < ∞, XT = i})pij1 . . . pjn−1 jnи, разделив на P (T < ∞, XT = i), получаемP (A ∩ {XT +1 = j1 , . . . , XT +n = jn } | T < ∞, XT = i) == P A | {T < ∞, XT = i})pij1 . .
. pjn−1 jn .Теперь для события B общего вида, определяемого значениями X T +1 , . . .. . ., XT +n , мы суммируем по всем (j1 , . . . , jn) ∈ B.Пример 1.4.3. Для однородного процесса рождения и гибели (см.пример 1.3.5) найдите распределение момента достижения H (0) == inf{n > 0 : Xn = 0} (момента исчезновения).
Другими словами, чемуравны вероятности P i (H (0) = k) при заданных i и k? Эти вероятности могутбыть найдены путем вычисления вероятностной производящей функцииP n(0)ϕi (s) = E i (sH ) =s P i (H (0) = n). В силу строго марковскогосвойства§ 1.4. Строго марковское свойство51Пример 1.4.4. Важным приложением строго марковского свойстваявляется случай, когда цепь наблюдают только в определенные моментывремени, например, в моменты, когда она меняет свои состояния (т. е. когдаXn+1 6= Xn), или когда она попадает в подмножество J ⊂ I (т. е. X n ∈ J).Новая цепь формально описывается введением моментов наблюдений T 0 ,T1 , . .
. , т. е. моментовT0 = inf{n > 0 : Xn 6= Xn−1 } или T0 = inf{n > 0 : Xn ∈ J}иTm+1 = inf{n > Tm : Xn 6= Xn−1 } или Tm+1 = inf{n > Tm : Xn ∈ J}.Тогда цепь (Yn , n > 0) определяется равенством Ym = XTm .В обоих случаях каждый момент Tm является моментом остановки.В предположении, что Tm < ∞ для всех m, строго марковское свойствобудет гарантировать, что (Yn) действительно является ц.м.д.в. Переходныевероятности pYij для новой цепи вычисляются довольно легко: в первоймодели( pij, i 6= jY, i, j ∈ I,(1.4.1)pij = 1 − pii0,i = j,а во второйpYij = pij +∞XXk=1 j1 ,...,jk ∈I\Jpij1 .
. . pjk j при i, j ∈ J.(1.4.2)Здесь P = (pij)-переходная матрица исходной цепи (Xn).06n<∞ϕi (s) = (ϕ (s)) i , i > 1,где ϕ (s) = ϕ1 (s). Достаточно рассмотреть случай i = 1. Тогда, при условии,что X0 = 1, функция ϕ (s) является корнем квадратного уравненияpsϕ2 − ϕ + qs = 0и равнаϕ (s) =12ps1−q1 − 4pqs2 , 0 < s < 1.Рис. 1.14Первая модель, в которой Yn+1 =6 Yn , называется цепью скачков дляисходной ц.м.д.в.
(Xn); эта модель играет важную роль в анализе цепей52Глава 1. Цепи Маркова с дискретным временемМаркова с непрерывным временем, см. гл. 2. Вторая модель, у которой Yn ∈ J, называется частично наблюдаемой цепью. Для частичнонаблюдаемой цепи Маркова переходные вероятности p ij можно записатьв терминах матричных блоков P JJ , PJI\J , PI\JJ и PI\JI\J , выделенных из P:pYij = (PJ) ij + [PJI\J (II\J − PI\JI\J) −1 PI\JJ ] ij ,i, j ∈ J.(1.4.3)§ 1.5.
Возвратность и невозвратность: определения и основные фактыТеорема 1.5.2. Состояние i является возвратным, если fi = 1,и невозвратным, если fi < 1. Следовательно, каждое состояние либовозвратно, либо невозвратно.Д о к а з а т е л ь с т в о. Воспользуемся моментом первого достижениясостояния i (в зависимости от контекста мы будем называть его моментомпервого входа, или моментом возвращения в состояние i):Здесь II\J обозначает единичную матрицу на I\J. См.
рис. 1.14.§ 1.5. Возвратность и невозвратность: определенияи основные фактыВечное безмолвие этих бесконечных пространств наводит на меня ужас.Б. Паскаль (1623–1662), французский математик и философВозвратность и невозвратность являются важными свойствами ц.м.д.в.со счетными пространствами состояний. В нашей книге мы перейдем отконечного случая к счетному, просто расширив основные определения наслучай счетного пространства состояний I. Конечно, это предполагает,что задана бесконечная переходная матрица P = (p ij , i, j ∈ I); мы ужевстречались с такими матрицами в примере 1.2.7.
Теория бесконечныхматриц более тонка, чем теория конечных матриц; некоторые ее аспектыпредполагают умение работать с бесконечномерными пространствами. Мыне будем слишком углубляться в эту теорию, остановимся лишь на свойствах, которые являются прямым обобщением конечномерных случаев илиимеют четкий вероятностный смысл.Определение 1.5.1. Состояние i ∈ I называют возвратным, еслиP i (Xn = i для бесконечно многих n) = 1,(1.5.1)и невозвратным, еслиP i (Xn = i для бесконечно многих n) = 0,(1.5.2)т. е.P i (Xn = i для конечного числа значений n) = 1.Отметим, что мы не упомянули промежуточные значения вероятности (т.
е.лежащие строго между 0 и 1), что проясняет следующая ниже теорема1.5.2. Положимfi := P i (Xn = i для некоторого n > 1).(1.5.3)53Ti = inf [n > 1 : Xn = i](1.5.4)fi = P i (Ti < ∞).(1.5.5)и положимТогда, очевидно, Ti является моментом остановки. В силу строго марковского свойстваP i (Xn = i по крайней мере для двух значений n > 1) = fi2 ,и, в более общем виде,P i (Xn = i по крайней мере для k значений n > 1) = fik ∀ k.(1.5.6)Обозначим через Bk(i) следующее событие: {Xn = i по крайней мере для k(i)значений n > 1}.
Тогда, очевидно, последовательность событий B k убывает(i)(i)по k: B1 ⊇ B2 ⊇ . . ., и событие {Xn = i для бесконечно многих значений(i)n} равно пересечению ∩k>1 Bk . Следовательно,P i (Xn = i для бесконечно многих n) = lim P (Bk(i) ),k→∞(1.5.7)что равно 1, когда fi = 1, и 0, когда fi < 1, что и требовалось доказать.O the heavy change,...Now thou art gone,and never must return!Дж. Мильтон (1608–1674), английский поэтМы также введем еще одну случайную величину (которая будет использоваться довольно часто)XVi = число посещений состояния i =1(Xn = i),(1.5.8)n>0которая подсчитывает общее число посещений состояния i (учитывая и момент времени 0, если цепь стартовала из состояния i).
Иначе говоря, V i54Глава 1. Цепи Маркова с дискретным временемподсчитывает суммарное время, проведенное в состояние i (включая, когдаэто необходимо, состояние 0). Уравнение (1.5.6) можно переписать в видеfik = P i (Vi > k).z→1С другой стороны,pii(n) = P i (Xn = i) = fi (n) + fi (n − 1)pii + . .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
