Цепи Маркова (1121219), страница 45
Текст из файла (страница 45)
. таким образом,чтобы «хвост» ряда, образованный слагаемыми qjl jk с большими значениями k, был равномерно мал:"#Xqjl ik : jl ∈ I = 0.(2.6.3)lim supn→∞k : |jk −jl |>nВ большинстве случаев конкретный порядоксуммирования в формулеP(2.6.2) использоваться не будет, и рядможно понимать при любомпорядке суммирования.9 Ср.j∈Iс названиями фильмов «101 Dalmatians» и «102 Dalmatians».284Глава 2. Цепи Маркова с непрерывным временемСтратегия наша в принципе не меняется: матрица Q трактуетсякак генератор, требуется построить ассоциированную с Q полугруппу(P(t), t > 0) матриц вероятностей перехода P(t) = (pij (t)) (P(0) = I) и изучить свойства соответствующей ц.м.н.в.
По возможности, мы использовали матричную экспоненту; полезным орудием являлась пара прямых/обратных уравненийṖ = PQ = QP, P(0) = I,n→∞где Q-матрица Q(n) = (qjl jk (n)) — это (n × n)-усечение матрицы Q, состоящее из элементовКак мы видели, для конечных матриц уравнения (2.6.4) имели единственное решение∞X(tQ) kP(t) = etQ =, t > 0,(2.6.5)k!состоящее из стохастических матриц. В § 2.5 обсуждалось обобщение этого факта на случай счетного пространства состояний I; в случае ПР ( k)решение может быть субстохастической матрицей, что ведет к взрыву;выход из такой ситуации состоял в расширении пространства состояний посредством добавления к нему поглощающего состояния ∞; мывкратце обсудили и другую возможность, когда бесконечность превращается в мгновенное состояние.
Затем мы обсудили более общую модельПРГ ( k , k).В данном параграфе мы приводим общие теоремы (теоремы2.6.1–2.6.11), которые даются без доказательства (см. [BR] , [N]). Приэтом предполагается, что Q — это Q-матрица, удовлетворяющая условиям(2.6.1) – (2.6.3).Теорема 2.6.1. Прямое и обратное уравнения (2.6.4) всегда имеют решение P(t), t > 0, удовлетворяющее свойству полугруппы(2.6.6)В общем случае матрицы P(t) = (pij (t)) являются только субстохастическими, причем такими, что pij (t) > 0 ∀t > 0, ∀i, j ∈ I иXpij (t) 6 1 ∀ i ∈ I.(2.6.7)j(2.6.8)Pmin (t) = lim etQ(n) := etQ ,ij .P(t + s) = P(t)P(s), t, s > 0.pminij (t) 6 rij (t).Это минимальное субстохастическое решение задается какkk=0285Это решение, вообще говоря, не единственно, и прямое и обратноеуравнения имеют, вообще говоря, различные множества решений.Однако всегда существует единственное минимальное субстохастическое решение Pmin (t) = (pminij (t)), t > 0, уравнений (2.6.4), удовлетворяющееусловию (2.6.7).
Минимальность означает, что для любого неотрицательного решения R(t) = (rij (t)), t > 0, выполнено неравенство(2.6.4)или элементы матрицы удовлетворяют уравнениямP pik qkj (прямое уравнение),kṗij = P pik qkj (обратное уравнение),pij (0) =§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачковqjl jk (n) = qjl jk , l, k = 0, . . . n − 1, jl 6= jk ;Xqjl jl (n) = −qjl jk , l, k = 0, .
. . n − 1.06k<n : jk 6=jlЗдесь используется такая же нумерация состояний i ∈ I, как и в соотношении (2.6.3).Наконец, минимальное решение имеет полугрупповое свойство (2.6.6).Таким образом, в случае, когда минимальное решение образованоP min стоpij (t) =хастическими матрицами Pmin (t) = (pminij (t)), t > 0, и при этомj= 1 ∀ t > 0 и i ∈ I, эффект субстохастичности исчезает, поскольку P min (t)будет единственным решением уравнений (2.6.4).
(Более точно, любоесубстохастическое решение P(t) равно P min (t) и, следовательно, являетсястохастическим.)Полезное свойство минимального решения состоит в том, что p minij (t)можно записать в виде ряда относительно числа скачков, совершенныхцепью на временном интервале (0, t).Теорема 2.6.2. Для минимального решения Pmin (t) = (pminij (t)) имеетместо следующее представление:−tqipmin1(i = j) +ij (t) = e(скачков нет)Rt+1(i 6= j)1(qi > 0) e−t1 qi qij e− (t−t1)qj dt1 +0+ 1(qi > 0)× qik eP1(k 6= i, j)1(qk > 0)k∈I− (t2 −t1)qkRt Rt0 0(один скачок)e −t 1 q i ×qkj e− (t−t2)qj 1(t1 < t2) dt2 dt1 + .
. . (два скачка)(2.6.9)286Глава 2. Цепи Маркова с непрерывным временем∀ t > 0, i, j ∈ I. Общий член в правой части соотношения (2.6.9) —это сумма по последовательностям скачков через состояния i == i0 , i1 , . . . , in = j, где il 6= il−1 , и он имеет видX−1nYi=i0 ,...,in =j l=01(ql > 0, il+1 6= il)×=XnY−1i=i0 ,...,in =j l=0Yk : n→1Zt×k : 1→n0exp [− (t − tn)qin ] ×(qik−1 ik exp [− (tk − tk−1)]) dt1 . . . dtn =1(ql > 0, il+1 6= il)Y...0Zt2Zt0...sZn−10exp[− (t − s1)qi0 ] ×(qik−1 ik exp [− (sk − sk+1)qik ]) dsn .
. . ds1 ,(2.6.10)где t0 = 0 и sn+1 = 0.Рис. 2.47Как и ранее, уравнения (2.6.9) и (2.6.10) дают важное пошаговоеописание элементов pminij (t), которое помогает представить «вклад» в заданный элемент различных траекторий цепи. Это представление будетосновой наших определений и построений. Следует отметить, что уравнения (2.6.9), (2.6.10) и их предшественники, уравнения (2.5.20) – (2.5.22)и (2.5.6) – (2.5.9), обобщают уравнения (2.3.8) – (2.3.9); это подчеркиваетроль, которую играет пуассоновский процесс в различных построениях,приведенных ниже.Мы будем иметь в виду и изучать две ситуации. «Хорошая» ситуация, упомянутая выше, когда минимальное решение P min (t) = (pminij (t)),t > 0, описанное в соотношении (2.6.8), дается стохастическими матрицами.
В этом случае элемент pminij (t) задает переходную вероятность изсостояния i в состояние j за время t. Назовем этот случай «невзрывным»,§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачков287поскольку ц.м.н.в. (Xt), определенная с помощью матриц перехода P min (t),будет «жить» вечно в исходном пространстве состояний I.
Ситуацияусложняется, когда матрицы P min (t) не являются стохастическими. Тогдамы добавляем поглощающее состояние ∞ и рассматриваем «минимальную» ц.м.н.в. с пространством состояний I = I ∪ {∞}. Это даст нам первоеопределение ц.м.н.в. в терминах переходных вероятностей; см. определение2.6.3.Видим, что минимальное решение P min (t) ведет к минимальной ц.м.н.в.с матрицей-генератором Q и дополнительным поглощающим состоянием ∞; в «хорошей» ситуации, когда минимальное решение стохастическое,необходимость в дополнительном состоянии отпадает, и мы получаемц.м.н.в.
на исходном пространстве состояний I.Следует отметить, что в случае, когда ситуация не является «хорошей»,т. е. минимальное решение не стохастическое, оно не будет единственнымсубстохастическим решением одного или обоих уравнений (2.6.4). Другие решения P(t) могут быть стохастическими. Однако, вообще говоря,возникает другая сложность: прямое и обратное уравнения могут иметьразличные множества решений.Таким образом, спектр возможных случаев широк. Существуют общие условия на матрицу Q, гарантирующие, что минимальное решениеPmin (t) уравнений (2.6.4) дается стохастическими матрицами.
Эти условия довольно сложны (и иногда не имеют ясного «физического смысла»).В оставшейся части этого параграфа мы опустим индекс min и обозначим минимальное решение просто P(t) = (pij (t)); оно имеет полугрупповоесвойство (2.6.6) благодаря теореме 2.6.1. Определение 2.6.3, приведенноениже, уточняет, что мы понимаем под ц.м.н.в.
на общем конечном илисчетном пространстве состояний I с генератором Q и начальным вероятностным распределением .Определение 2.6.3. Ц.м.н.в. с начальным распределением и генератором Q (или, кратко, ( , Q)-ц.м.н.в.) на конечном или счетном пространстве состояний I — это семейство (Xt , t > 0) таких с.в. со значениямив I = I ∪ {∞}, что P (X0 = i) = i ∀ i ∈ I, и выполнено свойствоа) для любых n = 1, 2, . . ., моментов времени 0 = t0 < t1 < .
. . < tn и состояний i0 , . . . , in ∈ I выполняется условиеP (X0 = i0 , Xt1 = ii , . . . , Xtn = in) =i0nYk=1pik−1 ik (tk − tk−1).(2.6.11)Кроме того, для любой дополнительной последовательности моментов вре-288Глава 2. Цепи Маркова с непрерывным временеммени tn < tn+1 < . . . < tn+l выполняется условиеP (X0 = i0 , Xt1 = ii , . . . , Xtn = in , Xtn+1 = . . . = Xtn+l = ∞) =nYX= i0pik−1 ik (tk − tk−1) 1 −pin j (tn+1 − tn) .k=1(2.6.12)Здесь функции pij (t) определены уравнениями (2.6.9), (2.6.10). Повторим,что матрицы P(t) = (pij (t)), t > 0, дают минимальные субстохастическиерешения уравнений (2.6.4), описанные в теоремах 2.6.1 и 2.6.2.Как и в случае дискретного времени, заключаем из определения 2.6.3,что pij (t) является вероятностью перехода (Xt) из состояния i в j за времяt, т.Pе.
условной вероятностью P (Xs+t = j | Xs = i). Кроме того, разность1 − pij (t) — это вероятность перехода из i в ∞ за время t, т. е. условнаяjвероятность P (Xs+t = ∞ | Xs = i); или вероятность взрыва при выходе изсостояния i за время t. Наконец по определению P (X s+t = ∞ | Xs = ∞) ≡ 1.По аналогии со взрывным процессом рождения или рождения и гибелиотметим, что в определении 2.6.3 мы задали минимальную цепь с заданными и Q.Как и в подобных определениях ранее, мы задали так называемуюоднородную ц.м.н.в., когда вероятности перехода pij (t) зависят толькоот прошедшего промежутка времени, а не от положения пары s, t + sна временно́й полуоси. Более общий класс процессов включает неоднородные цепи; один такой пример — это неоднородный процесс ПуассонаНПП ( (t)), обсуждаемыйPв§P2.4.P Pимы понимаеми , и порядок суммироДалее под суммамиi∈Ijj∈Iвания не имеет значения.Определение 2.6.4.
Ц.м.н.в. (Xt) с параметрами ( , Q) (или с генератором Q) называют невзрывной, если для любого i и t > 0 выполняетсясоотношениеXpij (t) = 1,(2.6.13)j∈I289любому из следующих свойств б) и в).б) Для любых состояний i 6= j, момента времени t > 0 и h & 0+ условные вероятности имеют следующую асимптотику:j∈Ii§ 2.6. Инвариантные распределения счетных цепей Маркова. Цепь скачковт. е. матрицы P(t) являются стохастическими. В противном случае ц.м.н.в.(Xt) называют взрывной.Если цепь является невзрывной, то вероятности (2.6.12) все равнынулю. Это означает, что состояние ∞ не нужно: выходя из любого состояния i, цепь остается в I навсегда. Значит можно пользоваться такимопределением.Определение 2.6.5. Предположим, что матрица Q невзрывная в смысле определения 2.6.4.
Тогда свойство а) из определения 2.6.3 эквивалентноP (Xt+s не имеет скачков при 0 < s < h| Xt = i, плюс предыстория до момента t) == 1 − qi h + o(h) = 1 + qii h + o(h),(2.6.14)это означает, что qi = −qii есть интенсивность, с которой цепь покидаетсостояние i, иP (Xt+s имеет ровно один скачок i → j, 0 < s < h| Xt = i, плюс предыстория до момента t) = qij h + o(h),(2.6.15)это означает, что qij есть интенсивность, с которой происходит переход изсостояния i в j; весьма важно то, что свойства (2.6.14) и (2.6.15) означаютследующее:P (Xt+s = j | Xt = i, плюс предыстория до момента t) =(1 − qi h + o(h),=qij h + o(h),j = i,j 6= i,независимо от предыстории процесса.в) Для любых i: qi > 0 при условии, что X0 = i, процесс (Xt) находитсяв состоянии i в течение случайного времени ∼ Exp(q i), а затем совершаетскачок в j 6= i с вероятностьюbpij =qij.qi(2.6.16)Тогда если J1 — это время скачка, то процесс XJ1 +t ведет себя так же,как (Xt), при условии, что X0 = j и т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
