Цепи Маркова (1121219), страница 35

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 35)

Более того,dtdn tQe = Qn etQ = etQ Qn ,dtnРис. 2.1это снова обобщение стандартного скалярного уравнения для скалярнойПример 2.1.2. Нулевая матрица0 ... 0экспоненты0 ... 0Q=... 0 ... 0d xae = aexa = exa a, x ∈ R;dxв) det etQ = et(tr Q) , t ∈ R (это свойство доказывается сложнее, см.далее).Следующее утверждение уточняет свойства а) и б) для t, s > 0.Теорема 2.1.4. Пусть Q — конечная Q-матрица. Семейство матриц(2.1.2)P(t) = etQ , t > 0,удовлетворяет следующим соотношениям:г) полугрупповое свойствоСоответствующая диаграмма не имеет стрелок (т.

е. состоит из изолированных точек).Пример 2.1.3. Матрица размера 2 × 2 в общем случае имеет вид−,, > 0.t ∈ R ∀ n = 0, 1, . . . ;−В некоторых важных примерах из этой главы Q-матрица на самом делебесконечна. Однако мы на время сосредоточимся на конечных матрицах.Интересная матричная функция — это матричная экспонента etQ == exp(tQ):etQ=I+∞X(tQ) kk=1k!=∞X(tQ) kk=0k!tQ, т.

е. (e ) ij =∞ k kXt (Q ) ijk=0k!.(2.1.1)Для конечной матрицы Q параметром t в соотношении (2.1.1) можетбыть любое действительное число, хотя в приложениях к цепям Марковас непрерывным временем (ц.м.н.в.) будем предполагать, что t > 0. Этотряд сходится, потому что его матричная норма допускает оценку X∞∞X ∞ (tQ) k X|| (tQ) k |||t|k ||Q||k 6||etQ || = 6= exp(|t| ||Q||) < ∞.k=0k!k=0k!k=0k!Основные свойства матричной экспоненты немедленно вытекают изопределения:P(t + s) = P(s)P(t),s, t > 0;(2.1.3)д) P(t) — единственное решение уравненийdP(t) = P(t)Q,dtdP(t) = QP(t),dtt > 0,прямое уравнение,t > 0,обратное уравнение,где P(0) = I;е) ∀ n = 0, 1, 2, . . .dnP(t) = P(t)Qn = Qn P(t),dtnв частностиdnP(t) = Qn .dtnt=0(2.1.4)(2.1.5)Д о к а з а т е л ь с т в о.

Свойство г) прямо следует из определения матричной экспоненты, если использовать биномиальное разложение((t + s)Q) k = (t + s) k Qk =kXl=0Clk tl sk−l Qk =kXl=0Clk (tQ) l (sQ) k−l .212Глава 2. Цепи Маркова с непрерывным временемСвойство е) можно доказать, итерируя уравнение (2.1.4): d dn−1dndn−1=P(t)=P(t)P(t)Q = . . . = P(t)Qn = Qn P(t).nn−1n−1dtdtdt§ 2.1. Матрицы перехода и Q-матрицыД о к а з а т е л ь с т в о. Начнем с доказательства достаточности, т. е.предположим, что Q является Q-матрицей. Пусть вначале t мало и положительно.

Для малых t > 0 имеемdtP(t) = I + tQ + o(t), т. е. pij (t) =Поэтому докажем только свойство д), для чего запишем1=Q∞X(tQ) k−11(k − 1)!= QP(t) = P(t)Q.Заметим, что равенство (2.1.6) имеет место и для e −tQ :(2.1.6)d −tQedtdM(t) = M(t)Q, причем M(0) = I. Тогдание уравненияdt= M(t)Qe−tQ ddtdM(t) e−tQ + M(t) e−tQ =dt+ M(t) (−Qe−tQ) = M(t)Qe−tQ − M(t)Qe−tQ = 0.(2.1.7)Поэтому матрица M(t)eне изменяется по t, а в момент t = 0 онаравна I. Значит, M(t)e−tQ ≡ I, и−tQM(t) = etQ .dТе же аргументы применимы к уравнениюM(t) = QM(t).dtЗамечание 2.1.5. Для конечной Q-матрицы уравнение (2.1.3) вернодля любых t, s ∈ R (и на самом деле является групповым свойством).Заметим также, что в доказательстве единственности решения прямогои обратного уравнений мы использовали экспоненту e −tQ , т.

е. обратилизнак tQ; см. соотношение (2.1.7). Однако нам нужно неотрицательное tв следующем важном утверждении.Теорема 2.1.6. Если Q — конечная матрица, то P(t) = etQ —стохастическая матрица для любого t > 0 тогда и только тогда,когда Q является Q-матрицей, т. е. P(t) имеет все неотрицательныеэлементы, сумма которых по строкам равна 1:Xpij (t) = 1.(2.1.8)pij > 0, иj+ tqij + o(t).pij (t) =ij12+ t2 qij(2) + o(t2),(2)== −e−tQ Q = −Qe−tQ .Начальное условие P(0) = I также проверяется непосредственно: дляt = 0 все члены в соотношении (2.1.1) обращаются в нуль, кроме k = 0.Доказывая единственность, предположим, что M(t) — некоторое реше-d(M(t)e−tQ) =dtijЗначит, для малых t > 0 выполняется неравенство p ii (t) > 0 и pij (t) > 0для i 6= j, если qij > 0.Далее, если qij = 0, то∞∞Xdd X tk Qktk−1 QkP(t) ===dtdtk!(k − 1)!k=0213где qij — это элемент с индексами i и j матрицы Q2 .

Заметим, чтоXqij(2) =qik qkj > 0,так как в суммеPkqik qkj нет отрицательных слагаемых (они могли быkпоявиться при k = i или k = j, но при этом qij = 0, что уничтожает их).Таким образом, видим, что если qij = 0, то для малыхt > 0 выполняется неравенство pij (t) > 0 при условии, что(2)qij > 0. Продолжая в том же духе, без труда выводим,что для малых t > 0 выполняется неравенство pij (t) > 0,(n)если для некоторого n элемент qij матрицы Qn положи-телен. Условие положительности qij(n) > 0 для заданного nРис. 2.2означает, что на диаграмме существует направленный путьi = k0 → k1 → .

. . → kn−1 → kn = j из i в j длины n. Иными словами,состояние i сообщается с j.Рис. 2.3А что, если qij(n) ≡ 0? Тогда i не сообщается с j и pij = 0. В любом случаедля малых t > 0 выполняется неравенство pij (t) > 0 для всех состоянийi, j.P(t) =)U −1 .= 0, то P(t) ≡ I, в противном случае все элементы матрицы+ )pij (0) = A + B =ijpij (t) = A + Be−t(,причемиṗij (t) |t=0 = − ( + )B = qij .Например, для верхнего левого элементаA + B = 1,и− ( + )B = −+,B=A=+.+e− (+ )t+++e− ( + )t−+−+ )t++e− ( +P(t) = +Пример 2.1.8 (продолжение).

Рассмотрим общую Q-матрицу размера2×2−,, > 0.(2.1.10)Если =имеют вид10=U0 e−t( +Поэтому матрица P(t) равнаP(t) ≡ I.−= Ue U−1Аналогично если для некоторых i 6= j элемент pij (t) неотрицателен длялюбого t > 0, то qij > 0. Это означает, что Q является Q-матрицей. Этимзаканчивается доказательство необходимости и завершается доказательство теоремы 2.1.6.Пример 2.1.7 (продолжение). Очевидно, что для нулевой Q-матрицыk=0D k U −1 =jk!Так как P(0) = I, из полученного равенства следует, чтоXqij = 0.∞ kXtjk!UDk U−1 = Udtk=0jk!∞ kXtQk =tDа степень стохастической матрицы является стохастической матрицей.Этим заканчивается доказательство достаточности в теореме 2.1.6.Обратно, если P(t) имеет единичную сумму по строкам для любогоt > 0, тоX dXd X0=pij (t) =pij (t) =(QP(t)) ij .∞ kXtk=0n разjТаким образом,(это рассуждение верно для всех t ∈ R).

Таким образом, установлено, чтодля малых t > 0 матрица P(t) — стохастическая. Но тогда это верно длявсех t > 0, так как в силу полугруппового свойстваt t h t inP(t) = P...P= P,nn}| n {zdt0 − −сумма по строкам равна 0,Матрицу можно привести к диагональному виду, а именно Q = UDU −1 ,где00.(2.1.11)D=k!1сумма по строкам равна 1Qk∞ tkPκ2 = − ( + ).κ1 = 0,+Iт. е.Значит, сумма элементов в каждой строке матрицы P(t) равна 1:P(t) =−κ −jlj,lСобственные значения κ1,2 этой матрицы являются корнями уравнения−κ −det= κ ( + + κ) = 0,= (κ + ) (κ + ) −j215Наконец, сумма элементов в каждой строке матрицы Q нулевая, а тогдато же верно и для Qn для всех n > 1:X (n) X (n−1)X (n−1) X qij =qil qlj =qilqlj = 0.(2.1.9)§ 2.1.

Матрицы перехода и Q-матрицыГлава 2. Цепи Маркова с непрерывным временем214+e− ( + )t;(2.1.12)216Глава 2. Цепи Маркова с непрерывным временем217где постоянные A, B, C зависят от i, j и удовлетворяют уравнениюA + B + C = ij ,11−B 2 − √ − C 2 + √ = qij ,221 21 2+C 2+ √= qij(2) ,B 2− √+ + +при t → ∞ имеет место поэлементная сходимость к матрице§ 2.1. Матрицы перехода и Q-матрицы+.Пример 2.1.9.

Рассмотрим Q-матрицу размера 3 × 3 вида!Q=так как Ṗ(0) = Q,так как P̈(0) = Q (2) .2Например, для p11 (t) мы имеем,√5+3 2B=,142A= ,7!3/2 −1 −1/2−3 11/2 −5/2 .−321√5−3 2C=,14и p11 (t) → 2/7 при t → ∞.Пример 2.1.10. Нетрудно привести пример Q-матрицы с кратнымикорнями характеристического уравнения det(Q − I) = 0, а именно,для которой Q2 =−1 1/2 1/21 −2 101 −12так как P(0) = I,−211010 1 −2 1 0 .Q=0 1 −2 1 Характеристическое уравнение имеет вид!pij (t) = Aij + Bij e−2t + (Cij + Dij t)e−3t , i, j = 1, 2, 3, 4,где Aij , Bij , Cij и Dij — постоянные.

Чтобы найти их, нужно использоватьуравнение (2.1.5) при n = 0, 1, 2, 3. В результате получаем матрицу P(t):11= − (κ + 1) (κ + 2) + + (1 + κ) + 1 + κ =22 11= (κ + 1) − (κ + 1) (κ + 2) + + 1 + =22 1372+ = κ −κ 2 − 4κ −= 0,= (κ + 1) −κ − 3κ − 2 +2222следовательно собственные значения равны12−−−+Эта матрица является Q-матрицей тогда и только тогда, когда = == 0, т. е. Q = 0. Однако сумма элементов по строкам матрицы Q n всегдаТогдаpij (t) = A + Be−t(2−1/Замечание 2.1.11. Квадрат Q-матрицы не обязательно Q-матрица (тоже относится и к другим степеням Qn).

Например, в случае (2 × 2)-матрицы(см. пример 2.1.8 выше) мы получаем:2 2−+− 2−=.22κ± = −2 ± √ < 0.4 + 6te−3t + 14e−3t −14e−3t + 9e−2t + 5 − 6te−3t −6e−3t + 6 6e−3t − 9e−2t + 3−3t − 4e−3t1 5 + 4e−3t + 9e−2t − 6te−3t −6e−3t + 3 6e−3t − 9e−2t + 3  4 + 6te18 −4e−3t + 4 − 12te−3t −9e−2t + 5 + 12te−3t + 4e−3t 6 + 12e−3t −12e−3t + 9e−2t + 34 + 6te−3t − 4e−3t4e−3t − 9e−2t + 5 − 6te−3t6 − 6e−3t3 + 6e−3t + 9e−2tκ1 = 0,=−1 − κ1 /21 /2−2 − κ11−1 − κ01−2Корни здесь равны 0, −2, −3; корень −3 имеет алгебраическую кратность2, но геометрическая кратность каждого собственного значения равна 1.Следовательно, элементы pij (t) матрицы перехода Pt = etQ задаются формулойРис. 2.4det1√2)+ Ce−t(2+1/√2),i, j = 1, 2, 3,t > 0,218Глава 2.

Характеристики

Список файлов лекций