Цепи Маркова (1121219), страница 43
Текст из файла (страница 43)
В частности, значение +∞принимается с вероятностью 0, т. е. имеет место соотношение (2.5.11).Замечание 2.5.4. Теорема 2.5.3 рассматривает взрывы при начальномсостоянии 0. Однако ее утверждение сохраняется, если ц.м.н.в. выходит излюбогоo i, что просто означает совпадение событий {T взр < ∞}n P состоянияиSk < ∞ .k>N0= ∞, пря-мое/обратное уравнения (2.5.5) имеют единственное решение P(t) == (pij (t)) ∀ t > 0, задаваемое формулами (2.5.6) – (2.5.9) и удовлетворяющее условиямX0 < pij (t) < 1 иpij (t) = 1 ∀ t > 0, i = 0, 1, . .
.(2.5.12)В этом случае матрица P(t) = (pij (t)) является «истинной» матрицей переходных вероятностей для любого t > 0. (Некоторые авторы используюттермин «корректно определенная матрица перехода».) Вдобавок семействоматриц P(t) имеет полугрупповое свойство P(t + s) = P(t)P(s) ∀ t, s > 0.Это тот «хороший» случай, когда процесс определяется своей Q-матрицей(и начальным распределением) однозначно.= 0,Ee−Tвзр = 0.k=0−1k[Вот] что я понимаю под словом «философ»:ужасно вспыльчивую (взрывную) персону,в присутствии которой все находится в опасности.т. е.K →∞Pkзаключаем, что"271j(1 + 1/ k) растет по K. ИспользуяKX§ 2.5. Процессы рождения и гибели.
ВзрывПоэтому результат верен для любого начального распределения.Определение 2.5.5. В случае а) теоремы 2.5.3 процесс ПР ( k) называют невзрывным, а в случае б) — взрывным.Ф. Ницше (1844–1900), немецкий философОднако для взрывного процесса ПР ( k) ситуация более сложная.Решение P(t) = (pij (t)) задач (2.5.5), определенноес помощью формулPpij (t) значение 1; напротив,(2.5.6) – (2.5.9), не обеспечивает суммеj>iPpij (t) < 1 ∀ t > 0 и i = 0, 1, . . . Тем не менее, это решение особое: оноj>iминимальное в том смысле, что для любого семейства матриц R(t) == (rij (t)), удовлетворяющих уравнениям Ṙ = RQ = QR, R(0) = I, элементыrij (t) удовлетворяют неравенствам rij (t) > pij (t) ∀ t > 0 и i, j = 0, 1, . .
. Минимальное свойство следует из нашего предположения о том, что матрицаP(t) верхнетреугольная. Минимальное решение все еще имеет хорошиесвойства: например, его можно записать какP(t) = etQ =∞X(tQ) kk=0k!,P(t) = lim etQ(n) ,n→∞(2.5.13)где Q(n) — это (n × n)-модификация («усечение») матрицы Q из формулы (2.5.2).
Оно также имеет полугрупповое свойство: P(t + s) == P(t)P(s) ∀ t, s > 0.В невзрывном случае минимальное решение задается с помощью стохастических матриц P(t), причем верны уравнения (2.5.12), и других решенийбыть не может. Однако в случае взрыва, когда минимальное решение не272Глава 2.
Цепи Маркова с непрерывным временемприводит к стохастической матрице, оно как бы открывает ящик Пандоры,полный сюрпризов, возможно интересных, но редко возникающих в прикладных задачах.Для начала, прямое уравнение Ṗ = PQ имеет единственное решениеP(t), P(0) = I, задаваемое формулами (2.5.6) – (2.5.9) (иными словами, минимальное решение — это единственное решение прямого уравнения с начальной матрицей I).
В противоположность этому обратное уравнение(с начальной матрицей I) имеет бесконечно много решений б о́льших, чемминимальное8 . Сейчас мы не будем двигаться далее в этом направлении,но вернемся к ним, когда будем обсуждать более общие классы случайныхпроцессов.Итак, мы знаем, что в случае взрыва матрица P(t) с элементами p ij (t)из формул (2.5.6) – (2.5.9), представляющая собой минимальное решениепрямого и обратного уравнения (2.5.5), имеет «вероятностный дефект»:ее суммы по строкам меньше 1 (более того, суммы по строкам убываюти стремятся к 0 с ростом времени).
Таким образом, матрица P(t) = e tQсубстохастическая, а не стохастическая (и приближается к нулевой матрице при t → ∞). Как превратить ее в стохастическую? Для этого полезнозаписать∞Xpij (t) = P i (Tвзр > t) < 1.(2.5.14)j=1Один из вариантов — считать, что процесс остается в состоянии ∞ приt > Tвзр , и приписать вероятностям pi∞ (t) следующие значения:1−Xjpij (t) = P i (Tвзр 6 t) = P i Si + Si+1 + . . . 6 t | N0Р = i ,(2.5.15)и, конечно, p∞∞ (t) ≡ 1), т. е. добавить поглощающее состояние ∞.Это приводит к минимальному процессу рождения (Ntmin) на пространстве состояний Z+ = {0, 1, .
. . , ∞}, ассоциированному с интенсивностямиk . Этот процесс называют минимальным, так как решение P(t), задаваемое формулами (2.5.6) – (2.5.9), минимально для прямого и обратногоуравнения, кроме того, тождество Ntmin ≡ ∞ при t > Tвзр оставляет минимальные возможности для переходов i → j (j > i, т. к. соответствующаяматрица перехода является верхней треугольной).Однако это не единственно возможный вариант: можно предположитьтакже, что в момент t = Tвзр процесс мгновенно возвращается в состояние0 (после чего, конечно, вновь возможен взрыв).8 См.с. 221.Булинский А.
В., Ширяев А. Н. Теория случайных процессов. М.: Физматлит, 2003,§ 2.5. Процессы рождения и гибели. Взрыв273Рис. 2.41Очевидно, это увеличивает шансы попасть из состояния i в состояние j (теперь это может происходить и после взрыва). Кроме того,соответствующая переходная матрица уже не будет верхней треугольной.Получаем другой процесс рождения (Nt∗) с интенсивностями k при k == 0, 1, . . . и бесконечной интенсивностью q∞0 . Иными словами, ∞ будеттеперь мгновенным состоянием.Вообще говоря, мгновенные состояния, когда элемент q ii равен минусбесконечности (или полная интенсивность выхода q i равна плюс бесконечности), нередко приводят к парадоксам. Теория ц.м.н.в.
с мгновеннымисостояниями содержит много неожиданных результатов, но они находятсявне поля зрения этой книги.Теперь можно подвести итог.P −1Определение 2.5.6. Пусть 0 , 1 , · · · > 0 иk = ∞, что обесkпечивает отсутствие взрыва у соответствующей Q-матрицы из формулы(2.5.2). Пусть P(t) = (pij (t)), t > 0, является (единственным) решением прямого/обратного уравнений Ṗ = PQ = QP (с начальным условием P(0) = I),которое составлено из стохастических матриц.
Процесс рождения с интенсивностями 1 , 2 , . . . , выходящий из состояния 0 ∈ Z+ , — это ц.м.н.в.(NtР , t > 0) с N0Р = 0 и такая, что а) для любых моментов времени 0 = t 0 << t1 < . . . < tn и целых чисел i0 6 i1 6 . . . 6 in выполняется равенствоP i0 (NtР1 = i1 , ..., NtРn = in) = pi0 i1 (t1)pi1 i2 (t2 − t1) ...pin−1 in (tn − tn−1).
(2.5.16)Теорема 2.5.7. При выполнении условияPk−1k= ∞ характери-зации а) –в) процесса ПР ( k), данные в определениях 2.5.1 и 2.5.6,эквивалентны.Теорема 2.5.7 означает, что невзрывной процесс ПР ( k) определяет-274Глава 2. Цепи Маркова с непрерывным временемся своей Q-матрицей (и начальным распределением). С другой стороны,мы видели, что взрыв приводит к неединственности процесса ПР ( k)(т. е. процесс не определяется единственным образом своей Q-матрицей):минимальный процесс Ntmin попадает в поглощающее состояние ∞ послемомента Tвзр , а процесс (Nt∞→0) совершает мгновенный переход из ∞ в 0.Ситуация становится гораздо более сложной (и занимательной), есливыйти за пределы класса процессов рождения: здесь мы вновь ограничимсяосновными фактами.Следующее обобщение, которое мы рассмотрим, — это процессы рождения и гибели, обозначаемые для краткости, ПРГ ( k , k). Диаграмматаких процессов содержит стрелки в обоих направлениях; см.
рис. 2.43.§ 2.5. Процессы рождения и гибели. Взрыв275Кто угодно может прервать человеческую жизнь,но никто — смерть: тысячи путей открыты к ней.Сенека (4 г. до н. э.–65 г. н. э.), римский философКак и ранее, нас интересует матрица перехода P(t), ассоциированнаяс Q, которая позволит нам определить процесс рождения-гибели с генератором Q. Заметим, что соответствующий процесс совершает скачки каквниз, так и вверх, поэтому матрица P(t) не должна быть верхнетреугольной.Конечно, вопрос о взрыве процесса рождения и гибели также подлежитP 1= ∞ являетсярассмотрению. Интуитивно понятно, что условиеnn+nдостаточным для отсутствия взрыва. Однако это условие не является необходимым.
Это значит, что сходимость вышеуказанного ряда не обязательноприводит к взрыву, так как цепь может смещаться к левому краю и про1Рис. 2.42водить бо́льшую часть времени в позициях, для которых значениеn+ nвелико.Общие условия отсутствия взрыва у ПРГ сложны; приведем их бездоказательства. Как мы уже знаем на примере процесса рождения, нампридется работать с классом субстохастических матриц P(t) = (p ij (t)),гдеXpij (t) > 0 ∀ i, j = 0, 1, . . . иpij (t) 6 1 ∀ i = 0, 1, . . . , ∀ t > 0; (2.5.18)j>0...0(2.5.17)стохастическая. Воспользуемся опытом, приобретенным при изучении процессов рождения, и введем понятие минимального неотрицательного решения Pmin (t) = (pminij (t)) прямого и обратного уравнений Ṗ = PQ и Ṗ = QPс начальным условием P(0) = I:ṗij =(− ( j + j)pij + j+1 pi,j+1i pi+1,j − ( j + j)pij + i pi−1,jj−1 pij−10.... − ( 1 + 1)0 .
.1. .− ( 2 + 2) 2 . . 2...... ......0pij (t) = 1 означает, что матрица P(t) — 1Q= 00j>0−Pв частности, случай равенстваИнтерпретируют это так: k — это интенсивность скачка k → k + 1(рождение), а k — интенсивность скачка k → k − 1 (гибель). Когда k ≡ 0,то получаем процесс рождения, а когда k ≡ 0 — процесс гибели.Соответствующая Q-матрица имеет нули всюду, за исключением главной диагонали и двух соседних с ней:pij (0) =(прямое),(обратное),(2.5.19)ij .Как и ранее, минимальность означает, что любое такое семейство матрицR(t) = (rij (t)), t > 0, что rij (t) > 0, Ṙ = QR = RQ и R(0) = I, удовлетворяетнеравенствам(2.5.20)pminij (t) 6 rij (t) ∀ t > 0 и i, j = 0, 1, .
. .Рис. 2.43Основное свойство минимального решения вновь состоит в том, что276Глава 2. Цепи Маркова с непрерывным временемоно допускает хорошее представление−t(pminij (t) = 1(i = j)ei + i)e −t 1 (( i 1(k = i + 1) +k∈Ii + i)e− (t−t1) (j + j)dt1 +(один скачок)0+(скачков нет)i 1(j = i − 1)) ×Zt×Xгде sn+1 = 0. В произведениях++ ( i 1(j = i + 1) +i 1(k = i − 1)) ×× ( k 1(j = k + 1) + k 1(j = k − 1)) ×Zt Zt×e−t1 ( i + i) e− (t2 −t1) ( k + k) ×00× e− (t−t2) (j + j)§ 2.5. Процессы рождения и гибели. Взрыв1(t1 < t2) dt2 dt1 ++ ...(два скачка)(2.5.21)Qиk : n→1Qмножители перечисленыk : 1→nв соответствующем порядке. Уравнения (2.5.22) и (2.5.23), конечно, эквивалентны: формула (2.5.22) годится для проверки прямого, а (2.5.23) —обратного уравнения.Мы хотим подчеркнуть, что уравнения (2.5.21) – (2.5.23) позволяют посмотреть на переходные вероятности pminij (t) как на интегралы по всемвозможным траекториям процесса, выходящего из состояния i и финиширующего в состоянии j в момент времени t.Опустим теперь индекс min и запишем равенство P(t) = (p ij (t)) дляминимального решения, определенного уравнениями (2.5.21) – (2.5.23).Теорема 2.5.8.
Формулы (2.5.21) – (2.5.23) определяют семействосубстохастических матриц P(t) = (pij (t)), t > 0, задающих минимальное решение прямого и обратного уравнений Ṗ = PQ = QP, P(0) = I(см. соотношение (2.5.6)). Для любого t > 0 это решение имеет следующие свойства:pij (t) > 0 ∀ i, j = 0, 1, . . . , иXj>0pij (t) 6 1 ∀ i = 0, 1, . . .Также имеет место полугрупповое свойство: P(t + s) = P(t)P(s),t, s > 0.Определение 2.5.9. Говорят, что ПРГ ( k , k) с интенсивностями k ,k является невзрывным (или соответствующая Q-матрица в формуле(2.5.17) является невзрывной), если минимальное решение P(t) = (p ij (t))из теоремы 2.5.8 состоит из стохастических матриц, т. е.Xpij (t) = 1, ∀ i = 0, 1, .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
