А.Н. Зубков - Курс лекций по теории случайных процессов, страница 6

ADk = ⊔l>k ADk ∩ {Tl 6 tn < tl+1 } = ⊔l>k Ak,l . Достаточно показать,что ∀l > kP(Ak,l | Bk ) = P(Ak,l | Bk′ ). К сожалению, даже такого дробления событий нам не хватит, поэтомурассмотрим семейства событийBk = ⊔α∈I Bα == ⊔α∈I {ξ(tj ) = ij , 0 6 j 6 n − 1; ξk = in−1 , Tk 6 tn−1 < Tk+1 ; ξm = αm , 0 6 m 6 k − 1, Tα( j) 6 tj < Tα( j+1) , 0 6 j 6 n − 2},Bk′ = ⊔α∈I ′ Bα′ == ⊔α∈I ′ {ξ(tn−1 ) = in−1 , Tk 6 tn−1 < Tk+1 , ξk = in−1 ; ξm = αm , 0 6 m 6 k − 1},где индексами α пробегаются все возможные сочетания значений вложенной цепи и варианты попадания tjв интервалы между Ti . Заметим, что если вероятность Bα равна нулю, но условную вероятность P (Ak,l | Bα )можно положить равной чему угодно, в частности, тому, что нам нужно (это не влияет на условную вероятностьпо условию ⊔α Bα ).

Если же вероятность Bα не равна нулю, то из Bα можно выкинуть все ограничения типаξ(tk ) = ik , так как все ξ(tk ) определены тем, в какой интервал [Tj , Tj+1 ) попадает tk и чему равно ξj . Такимобразом, без ограничения общности можно считать, что {ξ(tj ) = ij , 0 6 j 6 n − 1; ξk = in−1 , Tk 6 tn−1 <Tk+1 ; ξm = αm , 0 6 m 6 k − 1, Tα( j) 6 tj < Tα( j+1) , 0 6 j 6 n − 2} = {ξk = in−1 , ξm = αm , 0 6 m 6 k − 1, Tk 6tn−1 < Tk+1 , Tα( j) 6 tj < Tα( j+1) , 0 6 j 6 n − 2}. Заметим также, что на каждом из событий Bα векторPi−1T = (T1 , .

. . , Tk ) не зависит от (ξ1 , . . . , ξk ), т.к. на Bα Ti =τj /αj , а величины {τi }и{ξi } независимы в0совокупности. То же относится и к Bα′ .Теперь попытаемся посчитать P(Ak,l | Bα ). Для этого возьмём наше многострадальное событие Ak,l и разобьём его ещё мельче.Ak,l = ∪(bk+1 ,...,bl )∈S n Ak,l ∩ {ξk+1 = bk+1 , . .

. , ξl = bl } = ∪β Ak,l,β .Учитывая сказанное выше о независимости ξ и τ , P(Ak,l,β ) распадётся в произведение P(ξl = in , . . . ξk+1 = bk+1 |ξk = in−1 , . . . , ξ0 = α0 )× P(Tl 6 tn < Tl+1 | T ∈ Vα ), где Vα — некоторое борелевское множество, соответствующее20тому, что все компоненты T попадут куда надо (Tk 6 tn−1 < Tk+1 , Tα( j) 6 tj < Tα( j+1) , 0 6 j 6 n − 2). Помарковскому свойству эта вероятность равна P(ξl = in , . . .

, ξk+1 = bk+1 | ξk = in−1 ) × P(Tl 6 tn < Tl+1 | T ∈ Vα ).Чтобы увидеть, что P(Ak,l,β | Bα ) = P(Ak,l,β | Bα′ ) = Pξ × PT , применим нашу лемму, разбив Bα′ в объединениесобытий, проиндексированных всевозможными вариантами попадания точек t0 , . . . , tn−2 в интервалы [Tj , Tj + 1)и значениями элементов ξ0 , .

. . , ξk−1 вложенной цепи.Докажем, наконец, что P(A | Bk′ ) = P(A | Bl′ ).Лемма 7.3. Пусть A, e1 , . . . – независимые неотрицательные случайные величины, причём ei распределеныэлкспоненциально (с параметрами λi ). Тогда при условии A 6 t < A + e1 случайные величины E1 = A + e1 −t, e2 , . . . тоже независимы и распределены экспоненциально с теми же параметрами (A+e1 −t — с параметромλ1 ).

Это небольшое обобщение свойства отсутствия памяти у экспоненциального распределения.>t1 ,A6t<A+e1 ) P(E1 > t1 , . . . , en > tn | A 6 t < A+e1 ) = P(E1P(A6t<A+eP(e2 > t2 ) . . . P(en > tn ), в силу независимости1(A, e1 ) и (e2 , . . . , en ). Вычислим оставшуюся условную вероятность.Z tZ ∞Z tP(A + e1 − t > t1 , A 6 t < A + e1 ) =dPA (x)λ1 e−λ1 y dy = e−λ1 (t1 +t)ex dPA (x),0P(A > t < A + e1 ) =Zt1 +t−xtdPA (x)0Z∞λ1 e−λ1 y dy = e−λ1 tt−x0Ztex dPA (x).0Следовательно, искомая вероятность равна e−λ1 t1 , что и требовалось доказать. Для того, чтобы доказать, что P(A | Bk′ ) P= P(A | Bl′ ), покажем, что эти вероятности можно собрать из′одинаковых слагаемых.

А именно, P(A | Bk ) = l>k P(A, Tl 6 tn < Tl+1 | Bk′ ). Зафиксируем l и разобьём Πl−k =A ∩ {Tl 6 tn < Tl+1 } ∩ Bk′ по всем возможным значениям промежуточных элементов цепи Ъ = (ξk+1 , . . . , ξl ), аусловие — по значениям Ё = (ξ0 , . . . , ξk−1 ), а далее, конечно же, докажем, что условная вероятность любого изΠl−k (Ъ) при условии Bk′ (Ё ) не зависит от Ё . Действительно, зафиксировав Ъ и Ё , получаем, что наша условнаявероятность распадается в произведение марковской переходной вероятности (по Ё ) и условной вероятностипопадания вектора (Tk , . .

. , Tl ) = T (τk , . . . , τl ; in−1 , Ъ) = T (τk + Tk − tn−1 , . . . , τi ; in−1 ; Ъ) в некоторое множествопри условии Tk 6 tn−1 < Tk + τk . Tk есть функция от (τ1 , . . . , τk−1 ; Ё ) и поэтому независим с τk , . . .. Применяемлемму, которая говорит, что эта вероятность не зависит от распределения Tk , а, следовательно, и от k. Пример 1.2. Нерегулярная цепь Маркова: λk не ограничены. S = N, вложенная цепь Маркова имеет видξk = k (детерминированный процесс), λk = (k + 1)2 , k > 0. Матрица вероятностей переходов:0 1 0 0 ...0 0 1 0 . . .P = 0 0 0 1 . .

... .. .. .. . ... . . .τkτk12P> x = e−(k+1) x , M=для всех k > 0. Отсюдаλkλk(k + 1)2MTn =n−1Xk=0Mn−1Xτk1=<3λξk(k + 1)2k=0для всех n (ряд сходится). Последовательность {Tn } ограничена и монотонно возрастает ⇒ существует пределT = lim Tn , MT < 3 < ∞. К моменту T цепь совершит бесконечное число скачков и уйдёт в бесконечность.n→∞Траектория строится только на [0; T ).Пусть ξ(t) — однородная цепь Маркова с непрерывным временем.

Величина pij (t) = P(ξ(s + t) = j | ξ(s) = i)называется вероятностью перехода из состояния i в состояние j за время t (в силу однородности она не зависитот s. P (t) = (pij (t))i,j∈S — матрица переходных вероятностей за время t.Лемма 7.4. Если ξ(t) — однородная цепь Маркова с непрерывным временем, то для любых t, s > 0 P (t+s) =P (t)P (s). Как и в дискретном случае, воспользуемся формулой полной вероятности, марковским свойством иоднородностью:pij (t + s) = P(ξ(s + t) = j | ξ(0) = i) =XX=P(ξ(t) = k | ξ(0) = i)·P(ξ(t+s) = j | ξ(t) = k, ξ(0) = i) =P(ξ(t) = k | ξ(0) = i)·P(ξ(t+s) = j | ξ(t) = k) =k∈S=Xk∈Sk∈SP(ξ(t) = k | ξ(0) = i) · P(ξ(s) = j | ξ(0) = k) =21Xk∈Spik (t)pkj (s),что и требовалось.

Для однородных цепей Маркова множество {P (s) | s > 0} с операцией умножения матриц образует коммутативную полугруппу. В неоднородном случае матрица переходных вероятностей зависит ещё и от s, и формулаприобретает вид P (s, s + t + u) = P (s, s + t) · P (s + t, s + t + u).В силу предыдущей леммы для однородной цепи Маркова P (k) = (P (1))k , P (1) = (P ( n1 ))n .Рассмотрим последовательность состояний ξ(t) в целые моменты времени: ξ(0), ξ(1), ξ(2), .

. . . Это будет цепьюМаркова с дискретным временем. Она называется вложенной по-другому цепью Маркова. Таким образом,имеются два различных понятия вложения дискретной цепи Маркова в непрерывную.Лемма 7.5. Если ξ(t) — однородная цепь Маркова с непрерывным временем и конечным или счётным множеством состояний S с вложенной (в первом смысле) цепью Маркова ξn и матрицей вероятностей переходовв моменты скачков P = (pij ), λi < ∞, и если состояние j вложенной цепи следует за состоянием i, то длялюбого t > 0 pij (t) > 0. Если i −→ j, то существует k < ∞ и существуют i1 , . .

. , ik ∈ S такие, что pii1 pi1 i2 . . . pik−1 ik pik j > 0 (из iможно перейти в j с ненулевой вероятностью за конечное число шагов). Запишем время перехода из i в j:σ=τ0τ1τk++ ···+.λiλi1λikpij (t) = P(ξ(t) = j | ξ(0) = i) = pii1 . . . pik j · P(σ < t < σ + τk+1λj ) (нужно, чтобы мы за время t попали в состояниеj и не успели из него выйти). Мы хотим показать, что P(σ < t < σ + τk+1λj ) > 0.σ есть сумма независимых показательно распределённых случайных величин ⇒ распределение σ есть свёрткараспределений этих величин ⇒ плотность fσ распределения σ положительна на всём луче [0, +∞): fσ (x) > 0при x > 0. Отсюда Ztτk+1τk+1P σ<t<σ+= fσ (x) · P> t − x dx > 0,| {z }λjλj|{z}0>0=e−(t−x)λj >0что и требовалось. 7.2. Предельная теоремаТеорема 7.6. Если ξ(t) — однородная цепь Маркова с непрерывным временем и конечным множествомсостояний S с интенсивностями выходов λi < ∞ и если все её состояния сообщаются, то для любых i, j ∈ Sсуществует предел lim pij (t) = pj > 0, не зависящий от i.t→∞ Рассмотрим вложенную по-другому цепь Маркова с дискретным временем: ξn = ξ(n).

Все элементыматрицы вероятностей переходов (P (1)) положительны (по лемме 7.5), поэтому применима предельная теоремадля цепей Маркова с дискретным временем (теорема 3.4): существует предел lim P(ξ(n) = j | ξ(0) = i) = pj ,n→∞не зависящий от i (j = 1, . . . , N ). Получили сходимость по подпоследовательности: ∀ x > 0 lim P(ξ(n + x) = j |n→∞ξ(x) = i) = pj ({ξ(n + x)} — тоже цепь Маркова с дискретным временем с матрицей P (1)). Докажем, что длялюбой последовательности tk −→ ∞ limk−→∞ P(ξ(tk ) = j | ξ(0) = i) = pj .

Очевидно, имеет место представлениеtP→ ∞, dk ∈ (0, 1). P(ξ(nk − dk ) = j | ξ(0) P= i) = P(ξ(nk ) = j | ξ(dk ) = i) =k = nk − dk , где nk ∈ N, nk −→ pj (k −→ ∞) и l pil (1 − dk ) ≡ 1 (и pil (1 − dk ) > 0!),l plj (nk − 1)pil (1 − dk ). Так как для всех l plj (nk − 1) −то и вся сумма сходится к pj . Теорема 7.7. Пусть ξ(t) — однородная цепь Маркова с конечным или счётным множеством состоянийS, P = (pij ) — матрица вероятностей переходов в моменты скачков, pii = 0 для всех i, λ∗ = sup λi < ∞. Тогдаi∈Sсуществуют пределыqi = limt→0+1 − pii (t)= λitиqij = limt→0+pij (t)= λi pij .t Пусть ξ(0) = i, τi = inf{t > 0 : ξ(t) 6= i} — момент первого выхода из i. P{τi > x} = e−λi x при x > 0. Поформуле полной вероятности:P{τi > t} 6 pii (t) = P(τi > t) +ZtX0 j∈S\{i}22pij pji (t − u) dP{τi 6 u}.Далее, pji (t − u) 6 P{τj 6 t − u} = 1 − e−λj (t−u) , dP{τi 6 u} = λi e−λi u du, откудаZtX0 j∈S\{i}pij pji (t − u) dP{τi 6 u} 6Zt0iupij 1 − e−λj (t−u) λi e|−λ{z } du 6|{z}j∈S\{i}61X6λj (t−u)6λ∗ (t−u)6ZtX0 j∈S\{i}где предпоследний переход верен в силу того, чтоPjpij λ∗ (t − u)λi du 6 λ∗ λit2= O(t2 ) (t −→ 0+),2Rtpij 6 1, (t − u) du = t2 /2.0Итак, e−λi t = P{τi > t} 6 pii (t) 6 e−λi t + O(t2 ) ⇒ 1 − e−λi t 6 1 − pii (t) 6 1 − e−λi t + O(t2 ), откуда (т.к.1 − e−λi t = λi t + O(t2 )) получаем, что 1 − pii (t) = λi t + O(t2 ), что и доказывает первое предельное соотношение.Пусть теперь i 6= j.

Оценим pij (t) снизу по формуле полной вероятности вероятностью того, что переход изi в j произошёл сразу (без промежуточных состояний) и оценим получившийся интеграл:pij (t) >Zt0pij P{τj > t − u} dP{τi 6 u} = pijZ0e−λj (t−u) λi e−λi u du = pij λi t + o(t)t(t −→ 0+)(экспоненты равномерно стремятся к 1 при t −→ 0+).