Цепи Маркова (1121219), страница 40
Текст из файла (страница 40)
. .. . . + Sn−1 ; напомним, что Si ∼ Exp ( ) и н.о.р.с.в.. Значит, Hn+1 > Hn , т. е.Hn % по n. Таким образом, либо Hn % ∞, либо величины Hn остаютсяограниченными. Мы хотим проверить, что,P (обе птицы прилетят до момента s | одна птица каждого видаприлетела до момента t) =Рис. 2.29lim exp −K →∞KXk=0Sk = limK →∞KYk=0e −S k .250Глава 2.
Цепи Маркова с непрерывным временемСходимость монотонна, с.в. e−Tвзр заключена между 0 и 1 и равна 0,если Tвзр = ∞. Следовательно, математическое ожидание Ee −Tвзр можнопонимать как E [e−Tвзр 1(Tвзр < ∞)] .С другой стороныEe−Tвзр = lim EK →∞YKk=0e −S k ,в силу теоремы о монотонной сходимости (можно также использоватьтеорему об ограниченной сходимости, известную как теорема Лебега о мажорируемой сходимости). В силу независимости с.в.
S 0 , S1 , . . . , имеемEYKk=0e −S k=KYEe−Sk =k=0+1K§ 2.3. Процесс Пуассонаоткуда следует, что с вероятностью1 с.в. e−U равна 0 и U = ∞, чтоPLk и то, что Nt % ∞..означает расходимость рядаkЗавершим данный параграф кратким обсуждением так называемогопарадокса инспектора для ПП ( ) (Nt). Рассмотрим длину SNt +1 интервала пребывания, содержащего момент времени t. Она имеетследующую функцию распределения:P (SNt +1 6 x) = 1 − (1 + min [t, x])e− x , x > 0,ESN(t) +1Z∞= (1 + min [t, x])e− x dx = (2 − e− t) / .(2.3.15)0а эта величина стремится к 0 при K → ∞.
ПоэтомуЗаключаем, что с вероятностью 1 с.в. e−TвзрPравна 0, откуда следует, чтоSk и то, что Hn % ∞:Tвзр = ∞, что означает расходимость ряда(2.3.14)со средним значением,Ee−Tвзр = 0.251Ключевым моментом здесь является тот факт, что SNt +1 ∼ min [t, S− ] ++ S+ , где S± ∼ Exp( ) и с.в. S± независимы между собой.В частности, для хвоста функции распределения получаем урезаннуюпоказательную формуkPX∞k=0Sk = ∞= P lim Hn = ∞ = 1.n→∞Затем аналогично либо Nt % ∞, либо Nt остается ограниченным (т.
е.не меняется после некоторого случайного момента времени). Иными словами, событие {Nt 6→ ∞} совпадает с событиямиX{Nt+s ≡ Nt ∀ s > 0 для некоторого t > 0} =Lk < ∞ .P (min [t, S− ] > y) = 1(0 < y < t)e−−E min [t, S ] =Z∞−P (min [t, S ] > y) dy =0kK →∞Zt0Здесь Lk = Nk+1 − Nk — это приращение на единичном временном интервале [k, k + 1); мы знаем, что Lk ∼ Po(1) и с.в. Lk независимы, k = 0, 1, .
. .п.ф.м. равна Ee Lk = exp(e −P1).Lk и используем п.ф.м. Ee−U . Рассуждая,Аналогично положим U =Ee−U = lim [exp(e−1 − 1)] K = 0,∀ y > 0,(2.3.16)откудаkкак и ранее, получимyРис. 2.30e−ydy =1(1 − e− t).252Глава 2. Цепи Маркова с непрерывным временем253Пример 2.3.11. 1. Пусть (Xt) t>0 и (Yt) t>0 — независимые ПП с интенсивностями и соответственно, Покажите, что процесс (X t + Yt) t>0также является процессом Пуассона, и найдите его интенсивность.2. Некий наблюдатель полагает, что у процесса Пуассона с интенсивностью первое время пребывания больше, чем все последующие временапребывания. Сколько времени в среднем понадобится, чтобы этот наблюдатель удостоверился в ошибочности своего утверждения?Решение.
1. Если (Xt) и (Yt) — независимые процессы Пуассона с интенсивностями и , а Zt = Xt + Yt , то для процесса (Zt) выполненыусловия а) и б). Далее,Это приводит к формуле свертки§ 2.3. Процесс Пуассонаeds +0=Zx0Zxe− s ds − e−(x−t) +xZx(x−t) +(1 − e−(x−s))e− s ds =ds = 1 − e−x− e− x [x − (x − t) + ] ,где (x − t) + = max[x − t, 0] . Поскольку x − (x − t) + = min[x, t] , получаемтребуемый результат.Находим математическое ожидание:ESN(t) = E min[t, S− ] + ES+ =1(1 − e− t) +1=2−e− tP (SN(t) > x) = (1 + min [t, x])e→ (1 + x)e− x, x > 0.,(2.3.17)Правая часть в формуле (2.3.17) есть хвост функции распределения законаGam(2, ).
Соответствующая плотность распределения имеет видfGam (2, ) (x) =2xe− x 1(x > 0).Иными словами, с.в. SN(t) сходится по распределению к сумме двухн.о.р.с.в. с распределением Exp( ). Понятно, что одну из этих величинможно отождествить с S+ , а другую — с S− . Отметим также, что для 0 << t < ∞ выполняются неравенстваe−xnXk=0=nXk=0откуда следует соотношение (2.3.15).Следует отметить, что при t → ∞ для хвоста функции распределенияполучаем асимптотику следующего вида:− xP (Zt = n) =P (Xt = k, Yt = n − k) =P (Xt = k) P (Yt = n − k) == e− (+ )tP (S+ > x) < P (SN(t) > x) < P (S+ + S− > x),В этом случае говорят, что с.в. SN(t) стохастически больше, чем с.в. S+ ,но стохастически меньше, чем S− + S+ .Парадокс инспектора привлекал к себе значительное внимание в литературе.
Возможно, наиболее впечатляющими являются попытки использовать его для поиска НЛО и внеземных цивилизаций.e− (+ )t=)t.k=0Следовательно, Zt является ПП ( + ).2. Наблюдатель зафиксировал, что время пребывания в состоянии 0равно J1 ; чтобы удостовериться в ошибочности его утверждения, требуетсяпродолжать наблюдения, до тех пор пока не будет зафиксировано времяпребывания с длительностью, по крайней мере, равной длительности первого времени пребывания.
При условии, что J1 = s, условное среднее времядо появления такого события равно s + ET (s), гдеT (s) = inf{t > s : Nt = Nt−s }.Величина ET (s) удовлетворяет уравнениюET (s) = sex > 0.k=0k! (n − k)!n1 Xn!(( + )t) n − ( +( t) k ( t) n−k =en!k!(n − k)!n!< (1 + min [t, x])e− x) < (1 + x)e− x ,т. е. вероятности хвостов удовлетворяют соотношениюnX( t) k ( t) n−k=− s0(xZ−t) +P (min [t, S− ] 6 x − s) ( e− s) ds =FSN(t) (x) = P (SN(t) 6 x) =Zx− s+Zsda(a + ET (s)) e− a ,0полученному усреднением по первому скачку. Следовательно,ET (s) = (es− 1) / .Тогда среднее время до момента, когда будет зафиксировано время пре-254Глава 2.
Цепи Маркова с непрерывным временембывания не меньше J1 , равноZ∞ds e−0n=0ss+e s−1= ∞.t3n12e −t= + e−3t/2 cos(3n)!33 √3 t .2Решение. 1. а) Худший случай — это тот, когда X0 = 1. При этом n-евремя пребывания Jn ∼ Exp(n2). Следовательно,X XX 1EJn =EJn =< ∞,2n255Чтобы найти p00 (t), вычислимПример 2.3.12.
1. В каждом из следующих случаев заданы пространство состояний I, а также ненулевые интенсивности перехода q ij (i 6= j)ц.м.н.в. Определите, в каких случаях цепь взрывается:а) I = {1, 2, 3, . . . }, qi,i+1 = i2 , i ∈ I,б) I = Z, qi,i+1 = qi,i−1 = 2i , i ∈ I.2. Дети приходят покачаться на качелях согласно процессу Пуассонас интенсивностью 1.
Первоначально нет ни одного ребенка. Прибывшийпервым ожидает, когда придет второй ребенок, и затем они начинаюткачаться на качелях. Когда приходит третий, они все решают пойти на карусель. Цикл затем повторяется. Покажите, что число детей, приходящихпокачаться на качелях, эволюционирует как ц.м.н.в. и найдите Q-матрицуэтой цепи. Найдите вероятность того, что в момент времени t на качеляхнет ни одного ребенка.Таким образом, получите тождество∞X§ 2.3. Процесс Пуассонаnndet(κ I − Q) = detκ + 1 −100κ + 1 −1−10κ+13p00 (t) = A + e− 32 tQ=−1 1 00 −1 11 0 −1.√3√√ 33B cost + C sint ,22где A, B, C — некоторые постоянные.
Заметим, что1= p00 (∞) = A,3−1 = q001 = p00 (0) = A + B,√33= ṗ00 (0) = − B +C,22откуда получаем B = 2/3 и C = 0. Заключаем, что√12 −3t32cost.p00 (t) = + e332С другой стороны, поскольку на качелях никого нет в точности тогда, когдаобщее число прибывших кратно 3,p00 (t) =∞Xe −tn=0что приводит к требуемому тождеству.i2.
Ср. с решением примера 2.2.6. Так как приход детей следует процессуПуассона, число детей на качелях представляет собой одно из состоянийц.м.н.в. с тремя состояниями и Q-матрицей вида!= (κ + 1) 3 − 1 = κ (κ 2 + 3κ + 3).Таким образом, собственные числа матрицы Q — это 0 и − ±i.
При22меняя стандартный метод диагонализации, находимnи цепь взрывается.б) Цепь скачков является простым симметричным случайным блужданием на Z, которое возвратно и попадает в состояние 0 бесконечно часто.Времена пребывания при последовательных попаданияхв0обозначим T 1 ,PT2 , .
. . Тогда с.в. Ti ∼ Exp(2), независимы и PTi = ∞ = 1. ВремяiPвзрыва не меньшеTi , следовательно, цепь не взрывается.!Рис. 2.31t3n,(3n)!256Глава 2. Цепи Маркова с непрерывным временем§ 2.4. Неоднородный процесс Пуассона257и числа скачков независимы на непересекающихся интервалах. При этомΛ (s, t + s) =Zs+t(u) du(ранее t 1(s > 0)) =s= E (число скачков на (s, s + t)).Мы предполагаем, что функция Λ (s, t) конечна для любых 0 < s < t < ∞.Рис. 2.32§ 2.4.
Неоднородный процесс Пуассона... and since a woman must wear chains,I would have the pleasure of hearing ’em rattle a bit.... и так как женщина должна носить цепи,мне было бы приятно слышать их легкий звон.Рис. 2.34Г. Фаркухар (1678–1707), ирландский драматургПонятие процесса Пуассона чрезвычайно плодотворно и приводитк многочисленным обобщениям.Вначале рассмотрим неоднородный процесс Пуассона (НПП ). Этотпроцесс получают, обобщая определения а) (независимых пуассоновскихприращений) и б) (инфинитезимальных вероятностей). Удобно начать с характеристики б): здесь просто заменяют постоянную интенсивностьинтенсивностью (t), зависящей от времени:P (на интервале (t, t + h) нет скачков) = 1 − (t)h + o(h),P (на интервале (t, t + h) один скачок) = (t)h + o(h),(2.4.1)P (> 2 скачков на (t, t + h)) = o(h).Сохраняют, конечно, предположение о независимости приращений нанепересекающихся временных интервалах.P (Nt1 − Nt0 = i1 − i0 , . .
. , N(tn) − N(tn−1) = in − in−1) = tni−in−1 Q (Λ (tk , tk+1)) k+1 k exp − R (u)du , если 0 6 i 6 . . . 6 i ,n1(ik+1 − ik)!= k=0t00в противном случае;(2.4.3)б) как процесс с независимыми приращениями на непересекающихсявременны́х интервалах, имеющий следующее асимптотическое поведениепри h → 0+:Рис. 2.33Характеризация a) может быть также немедленно перефразированав следующем виде: для любых s, t > 0число скачков на (s, t + s) ∼ Po(Λ (s, t + s)),Назовем такой процесс НПП ( (t)). Формальное определение таково.Определение 2.4.1.
Неоднородный процесс Пуассона с интенсивностью (t), t > 0, — это неубывающий процесс (Nt , t > 0) со значениямив Z+ и с N0 = 0, который можно охарактеризовать двумя эквивалентнымиспособами:а) как процесс с независимыми приращениями N(t j+1) − N(tj) ∼∼ Po(Λ (tj , tj+1)) на непересекающихся временных интервалах: ∀ 0 = t 0 << t1 . . . < tn и 0 = i0 , i1 , .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
