Цепи Маркова (1121219), страница 63
Текст из файла (страница 63)
. . 1 − ( 1 + 1)1Q=.0− ( 2 + 2) 2 . . .2............ ...−000Прямые уравнения для вероятностей перехода pk (t) записываются в видеdp = −(dt kk+k)pk+k−1 pk−1+2i +1Задача 2.12.14. а) Объясните, что понимают под процессом рожденияи гибели X(t) с интенсивностями рождения ( k) и интенсивностями гибели( k), где 0 = 0.Выпишите прямые уравнения для вероятностей p k (t) = P (X(t) = k)и покажите, что вероятностная производящая функция g(s, t) = Es X(t)удовлетворяет уравнению∂g1= (s − 1) Λ (s) − M(s) , −1 < s 6 1,(2.12.1)i=0401Замечание 2.12.12. Отметим, что (см., например, Прудников А. П. ,Брычков Ю.
А. , Маричев О. И. Интегралы и ряды. М.: Физматгиз, 1981,с. 685)∞XX11= + cth( ), т. е.i = cth( ).2§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемГлава 2. Цепи Маркова с непрерывным временем400k+1 pk+1 ,k > 0,402гдеГлава 2. Цепи Маркова с непрерывным временем−1 = 0.P ks pk (t) получаемДля g(s, t) = EsX(t) =kk+kk)pk+k−1 pk−1k+Xds k pk =(− (dtXk+1)sk,откуда следует, что∂g11= −Λ − M + sΛ + M = (s − 1) Λ − M ,∂tss−1 < s 6 1,что и требовалось. Если процесс не взрывается, то эти уравнения справедливы при всех t > 0.б) В этом случае интенсивности таковы:kk = 0, 1, .
. . , N.= k,= (N − k),kСледовательно,k=0и(N − k)pk sk = Ng − sM(s) =NXkpk sk = sΛ (s) =NXk=0∂g= (s − 1)∂tNg − ( + s)∂s.N0илиh=+ ce− (++ )t.При условии h(0) = 0 находимh=+(1 − e− (+ )t).Мы видим, что X(t) ∼ Bin(N, h(t)), посколькуXCrN sr hr (1 − h) N−r = ((s − 1)h(t) + 1) N .EsX(t) =06r6N0k!ḣ = (1 − h + sh) − h( + s),= 0,0б) 1. Предположим теперь, что в модели, описанной в п. а), играпродолжается только до момента времени t = 1. Чему равна вероятностьP (X = 1)?2. Предположим, что к моменту времени t = 1 на счету у командыРоссии одна шайба.
Найдите среднее время до первой шайбы в этой игре.Решение. а) Если T — момент времени, когда впервые забивают шайбуканадцы, то T ∼ Exp(c) независимо от пуассоновского процесса ПП (r)(R(t), t > 0), которому подчиняются шайбы команды России. Тогда дляk = 0, 1, .
. . имеемZ∞crk=e−ct tk e−rt dt =Подставляя g(s, t) = (1 − h(t) + sh(t)) , получаемḣ + ( + )h −Задача 2.12.15. а) В финале олимпийских соревнований встречаютсяхоккейные команды России и Канады. Предположим, что шайбы россиянпопадают в ворота канадцев согласно процессу Пуассона с интенсивностью r > 0, а шайбы канадцев подчиняются процессу Пуассона с интенсивностью c > 0 независимо от шайб россиян. Пусть X — число шайб насчету у россиян до первой шайбы на счету у канадцев.
Предположим, чтоигра продолжается бесконечно. Найдите P (X = k), k = 0, 1, . . .R∞Указание. Справедлива формула sk e−s ds = k!.0∂g403P (X = k) = P (R(T) = k) =Z∞Z∞−ct= c e P (R(T) = k | T = t) dt = c e−ct P (R(t) = k) dt =∂g.∂sТогда в силу а) находим∂g,∂s§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемcrkk!(r + c) k+1Z∞e−t tk dt =0rkc.(r + c) (r + c) k404Глава 2. Цепи Маркова с непрерывным временемб) 1. Пусть P (1) — искомая вероятность.
ТогдаP (1) = P (R(1) = 1, T > 1) + P (R(1) = 1, T 6 1) =Z1= P (R(1) = 1) P (T > 1) + c e−ct P (R(t) = 1 | T = t) dt =0−r −c= re eZ1+ rc te− (r+c)t dt =405б) Один канадский кемпинг пользуется популярностью среди медведей,которых привлекают мусорные баки с остатками пищи. Мишки наведываются в кемпинг согласно процессу Пуассона с интенсивностью .
Прибывв лагерь, m-й мишка бродит некоторое время Rm в поисках бака, а затем затрачивает время Sm , исследуя его содержимое. Векторы (Rm , Sm),m > 1, являются независимыми случайными векторами с одним и тем же(совместным) распределением. Пусть U(t) и V (t) — число мишек, которыев момент t скитаются в поисках, и тех, которые уже нашли бак и заняты егосодержимым (будем называть это грабежом). Предположим, что U(0) == V (0) = 0.Пусть (соответственно ) — вероятность того, что медведь, прибывший в некоторый момент T (случайно выбранный по равномерному законуиз интервала (0, t)), в момент t занят поисками (соответственно грабежом).Выразите P (U(t) = u, V (t) = v) в терминах и и, воспользовавшисьэтим, покажите, что U(t) и V (t) представляют собой независимые с.в.с распределением Пуассона каждая.Покажите, что E (U(t)) → ER1 при t → ∞.Указание.
При условии {N(t) = m} первые m моментов прибытияимеют то же самое распределение, что и порядковые статистики для mнезависимых случайных величин, равномерно распределенных на интервале (0, t).Решение. а) Условие N(t) = 1 означает, что на полуинтервале (0, t]содержится лишь один момент прибытия. Пусть T — момент прибытия.Тогда(r + c)0= re− (r+c) +rc[1 − (r + c + 1)e− (r+c) ] .(r + c) 22.
Пусть S — момент времени, когда впервые забивают шайбу россияне,а T, как и ранее, обозначает момент времени, когда впервые забиваютшайбу канадцы. Тогда при условии, что R(1) = 1, с.в. S ∼ U(0, 1). Отсюдаследует, чтоP (min(S, T) > t | R(1) = 1) = (1 − t)e−ct , 0 < t < 1.Следовательно, условная плотность fmin(S,T) |R(1) =1 минимума min(S, T) равнаe−ct + c(1 − t) e−ct = e−ct (1 + c(1 − t)), 0 < t < 1,а условное среднее равно01te−ct (1 + c(1 − t)) dt = 2 (e−c − 1 + c).cP (T 6 a | N(t) = 1) = P (N(a) = 1 | N(t) = 1) ==P (N(a) = 1, N(t) − N(a) = 0)=P (N(t) = 1)ae− a e− (t−a)a=∀ 0 6 a 6 t.tte− tСледовательно, T ∼ U(0, t).б) Моменты прибытия медведей на (0, t] при условии {N(t) = n} представляют собой независимые равномерно распределенные точки на (0, t] ,соответствующие векторы (Rm , Sm), 1 6 m 6 n, независимы и одинаковораспределены.
Следовательно, в момент t каждый медведь либо занятпоисками с вероятностью , либо грабежом с вероятностью , либо ужеушел с вероятностью 1− − независимо от других. Согласно определениюThe KGB’s ’s and the FBI’s κ’s= P (R1 > t − T),= P (R1 < t − T 6 R1 + S1),1 − − = P (t − T > R1 + S1),Задача 2.12.16. а) Пусть N — процесс Пуассона с интенсивностьюПП ( ). При условии, что {N(t) = 1} покажите, что единственный моментскачка T процесса на интервале (0, t] имеет равномерное распределениена этом интервале.(Из серии «Фильмы, которые не вышли на большой экран».)E [min(S, T) | R(1) = 1] =Z1= re− (r+c) +Zr+crct1 e−t1 dt1 (где t1 = (r + c)t) =20§ 2.12.
Вопросы к теории цепей Маркова с непрерывным временемгде T ∼ U(0, t), независимо от (R1 , S1). Мы видим, что для любых таких(1 − − ) n−u−v.u!v!(n − u − v)!u vn!P (U(t) = u, V (t) = v | N(t) = n) =Тогда безусловная вероятность P (U(t) = u, V (t) = v) равнаXP (U(t) = u, V (t) = v|N(t) = n) P (N(t) = n) =407где Mi = 0 + 1 + . . . + i , i > 0. Докажите, что минимальный процесс,ассоциированный с Q, является регулярным (невзрывным) тогда и толькотогда, когдаj−1 X 1 YM1 + k = ∞.неотрицательных целых чисел u, v, что u + v 6 n, условная вероятностьвычисляется по формуле§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемГлава 2. Цепи Маркова с непрерывным временем406jj>1kk=0Указание.
Ц.м.н.в. (Xt) (или ее производящая матрица Q) являетсяневзрывной тогда и только тогда, когда системаn>u+vu!v!X ((1 − − ) t) n−u−v×(n − u − v)!n>u+v ( t) u e−=u!e− (1−t− ) t ( t) v e−v!i = 0, 1, . . . ,не имеет ограниченного нетривиального решения. Полезно также воспользоваться неравенствомt= ( t) v e−Qz = z, z = (zi), zi > 0,=n!tn>u+v ( t) u e− ( t) n e− t =t(1 + x + y) 6 (1 + x)ey ,.Решение. Нетрудно проверить, что ц.м.н.в.
X(t) регулярна тогда и только тогда, когда системаQz = z= zi ,i zi+10− 0 z0 + 0 z1 = z 0 ,0 z0 + 1 z1 + . . . + i−1 zi−1 − (Mi−1 + i)zi +iP−1т. е.j zj − (Mj−1 + + j)zj + j zj+1 = 0.i = 0:i > 1:P (R1 > r) dr.Zt011P (R1 > t − r) dr =tt=Ztне имеет ограниченного нетривиального решения. Итак, будем рассматривать ее решения:Таким образом, U(t) и V (t) являются независимыми пуассоновскими с.в.со средними значениями t и t соответственно.Далее,x > 0, y > 0.(1 − − ) n−u−vu!v!(n − u − v)!u vX n!=j=0P (R1 > r) dr = ER1lim EU(t) = ER1 .i(i > 0) — положительные кон-иi− 2XQ = (qij : i, j > 0)Q=000··0000 ·− (M0 + 1)0 ·1− (M1 + 2)0 ·12− (M2 + 3) 3 ·12···· ····· ·0− (Mi−2 + +i−1)zi−1+=0i−1 zi= 0.Подстановка приводит к уравнению(0— производящая матрица ц.м.н.в.,−j zjj=0i zi+1i− 1+ M i− 2 + +i−1)zi−1− (Mi−1 + + i)zi +(i > 0) иj zjj=0iЗадача 2.12.17.
Пустьстанты и− (Mi−1 + + i)zi +i− 1X0иt→∞(2.12.3)Предположим, что i > 1. Запишемi zi+1−и после перегруппировки членов получаем(Mi−1 + +t→∞t=Z∞limПоэтомуi−1) (zi−1− zi) +i (zi+1− zi) = 0.i−1 zi= 0,408Глава 2. Цепи Маркова с непрерывным временем409а) |zi | < 1 для всех i,б) Qz = z.z =Более того, z задает минимальное решение, т. е. если e= (ezi , i ∈ I) T удовлетворяет условиям а) и б), то ezi 6 zi для всехi ∈ I.Из теоремы вытекает, что для любого следующие условия эквивалентны:1) Q не взрывная;2) Qz = z и неравенства |zi | < 1 для всех i влекут, что z = 0.Д о к а з а т е л ь с т в о. В силу марковского свойства цепи скачков приусловии XJ1 = k выполняется соотношениеiYMk−1 + +k−1kk=1(z1 − z0)., откуда следует,0kj=1 k=1.E i (eРешение является ограниченным и нетривиальным тогда и только тогда,когдаj1 X Y Mk−1 + k−1 +< ∞,j>1jk=0k+k< ∞.Если это неравенство выполняется для некоторогочтоj−1 X 1 YM1 + k < ∞.jjP 1jj< ∞.X 1 Yjjk=0Наконец, поскольку 1 + x + y < (1 + x)ey , заключаем, что1+Mk +k6j−1X 1 Yjjk=01+Mkk)=q i zkqi +zi =X qi bpik zkk6=iqi +.(2.12.4)bik = qik (2.12.4) эквивалентно уравнеВ силу соотношений qi = −qii и qi pниюXzi =qik zk .i> 0, тогда очевидно,И наоборот, если выполняется последнее неравенство, тоj−1Texplo0иТеперь предположим, что ez также удовлетворяет условиям а) и б).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
