Цепи Маркова (1121219), страница 64
Текст из файла (страница 64)
Тогдапо индукции проверяем, чтоezi 6 E i (e− Jn ).kk=0e− u qi e−qi u du E k (e−j−1X 1 YMk +т. е. когда| XJ1 = k) =Z∞kj>1 k=10− Texplok−1ji YXMk−1 + +0kk=1ePi1/i< ∞.Сформулируем теорему, использованную при решении этой задачи.Теорема 2.12.18.
Пусть (X) — ц.м.н.в. с генератором Q и T == Texplo — момент взрыва этой цепи. Зафиксируем > 0 и положимzi = Ei (e− T ). Тогда вектор-столбец с компонентами zi , i ∈ I, удовлетворяет условиям:(2.12.5)Действительно, из а) вытекает неравенство (2.12.6) при n = 0, а используядля (2.12.6) для n, проверяем его для n + 1:ezi =X qi bpikezkk6=iqi +X qi bpik6k6=iqi +0zi+1 = z0 1 +z0Используя соотношение (2.12.3), находим z1 − z0 =чтоiz Y Mk−1 + + k−1,zi+1 − zi = 0E k (e− Jn ) = E i (e−В силу теоремы о монотонной сходимости lim E i (e−n→Jn+1Jn+1).) = E i (e−Texplo).Следовательно, ezi 6 z i .Задача 2.12.19.
Оборудование в новом офисе начальника департамента находится под контролем компьютерной системы и ведет себя довольностранно. Если шторы опущены в момент n, то компьютер их поднимаетв момент n + 1 с вероятностью 1 ; если же шторы подняты в момент n, ониопускаются с вероятностью 2 . Если освещение выключено в момент n, тоi(zi − zi−1) = . . . =i−1Mi−1 + +zi+1 − zi =Тогда§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем2−(n)n;(n)21=шв,+12=шнаналогичные формулы можно записать для pнв , pвн и pвв . Инвариантноешраспределение задается как ш = ( шн , в ) и определяется формулами1+2.Аналогичные формулы имеют место и для инвариантного распределения с = ( свкл , свыкл) для освещения (где заменяется на ). Наконец,в силу независимости находим, что совместные вероятности перехода равны произведениям, а именно(n)21p (н,вкл) (н,вкл) =+(1 − 1 − 2) n ×1 + 21 + 221×+(1 − 1 − 2) n ,1+21+2и совместные инвариантные вероятности также равны произведениям, аименно(ш,с)11.(н,выкл) =1+21+2Аналогично для предельной пропорции среднего времени получаем выражение22(1+2)(1+2)поскольку первое удаление соответствует минимуму n независимых показательных случайных величин, т.
е. происходит в показательно распреде-ленное время с интенсивностью= P(t)Q таковы: d p0 = − p 0 + p 1 ,n. Тогда прямые уравненияdP(t) =dtdt d pn = pn−1 − ( + n)pn + (n + 1)pn+1 , n > 1,(n)2)dtQ-матрица имеет вид00 ...−( + )0 . . .,Q=−( + 2 ). . .02............ ...−а уравнение для инвариантного распределения имеет вид Q = 0.Мы можем также рассмотреть уравнения детального баланса.i− 1=ii12(1 −+12+1+21(n)pнн(n) =Следовательно, вероятность перехода за n шагов определяется по формулеЗадача 2.12.20. Агентство по контролю за качеством высшего образования направило комиссию для исследования процесса обучения математике в Кембриджском университете.
Во время своего пребыванияв университете комиссия ведет список поступающих претензий. Предположим, что в течение временно́го интервала (t, t + h) новая жалоба подаетсяс вероятностью h + o(h), в то же время любая из уже поступивших жалобпризнается необоснованной и удаляется из списка жалоб с вероятностьюh + o(h). Введя приемлемые предположения, покажите, что число C(t)активных жалоб в списке на момент времени t образует процесс рожденияи гибели с интенсивностями рождения n = и интенсивностями смертиn = n .Получите прямую систему уравнений для вероятностей p n (t) == P(C(t) = n).
Покажите, что m(t) = EC(t) удовлетворяет дифференциальному уравнению m0 (t) = − m(t), и найдите m(t) при начальномусловии m(0) = 1.Найдите инвариантное распределение процесса.Решение. Предположим, что каждое отдельное удаление жалобы изсписка не зависит от других и что поступление и удаление жалоб также независят друг от друга. Тогда условная вероятность удовлетворяет соотношениюP (C(t + h) − C(t) = −1 | C(t) = n) = nh + o(h),1−2411компьютер включает его в момент n + 1 с вероятностью 1 ; если же оновключено, то выключается оно с вероятностью 2 . Изменения состоянийштор и освещения не зависят друг от друга и от предыдущих состояний.Начальник департамента входит в свой кабинет в момент 0 и обнаруживает, что шторы опущены и освещение выключено. Какова вероятностьтого, что в момент его ухода n шторы и освещение будут находится в такомже состоянии?Определите предельную пропорцию среднего времени, в течение которого одновременно опущены шторы и выключено освещение.Решение.
Обозначим состояния штор Н (опущены вниз) и В (поднятывверх), матрица перехода имеет вид1− 11.§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемГлава 2. Цепи Маркова с непрерывным временем410,i > 1,Глава 2. Цепи Маркова с непрерывным временемm(0) = 1,+ 1−m(t) =t→∞и найти среднее время занятости процессора между двумя последовательными периодами простоя. Что произойдет, если 1 + / > 2p?Решение. В описанном примере0e− t .и=i+q ,=i= p , i > 1,+q.p− m(t),откуда следует, что∼ Po( / ).
Уравнение длягде q = 1 − p, поэтомуiЕсли 1 + / < 2p, то=pi−1, i > 1, где=< 1, следовательно,dm(t) =dt., а следовательно,i!= ... =413эти задания вновь отправляются в общую очередь для их обработки. ПустьX(t) — число заданий в системе в момент времени t.В случае, когда 1 + / < 2p, оцените lim P (X(t) = j), j = 0, 1, . . . ,/= e−i−100i iТаким образом,m(t) имеет вид=§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемiоткуда получаем412Специалисты по марковским процессам любят делать это в невозвратном состоянии.+ h(t)P( ) = 1 −1−,0<.+ )где h(t) = e−t(Пусть(1 − h(t))Покажите, что полугруппа матриц перехода P(t) = exp(tG) задается уравнением+ h(t)(1 − h(t))P(t) = ( + ) −1,< 1.Для ц.м.н.в.
X пусть M — матрица, у которой (i, j)-й элемент равенP (X(1) = j | X(0) = i) для i, j ∈ S. Покажите, что цепь X с матрицейM = P( ) существует тогда и только тогда, когда > 1/2.Решение. Самый краткий путь решения — это проверить, что матрицаP(t) удовлетворяет уравнениям P 0 (t) = P(t)Q = QP(t) и сослаться натеорему о единственности решения.Задача 2.12.22. Задания поступают на обслуживание согласно процессу Пуассона ПП ( ). Задания последовательно выполняются на единственном процессоре, времена обслуживания являются н.о.р.с.в.
и имеют> 0. После обработкипоказательное распределение с параметромзадание либо покидает систему с вероятностью p, 0 < p < 1, либо,с вероятностью 1 − p, оно разбивается на два отдельных задания, и обаp (1 − )< ∞ и P (X(t) = j) →j /mпри t → ∞.Среднее время возвращения в 0 в этом случае равно 1 / ( 0) = m/ ,следовательно, средняя продолжительность периодов занятости будет равна(m − 1)11==.(2p − 1) −p (1 − )Задача 2.12.21.
Пусть X — ц.м.н.в. на пространстве состояний I == {1, 2} с производящей матрицей−, где , > 0.Q=−m=1+(Из серии «Как они делают это».)Если 1 + / > 2p, то цепь либо имеет нулевую возвратность, либоневозвратна, а значит, P (X(t) = i) → 0, и средняя продолжительностьпериодов занятости становится бесконечной.Задача 2.12.23. а) Пусть W (t) — число ос, приземлившихся на тарелкус супом в течение интервала времени (0, t] , и предположим, что вероятность прилета осы в течение интервала (u, u + h) равна (u)h + o(h) длянекоторой заданной функции .
Четко сформулируйте все дополнительныепредположения, необходимые, чтобы представить W как неоднородныйпроцесс Пуассона с функцией интенсивности . Покажите, что W (t) имеетRtраспределение Пуассона со средним(u) du.0б) Пусть X1 , X2 , . . . — последовательность поступающих предложенийо покупке дома. Предположим, что Xi являются н.о.р.с.в. с плотностьюраспределения f и функцией распределения F. Будем говорить, что X n —это рекордное значение, если n = 1 или Xn > Xi при всех i < n.Найдите вероятность того, что Xn представляет собой рекордное значение.Найдите также оценку вероятности того, что этот рекорд лежит в интервале(u, u + h), где h — малая величина.
Пренебрегая всеми членами порядкаo(h) для малых h, найдите вероятность того, что интервал (u, u + h) содержит рекордное значение. Покажите, что число R(t) рекордных значений наинтервале (0, t] имеет среднее − ln(1 − F (t)) при условии F (t) < 1.414Глава 2. Цепи Маркова с непрерывным временемРешение. а) Предположим, что является «хорошей» функцией (например, она ограничена и интегрируема на каждом интервале (0, t)). Предположения относительно процесса (W (t), t > 0), W (0) = 0, которые мыбудем использовать, таковы:1) вероятность P (W (u + h) − W (u) = 1) того, что на интервале (u, u + h)происходит единственный прилет, равна (u)h + o(h), где o(h) стремитсяк 0 при h → 0 равномерно по u ∈ (0, t);2) вероятность P (W (u + h) − W (u) > 2) нескольких моментов прилетана интервале (u, u + h) равна o(h), где o(h) стремится к 0 при h → 0равномерно по u ∈ (0, t);3) приращения W (t1) − W (t0), .
. . , W (tn) − W (tn−1) независимы, длялюбых моментов времени 0 = t0 < t1 < . . . < tn = t, т. е.P (W (tj) − W (tj−1) = kj , 1 6 j 6 n) =nYj=1§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем415что W (t + s) − W (s) ∼ Po(Λ (t + s) − Λ (s)). Следовательно, семейство(W (t), t > 0) представляет собой неоднородный процесс Пуассона с интенсивностью (t).б) Если n = 1, то по определению P (X1 является рекордным значением) == 1.
При n > 1, используя условное математическое ожидание, призаданном значении Xn находимP (Xn является рекордным значением) = P (Xn > Xi ∀ i = 1, . . . , n − 1) == E1(Xn > Xi ∀ i = 1, . . . , n − 1) =+∞Z= E (E [1(Xn > Xi ∀ i = 1, . . . , n − 1) | Xn ]) =f(x)F (x) n−1 dx.0P (W (tj) − W (tj−1) = kj)Далее,для любых k1 , . .
. , kn = 0, 1, . . . При этих предположениях W (t) ∼ Po(Λ (t)),Rt(u) du. Действительно, п.ф.м. Mt ( ) = Ee W (t) можногде Λ (t) =P (Xn является рекордным значением и Xn ∈ (u, u + h)) =Mt ( ) = E exp( [W (t1) − W (t0)] + . . . + [W (tn) − W (tn−1)]) =nY=E exp( [W (tj) − W (tj−1)]),иu+hZ=f(x)F (x) n−1 dx = f(u)F (u) n−1 h + o(h)0представить в видеj=1j=1=nYj=1[1 − (tj−1) (tj − tj−1) + e=nYj=1=Для того чтобы найти главный член, который вносит основной вклад ввероятность того, что интервал (u, u + h) содержит рекордное значение,запишемE exp( [W (tj) − W (tj−1)]) =nYnYj=1(tj−1) (tj − tj−1) + o(tj − tj−1)] =[1 + (e − 1) (tj−1) (tj − tj−1) + o(tj − tj−1)] =exp[(e − 1) (tj−1) (tj − tj−1) + o(tj − tj−1)] → exp [(e − 1)ZtP ((u, u + h) содержит рекордное значение ) = P (u < X1 < u + h) +X+P (Xn является рекордным значением и u < Xn < u + h) + o(h) =n>1(u) du] .0Следовательно, Mt ( ) = exp [(e − 1) Λ (t)] , и W (t) является пуассоновской с.в.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
