Цепи Маркова (1121219), страница 62
Текст из файла (страница 62)
Вопросы к теории цепей Маркова с непрерывным временем(r, s) [ + r + 1(s > 1)] = (r − 1, s) 1(r > 1) ++ (r + 1, s − 1) (r + 1) 1(s > 1) + (r + 1, s) (r + 1) (1 − ) + (r, s + 1) .( + r + 1(s > 1)) =r1(1 − ) s+(r + 1) 1(s > 1) +r!r+1(r + 1) (1 − ) +r+1= e−rs(1 − )r!re−Подставляя предложенный вид решения, находим.Мы видим, что равенство выполняется при = / и =/ . Чтобыполучить инвариантное распределение, необходимо предположить, что << 1.другие элементы вычисляются аналогично.Задача 2.12.8. Пациенты поступают в отделение больницы согласнопуассоновскому процессу с интенсивностью .
В больнице много стажеров, и прибывшего пациента немедленно направляют к одному из них.На осмотр каждого пациента затрачивается случайное время (со средним −1), после чего пациент покидает госпиталь с вероятностью 1 − ,а с вероятностью пациента направляют к заведующему этого отделениябольницы.
Чтобы попасть к заведующему, пациенты ожидают в очереди,а затем на консультацию каждого пациента затрачивается случайное время(со средним −1), после чего пациент покидает госпиталь.= ( (r, s)) имеют вид11+ (2 − 1) −t/T ;22=t11+ e −222p00 (t) =Уравнения инвариантности Q = 0 дляP 0 (n последовательных скачков вверх) =2 3n+12...=→ 0 при k → ∞.3 4n+2n+22→ 1 при n → ∞,n+2и вероятность возвращения в 0 равна 1.
Таким образом, 0 оказываетсявозвратным состоянием для цепи скачков, а следовательно, и для ц.м.н.в.sx+e− (+ )xP (M > x, S < T) = P (T > S > x) =Z∞Z∞Z∞− s− t=eedt ds =e− s e− s ds =.xТак как P (S < T) = / ( + ), получаем, что с.в. M и {S < T } независимы.б) Имеется три состояния: 0 (оба продавца свободны), 1 (один занят,один свободен) и 2 (оба заняты).
Ненулевые интенсивности скачков задаются равенствамиq01 = ,q10 = , q12 = ,q21 = 2 ,где= 2,P 0 (Ti < n) = 1 −.Таким образом, M ∼ Exp( + ). Далее,Следовательно,+ )xP (M > x) = P (S > x, T > x) = P (S > x) P (T > x) = e− (=Задача 2.12.10. а) Пусть S и T — независимые показательные с.в.с параметрами и , соответственно. Положим M = min{S, T }. Найдитераспределение M и покажите, что M не зависит от события {S < T }.б) Покупатели прибывают в супермаркет согласно процессу Пуассонас интенсивностью 2. Сразу же у входа два продавца предлагают покупателям образцы нового продукта. В течение показательно распределенноговремени с параметром 1 покупатель раздумывает о новом продукте, и,таким образом, все это время внимание одного из продавцов сосредоточенона этом покупателе.
Отведав продукт, покупатель проходит в магазин,выходят покупатели через другую дверь. Когда оба продавца заняты, покупатели сразу же проходят в магазин. Предположив, что оба продавцасвободны в момент времени 0, найдите вероятности того, что они обасвободны или оба заняты в момент времени t.Решение. а) В силу независимости с.в. S и T находимСостояние i > 0 возвратно для цепи с непрерывным временем тогдаи только тогда, когда оно возвратно для цепи скачков. Для цепи скачковэто означает, что вероятность возвращения в состояние i равна 1, т. е.P i (Ti < ∞) = 1. Для i = 0 имеемБ. Рассел (1872–1970), английский математик и философn+21.n+2Этот метод состоит в том, чтобы определить номер классакак класс всех классов, аналогичных заданному классу.epn,0 =397Так как возвратность является свойством класса, если цепь неприводима,каждое состояние возвратно.Задача 2.12.9.
Предположим, что (X(t), t > 0) — ц.м.н.в., принимающая значения {0, 1, 2, . . .}. Определите цепь скачков и опишите метод ееиспользования для построения траектории X(t).В некоторой популяции отдельные особи подвержены миграции, и существует угроза ее полного исчезновения. Число особей в популяциив момент t описывается ц.м.н.в. Если n — число особей в популяциив момент t, то для малого интервала (t, t + h)а) вероятность того, что к ним прибавится еще один, равна h / (n + 2) ++ o(h);б) вероятность того, что они все исчезнут, равна h / (n + 2) (n + 1) + o(h);в) вероятность того, что произойдет более чем одно событие из двухуказанных, равна o(h).Является ли состояние 0 возвратным? Возвратны ли другие состояния?Решение. Цепь скачков — это ц.м.д.в., которую получают, наблюдаяцепь (X(t)) в моменты ее скачков. Если цепь (X(t)) подчиняется Q-матрице(qij), то переходные вероятности цепи скачков вычисляются по формулеeij = −qij /qii , j 6= i.
Для построения траектории ц.м.н.в. (X(t)) применяютp(повторно, шаг за шагом) следующий принцип: цепь проводит случайноевремя Li ∼ Exp(−qii) в состоянии i, независимо от предыстории, а затемсовершает скачок в состояние j 6= i с вероятностью −q ij /qii .В данном примере вероятности перехода цепи скачков задаются равенствамиn+1pen,n+1 =,§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемГлава 2. Цепи Маркова с непрерывным временем396= 1. Это приводит к производящей матрице!Q=−2 2 01 −3 20 2 −2,Глава 2. Цепи Маркова с непрерывным временем(2)собственные значения которой 0, −2, −5.
Легко вычислить q 00 = 6. Далее,гдеiA + B + C = 1,−2B − 5C = −2,4B + 25C = 6.iи 2)( P(h)) j =iX hkk>0Следовательно, A = 1/5, B = 2/3, C = 2/15, и399eij − ij) = qij для любых состояний i, j, следоДействительно, 1) −qii (pвательно,XXXe − I)) j =eij − ij) =eij − ij) =( (Pi (pi qi (pi qij = ( Q) j = 0,p00 (t) = A + Be−2t + Ce−5t , t > 0,§ 2.12. Вопросы к теории цепей Маркова с непрерывным временем398k!( Qk) j =j.б) 1. Так как состояние i является возвратным для ц.м.н.в. (X t), мыR∞получаемdtpii (t) = ∞.
Далее, если nh 6 t < (n + 1)h, то в силу122P 0 (оба свободны в момент t) = + e−2t + e−5t ,53150марковского свойстваи аналогично,pii ((n + 1)h) > e−qi h pii (t),Задача 2.12.11. а) Пусть (Xt) t>0 — неприводимая невзрывная ц.м.н.в.и Q-матрицей Q = (qij : i, j ∈ I); предположим, что ц.м.н.в. (Xt) t>0 имеет= ( i : i ∈ I). Обозначим ассоциированную цепьинвариантную мерускачков (Yn) n>0 . Зафиксируем h > 0 и положим Zn = Xnh . Объясните,как матрицы перехода ц.м.д.в. (Yn) n>0 и (Zn) n>0 связаны с матрицей Q,и как их инвариантные меры связаны с мерой .б) 1. В случае, когда ц.м.н.в.
(Xt) t>0 возвратна, покажите, что цепь(Zn) n>0 также возвратна.2. В случае, когда Z+ — пространство состояний и qii = − , qii+1 = ,найдите вероятности перехода для (Zn) n>0 .3. В случае, когда Z — пространство состояний иP−1eqi hZ∞pii (t) dt.0Следовательно,pii (nh) = ∞, т. е. i — возвратное состояние дляn>1ц.м.д.в. (Zn).2. В этом случае Q образует производящую матрицу процесса Пуассона(Nt) с интенсивностью . Следовательно, матрица перехода P(h) = e hQцепи (Zn) является верхней треугольной матрицей для приращений (N t) завремя h:e−h 0P(h) = 0...(h )e−he−h0...(h ) 2 e−h /2! (h ) 3 e−h /3!(h )e−h(h ) 2 e−h /2!−he(h )e−h..........
. .. . . ....3. В этом случае ц.м.д.в. (Yn) представляет собой симметричное случайное блуждание по ближайшим соседям на Z, которое имеет нулевуювозвратность. Все инвариантные меры для (Yn) пропорциональны = ( i),где i ≡ 1. Тогда любая инвариантная мера для (Xt) будет пропорциональнаPмере = ( i), где i = − i /qii = 1/ (2(i2 + 1)). Так как суммаi остаетсяа инвариантная мера для ц.м.д.в. (Zn) — это просто .pii (nh) > hn>1qii+1 = i2 + 1,установите, является ли ц.м.н.в. (Xt) t>0 положительно возвратной.Решение.
а) Если — инвариантная мера для невзрывной ц.м.н.в. (X t),то Q = 0. (Ср. с теоремой 2.6.11.) Далее,e = (peij), где peij =1) матрица перехода для ц.м.д.в. (Yn) имеет вид Peii = 0, и 2) матрица перехода для ц.м.д.в. (Zn) имеет= −qij /qii при j 6= i и pвид P(h) = ehQ .
Тогда инвариантная мера для ц.м.д.в. (Yn) — это = ( i),гдеi = − i qii ,Xqii−1 = i2 + 1, qii = −2(i2 + 1),и, таким образом,конечной, ц.м.н.в. (Xt) является положительно возвратной.i∈Z224 −5t− e−2t +e .5315P 0 (оба заняты в момент t) =i∈ZЗадача 2.12.13. Клиенты становятся в очередь согласно процессуПуассона с интенсивностью . Время обслуживания каждого клиента —показательная с.в. со средним −1 , причем < ; времена обслуживаниявзаимно независимы и не зависят от времен прибытия.а) Покажите, что вероятность того, что в момент t в очереди находитсяn или более клиентов, стремится к ( / ) n при t → ∞.б) В случае, когда начальное распределение является инвариантным,вычислите среднее время до того момента, когда очередь впервые окажетсяпустой.Решение.
Число клиентов в описанной очереди образует такой неприводимый процесс рождения и гибели (Xt), что qii+1 = , qii−1 = . Изуравнений детального баланса заключаем, что инвариантное распределение является геометрическим: i = (1 − / ) ( / ) i (так как < ). Такимобразом, цепь положительно возвратна, и — единственное инвариантноераспределение. Теорема 2.8.1 утверждает следующее.Для неприводимой положительно возвратной ц.м.н.в. pij (t) → jпри t → ∞.а) Следовательно, независимо от начального распределения для любогоn = 1, 2, . .
. выполняется соотношение X i nP (Xt 6 n − 1) → 1 −=1−06i6n−1P (Xt > n) → n.б) Положив ki = E i (попасть в 0) и записав условные вероятности попервому скачку, получаем следующие уравнения:ki = 0,ki =1+++ki+1 ++ki−1 ,i > 1,причем нас интересует минимальное неотрицательное решение. Это решение имеет вид ki = i/ ( − ), а следовательно, X i iXk=1−=.i i2i> 1i> 1−где Λ (s) =k pk (t)sskи M(s) =kPk pk (t)sk.k(Можно предполагать, что процесс не взрывается.)б) Некоторое сообщество не располагает запасами пищи, достаточнымидля поддержания существования более чем N особей.
Если в момент tсообщество состоит из k особей, то вероятность присоединения к нимновой особи за промежуток времени (t, t + h) равна (N − k)h + o(h)независимо от предыстории. В течение этого временн о́го интервала каждаяособь может покинуть сообщество с вероятностью h + o(h) независимоот других особей и независимо от предыстории.Выпишите генератор соответствующей ц.м.н.в. X(t) и покажите, что∂g∂g= (s − 1) Ng − ( s + ), −1 < s 6 1.(2.12.2)∂t∂sПусть X(0) = 0. Найдите такую функцию h(t), что функция g(s, t) == (1 − h(t) + sh(t)) N является решением уравнения (2.12.2), и найдитераспределение с.в. X(t).Решение. а) Процесс рождения и гибели (X(t), t > 0) образует ц.м.н.в.с пространством состояний Z+ = {0, 1, . . .}, скачки возможны тольков ближайшие соседние состояния:(интенсивность скачка k → k + 1 (рождение): k , k > 0;интенсивность скачка k → k − 1 (смерть): k , k > 1.и∂tP2( − )Таким образом, Q-матрица имеет вид:0 ...0 .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
