Теория случайных процессов (1042226), страница 11
Текст из файла (страница 11)
Это не закономерность — это особенность данногопримера, в силу которой управление k = (1, 1, 0, 1, 0) являетсяоптимальным и в классе стационарных управлений.Литература1. Соколов Г.А., Чистякова Н.А. Теория вероятностей. Управляемые цепи Маркова в экономике. — М.: ФИЗМАТЛИТ,2005.2. Кемени Д.Д., Снелл Д.Л. Конечные цепи Маркова. — М.:Наука, 1970.3. Ховард Р.А. Динамическое программирование и марковскиепроцессы. — М.: Советское радио, 1964.4. Феллер В.
Введение в теорию вероятностей и ее приложения. — М.: Мир, 1964.РАЗДЕЛ 3НЕПРЕРЫВНЫЕ ЦЕПИ МАРКОВАВ третьем разделе курса рассматриваются непрерывные цепиМаркова (НЦМ), дифференциально-разностные уравнения Колмогорова и их решение методом Лапласа. Значительное внимание уделяется непрерывным цепям гибели и размножения иих частным случаям — цепям чистой гибели и чистого размножения.
Для последних строятся рекуррентные соотношенияотносительно вероятностей состояний.В частных случаях цепей чистой гибели и чистого размножения (цепи Пуассона, геометрические, биномиальные) эти вероятности строятся в явном виде. Для цепей гибели и размноженияподробно излагаются методы анализа стационарных режимов.В заключение рассматриваются 11 типов наиболее важных чистопрактических экономических систем.
Всего НЦМ посвященышесть лекций и пять практических занятий.Лекция 12. Простейший поток событий.Пуассоновская цепьНа предыдущих лекциях мы рассмотрели ДЦМ, когда система может находиться в одном из дискретных состояний i ∈ S ив фиксированные моменты времени t0 , t1 , ... может переходитьиз одного состояния в другое. Предположим, что эти переходыосуществляются не в фиксированные, а в случайные моментывремени некоторого интервала. СП с дискретными состояниямии непрерывным временем называется марковским (непрерывнойцепью Маркова — НЦМ), если для любого момента времениt0 условная вероятность любого состояния в будущем (t > t0 )Лекция 12. Простейший поток событий83зависит от ее состояния в настоящем (при t = t0 ) и не зависитот того, когда и каким образом система пришла в это состояние.Иначе говоря, будущее зависит от прошлого через настоящее(рис.
26).t < t0(прошлое)t > t0(будущее)t0(настоящее)Рис. 26Определение. СП ξ (t) образует НЦМ, если для всех целыхn и произвольной последовательности t1 < t2 < ... < t < s выполняется марковское свойствоP {ξ (s) = j|ξ(t1 ) = i1 , ... , ξ (tn−1 ) = in−1 , ξ(t) = i} == P {ξ (s) = j|ξ (t) = i} = pij (t, s) . (12.1)Вероятности pij (t, s) называются вероятностями переходаиз состояния i в момент t в состояние j в момент s. Всюдув дальнейшем будем предполагать, что вероятности переходазависят не от моментов времени, а от их разности: pij (t, s) == pij (s − t); такие НЦМ называются однородными.При изучении НЦМ в отличие от ДЦМ нас будут большеинтересовать не вероятности перехода из состояния в состояние,а вероятности состояний в момент t, т. е.
πj (t) = P {ξ (t) = j}.Естественно, между ними очень тесная связь. Пусть πj (0) == P {ξ (0) = j}, тогда по формуле полной вероятностиπj (t) =NXπi (0) pij (t) .(12.2)i=1Если же при t = 0 система с вероятностью 1 находитсяв состоянии i, то pij (t) = πj (t). В основе всей теории НЦМлежат свойства так называемых простейших потоков событийи пуассоновских случайных процессов.
Перейдем к их изучению.X84Разд. 3. Непрерывные цепи МарковаПростейший поток событий и пуассоновский процессПотоком событий называется последовательность однородных событий, появляющихся одно за другим в случайные моменты времени t0 , t1 , t2 , ... , tn , ... , где Tn = tn+1 − tn > 0, n == 0, 1, 2, ... (рис. 27), например, поток клиентов в парикмахерскую, поток автомашин в ремонтную мастерскую и т.
п. Предположим, что поток событий обладает тремя свойствами: стационарности, ординарности и отсутствия памяти.T10t1Tn−1t2...tn−1Tntnttn+1Рис. 27Стационарность означает, что вероятность появления тогоили иного числа событий в интервале (t, t + ∆t) зависит от ∆t,но не зависит от t.Ординарность означает, что события появляются поодиночке, а не группами. Точнее, вероятность появления одногособытия в интервале длительностью ∆t равна λ∆t + o (∆t),где λ > 0 — интенсивность потока, а вероятность появленияв этом интервале двух и более событий равна o (∆t).Отсутствие памяти означает независимость появления того или иного числа событий на непересекающихся интервалахвремени.Поток событий, обладающий этими свойствами, называется простейшим (ПП).
Введем в рассмотрение так называемыйпуассоновский СП ξ (t), равный количеству событий ПП, появившихся в интервале времени длительностью t. В силу стационарности ПП всегда можно считать, что этот интервал имеетвид (0, t).Обозначим πk (t) = P {ξ (t) = k}, k = 0, 1, 2, ...
, и, чтобы построить формулу для вычисления этой вероятности, рассмотримтри промежутка времени длительностями t, h, t + h. Пусть Atk == {ξ (t) = k}, Ahk = {ξ (h) = k}, At+h= {ξ (t + h) = k} — события,kсостоящие в том, что на них появилось k событий ПП (рис. 28).Тогдаk[t+hAk =Atj Ahk−j(12.3)j=085Лекция 12.
Простейший поток событийи в силу несовместности слагаемых и независимости сомножителей в непересекающихся промежутках получимπk (t + h) =kXj=0πj (t) πk−j (h) ⇒⇒ πk (t + h) = Rk + πk−1 (t) π1 (h) + πk (t) π0 (h) , (12.4)где в силу ординарностиRk =k−2Xπj (t) πk−j (h) 6j=06 πk (h) + πk−1 (h) + ...
+ π2 (h) 66 P {ξ (h) > 1} = o(h), (12.5)π1 (h) = λh + o (h) ,π0 (h) = 1 − λh + o (h) .At+hktthAhkAtkРис. 28Поясним последнее равенство (12.5):P {ξ (h) = 0} + P {ξ (h) = 1} + P {ξ (h) > 1} == P {ξ (h) = 0} + [λ (h) + o (h)] + [o (h)] = 1 ⇒⇒ P {ξ (h) = 0} = π0 (h) = 1 − λh + o (h) .Продолжая (12.4), получимπk (t + h) = o (h) + πk−1 (t) (λh + o (h)) + πk (t) (1 − λh + o(h)) == πk (t) − λhπk (t) + λhπk−1 (t) + o (h) ⇒⇒πk (t + h) − πk (t)o (h)= −λπk (t) + λπk−1 (t) +.hh86Разд. 3.
Непрерывные цепи МарковаПереходим к пределу при h → 0:π̇k (t) = −λπk (t) + λπk−1 (t) ,k > 1.(12.6)К полученной бесконечной системе дифференциальноразностных уравнений присоединим еще одно, соответствующееk = 0. Полагая в (12.4) k = 0, с учетом (12.5) получимπ0 (t + h) = π0 (t) π0 (h) == π0 (t) (1 − λh + o (h)) = π0 (t) − λhπ0 (t) + o (h) ⇒π0 (t + h) − π0 (t)o (h)= −λπ0 (t) +.hhПереходим к пределу при h → 0:⇒π̇0 (t) = −λπ0 (t) .(12.7)В результате получаем систему дифференциально-разностныхуравнений для вероятностей состояний пуассоновского процесса(12.6), (12.7) с начальным условием π0 (0) = 1.Найдем ее решение, рассматривая последовательно отдельные уравнения, начиная с 0-го: согласно (12.7) и с учетом начального условия получаемπ0 (t) = ce−λt ⇒ π0 (t) = e−λt ,t > 0.Подставляем полученное решение в первое уравнение:π̇1 (t) = −λπ1 (t) + λe−λtи решаем методом вариации произвольной постоянной. Для однородного уравненияπ̇1 (t) = −λπ1 (t)решение очевидно:π1 (t) = ce−λt .Полагаемc = c (t) ⇒ π̇ (t) = ċ (t) e−λt − λc (t) e−λt ⇒⇒ hподставляем в первое уравнениеi ⇒⇒ ċ (t) e−λt − λc (t) e−λt = −λc (t) e−λt + λe−λt ⇒87Лекция 12.
Простейший поток событий⇒ hпосле сокращенияi ⇒⇒ ċ (t) = λ ⇒ c (t) = λt ⇒ π1 (t) = λte−λt ,t > 0.Далее по индукции получаем(λt)k −λte , k = 0, 1, 2, ... .(12.8)k!Итак, распределение количества событий ПП в интерваледлительностью t или, другими словами, одномерное распределение пуассоновского процесса в момент t есть распределениеПуассона с параметром λt. Отсюда следует, чтоπk (t) =M ξ (t) = Dξ (t) = λt.(12.9)Найдем закон распределения длительности интервала T между двумя соседними событиями ПП.
В силу стационарности этотзакон не зависит от номеров событий.Очевидно, неравенство T > t имеет место тогда и толькотогда, когда в интервале длительностью t не появится ни однособытие потока. Следовательно,P {T > t} = π0 (t) = e−λt ⇒ FT (t) = 1 − e−λt ,t>0⇒⇒ T ∈ Экс (λ) ⇒ M T = 1/λ, DT = 1/λ2 . (12.10)Пуассоновский процесс в теории СП играет примерно такую жероль, как нормальный закон в теории СВ.
Так, сумма n независимых СП при некоторых не очень жестких предположенияхсходится к пуассоновскому при n → ∞.В заключение найдем его ковариационную и корреляционнуюфункции. Рассмотрим интервалы (0, t) и (0, t′ ), t < t′ (рис. 29).Очевидно,ξ t′ = ξ (t) + ξ t′ − t , ξ t′ ∈ Пуас λt′ ,ξ (t) ∈ Пуас (λt) , ξ t′ − t ∈ Пуас λ t′ − t .t′ − tt0tРис. 29t′88Разд. 3. Непрерывные цепи МарковаДля центрированного процесса имеем˙ξ t′ = ξ t′ − λt′ = ξ t′ − λ t + t′ − t == ξ (t) + ξ t′ − t − λt − λ t′ − t ⇒⇒ ξ˙ t′ = ξ˙ (t) + ξ˙ t′ − t ⇒ K t, t′ = M ξ˙ (t) ξ˙ t′ == M {ξ˙ (t) [ξ̇ (t) + ξ˙ t′ − t ]} = M (ξ˙ (t))2 + M ξ˙ (t) ξ˙ t′ − t == Dξ (t) + M ξ˙ (t) M ξ˙ t′ − t = Dξ (t) = λt.Аналогично, при t > t′ имеем Kξ (t, t′ ) = λt′ ; следовательно, λ min (t, t′ )min (t, t′ )= √Kξ t, t′ = λ min t, t′ ⇒ rξ t, t′ = √ √.tt′λt λt ′График поверхности Kξ (t, t′ ) представлен на рис.
30.Kξ (t, t′ )10t′tt′ = tРис. 30Лекция 13. Дифференциально-разностныеуравнения Колмогорова и их решениеПостроение системы уравненийПри анализе НЦМ переходы из состояния в состояние удобнопредставлять себе как происходящие под воздействием простейших потоков событий. Отсюда следует, что для всех i и j :Лекция 13. Дифференциально-разностные уравнения Колмогорова89• вероятность перехода i → j за время ∆t естьP {ξ (t + ∆t) = j | ξ (t) = i} = λij ∆t + o (∆t) ;(13.1)• время пребывания в состоянии i до перехода в состояние jесть СВTij ∈ Экс (λij ) .Пусть:A = {ξ (t + ∆t) = i} — событие, состоящее в том, что в момент t + ∆t система находится в состоянии i;B — событие, состоящее в том, что в момент t системанаходилась в состоянии i и за время ∆t не вышла из него;C — событие, состоящее в том, что в момент t системанаходилась в состоянии, отличном от i, и за время ∆t перешлав состояние i.Очевидно, B и C — несовместные события и[A = B C.(13.2)Обозначим πi (t) вероятность того, что в момент t система находится в состоянии i.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
