3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 34
Текст из файла (страница 34)
пример Б, $ 2 гл, 2). ЛО Лп О О р, — (Л,+и,) Л, О 1са (~ а+ Рг) О О 1сз (Лэ + 1сз) (4.1) А. Постулаты Мы предположим, что, как и в случае процессов чистого рождения, Х(1) является марковским процессом с состояниями О, 1, 2, ... и что его вероятности перехода РО(1) стационарны, т.е. Р,1(1) = Р(Х(1+ а) =11Х(з) = 1). Кроме того, предположим, что РО(1) удовлетворяет постулатам: 1. Рь сп.~ (Ь) = Л,Ь+ о(Ь) при й 4 О, 1) О. 2. Рь~ ~(й)=!с;А+о(Ь) при А~О, 1)!. 3. Ре,(Ь)=1 — (Л;+р,)6+о(Ь) при 610, 1)О.
4. Рц (о) = б,1. 5. Но=О,.Лв)О, рь Л;)О, 1=1, 2, .... В каждом из этих случаев член о(й) может зависеть от 1. Мат- рица З В. Процессы рожденье и сндсла 213 называется инфинатезилгальной лгагриг(ей процесса'). Параметры Л, и р; называются инфинитезимальными интенсивностями рождения и гибели соответственно. В постулатах 1 и 2 предполагается, что если процесс находится в состоянии с, то за малый интервал времени вероятность того, что размер популяции увеличится или уменьшится на 1, пропорциональна длине этого интервала. Иногда рассматривают случай, когда нулевое состояние является поглощающим, т. е, )са = 0 (см. $ 7). Поскольку Рсг(1) — вероятности, то Рм(1) ) 0 н Х Рсг®= 1.
г-о (4.2) Используя марковское свойство процесса, можно получить урав- нение Колмогорова — Чэпмена Ргг(1 + ) = ЯРга Я Раг(з). (4.3) Смысл этого уравнения следующий; для того чтобы перейти из состояния г' в состояние 1 за время 1+ з, процесс Х(1) в момент г должен принять некоторое значение й, а затем перейти из этого состояния в 1 за оставшееся время з. Это аналог формулы (3.2) гл. 2 для непрерывного времени. До сих пор рассматривались лишь вероятности перехода Рсг(1). Для того чтобы найти вероятность события (Х(1) = и), нужно знать, в каком состоянии процесс находился в начальный момент времени, или, в более общем случае, — распределение начального состояния, Тогда Р(Х(1) = и) = ~ г)гРга(1), где г)с =. Р (Х (0) = г).
Б. Длительности пребывания Р(тг Р 1) = аг(1), ') В оригинале «!пппйеаппа1 яепега1ог о1 Ше ргосеаа».— Прага перев. Используя принятые допущения, можно найти распределение случайной величины Ть которая является длительностью пребывания процесса Х(с) в состоянии г. То есть мы найдем распределение времени Тг до первого выхода процесса из состояния г' при условии, что вначале процесс находился в состоянии г'. Обозначая Гл. у. Классические примеры целей Маркова 914 получим в силу марковского свойства, что при Ь 4 0 6,(1+ Ь) = 6;(1) 6;(Ь) = 6;(1)(Рм(Ь)+ о(Ь)) = = 6,(1)(1 — (Ае+)ье) Ь)+о(Ь), или 6; (1+ Л) — 0; (1) и поэтому 6',(1)= — (Х,+р,) 6,(1).
Если использовать условие 6е(0) = 1, то найдем 0,(1) =ехр[ — ()ь, + р,)1), (4.4) т, е. Те имеет экспоненциальное распределение со средним (Ае + р,) '. Приведенное доказательство не вполне корректно, поскольку было использовано соотношение 6г (Ь) = Рп (Ь) + о (Ь) ') Весьма подробно эта аналогия рассмотрена в книге Дынкина Е.
Б, и Юшкевича ри А. «Теоремы и задачи о процессах Маркова», «Наука», 1967.— Дрим. перев. без формального доказательства «этого факта. Строгое доказательство справедливости (4.4) будет дано в 9 4 гл. 8. В соответствии с постулатами 1 и 2 в течение временного интервала длины Ь переход из состояния 1 в 1 + 1 происходит с вероятностью )иЬ + о(Ь), а в состояние 1 — 1 — с вероятностью )МЬ + о(Ь), Интуитивно ясно, что при условии осуществления перехода в момент 1 вероятность того, что процесс перейдет при этом в состояние 1 + 1, равна А;(рч + Ье)-', а вероятность перехода в состояние 1 — 1 равна )ьт()ье + Ьч) '.
Строгое доказательство этого утверждения выходит за рамки данной книги, однако обсуждение его и связанных с ним тонкостей будет дано ниже (см. гл. 8). Развитие процесса Х(1) можно описать следующим образом. Процесс проводит в данном состоянии 1 случайное время, функция распределения которого является экспоненциальной с параметром Ьт + ро Из состояния 1 процесс переходит в состояния 1+ ! либо 1 — ! с вероятностями де()ье + )и)-' и )ы(рп + Ае)-' соответственно. Динамика аналогична случайному блужданию, за исключением того, что переходы осуществляются в случайные моменты времени, а не в фиксированные '). Традиционная процедура построения реализаций процессов рождения и гибели состоит в задании параметров рождения и гибели (Ль 1ьг), с и постРоении выбоРочных тРаектоРий следУющим образом.
Предположим, что Х(0)=1; частица проводит случайное время (экспоненциально распределенное с параметром Ье + ри) 2!5 б 4. Процессы рождения и гибели в состоянии г', а затем переходит с вероятностью Лг(рн + Лг)-' в состояние с'+ 1, а с вероятностью ре(рг + Л;)-' — в состояние 1 — !. Затем частица проводит случайное время в новом состоянии и вновь переходит в одно из соседних состояний и т, д. Более точно, мы выбираем значение 1, из экспоненциального распределения с параметром (р, + Лг), которое фиксирует время пребывания в состоянии й Затем бросается монета, у которой вероятность выпадения герба равна р, = Лг(1ле + Л;)-'.
Если выпадает герб (решетка), мы переводим частицу в положение 1 + 1 (1 — 1). В состоянии 1 + 1 выбирается значение се из экспоненциального распределения с паРаметРом (1с,лл + Лг ~), котоРое фиксиРУет вРемЯ пРебываниЯ во втором по счету состоянии. Если частица при первом переходе попала в состояние 1 — 1, то следующее время пребывания г,' выбирается из экспоненциального распределения с параметром (1лг ~ + Ле ~). После этого вновь проводится биномиальное испытание, выбирающее следующее состояние, и т.
д. Исход этой процедуры выборок определяет реализацию процесса. Она может иметь вид с', О < г' < г'н 1+1, 1,<1<1,+1„ 1! + ге < 1 < с! + св + са Х(с) = ') Чжун К ай-л ай, Однородные цепи Маркова, «Мир», М., !964. Таким образом, делая выборки из экспоненциального и бнномиального распределений соответственно, мы строим реализации процесса.
Далее, возможно ввести на этом множестве реализаций (траекторий процесса) вероятностную меру таким образом, чтобы определяемые ей вероятности г'„(1) удовлетворяли соотношениям (4.2) и (4.3) и инфинитезимальным соотношениям (см. стр. 212). Этот результат довольно глубокий, и его строгое обсуждение лежит за пределами настоящей книги.
Процесс, полученный таким образом, называется ми>симальньгм процессом, связанным с матрнцей А. Приведенная выше конструкция минимального процесса является фундаментальной, поскольку инфинитезимальные параметры не определяют, вообще говоря, единственный вероятностный процесс, удовлетворяющий (4.2), (4.3) и постулатам, приведенным на стр.
212. На самом деле может быть несколько марковских процессов, обладающих одной и той же матрицей инфинитезимальных переходных вероятностей. Вопрос этот довольво сложен, и читатель может найти его в книге Чжун Кайлая'). В частном случае процессов рождения и гибели достаточ- 216 Гл. 7. Классические ириисрм целей Маркова ным условием, при котором существует единственный марковский процесс с переходными вероятностями РО((), удовлетворяющими ннфинитезимальным соотношениям (4.2) и (4.3), является (4.5) где РШо " ил В большинстве реальных примеров процессов рождения и гибели выполняется условие (4.5), и процесс, удовлетворяющий этому условию, определен единственным образом. й З.
ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ ДЛЯ НРОЦЕССОВ Рождения и ГиБели Так же как в случае процесса чистого рождения и пуассонов- ского процесса, в данном случае переходные вероятности Рп(1) удовлетворяют системе дифференциальных уравнений, известных как обратные дифференциа чьные уравнения Колмогорова. Они имеют вид Ро( (1) = -Аоро) (1) + Аорп(1), Рц(1)= И,.Р,, (1) — (Х,+и,)РН(1)+А,Ро„ы ((1), 1)1. (5.!) Начальное условие: РО(0) = бц. Чтобы вывести их, запишем (4.3) в виде Ю Р н (1 + Ь) = Х Ры (Ь) Рм Я = л-о = Р, с 1(Ь) Рс ь ~ (1) + Ри (Ь) Рн (1) + Рс, с+ ~ (Ь) Рс+ ь у (1) + + ~ Ры(Ь)Р,~Я, (5.2) где последняя сумма берется по всем Ь Ф с — 1, с, с + 1. Используя постулаты 1, 2 и 3 Ц 4), голучаем 2>' Ры (") Ры (1) ~ <Х' Рсо (Ь) = 1 — (Рн (Ь) + Рь с-1 (Ь) + Р ь с+ 1(Ь)) = 1 — (1 — (Л, + рч) Ь+ о (Ь) + рсЬ+ о (Ь) + Х,Ь + о (Ь)) = о (Ь) так что Рц (с + Ь) = рсЬРс-ь 1(с) + (1 — (сн + 1сс) Ь) Рц (с) + АМРс+ ь! (т) + о (Ь).
э" д Уравнения для процессов рождения и гибели Й7 Перенося член Ро(!) в левую часть, деля полученное равенство на й и переходя к пределу при й,) О, получим Р'„ (!) = рР,. ь,(!) - (Л, + и,) Рн (!) + 7ч Р„ ц,(!), Проведенные выкладки являются частным случаем вывода обратных дифференциальных уравнений, который дается в гл.
8, % 2. Обратные уравнения выводятся с помощью разбиения временного интервала (О, !+ й), где й положительно и малб, на два: (О, й) и (й, ! + й) и отдельного рассмотрения переходов процесса на каждом из них. В уравнениях (5.1) начальное состояние является переменным, а конечное — фиксированным параметром. Другая ситуация возникает при разделении интервала (О, 1+ й) на (О, Е) и (1, 7+ й) и применении предыдущего анализа. В этом случае при более жестких условиях можно вывести следующую систему дифференциальных уравнений: ' ев (!) ~о~ и (!) + гЧ ~ и (!) Ри (!) = Ут , Р, , (!) — (Х + и ) Р „ (!) + и +, Р, +,(!), ! ) 1, с тем же самым начальным условием Рп(0) = бп. Они известны как прямые дифференциальные уравнения Колмогорова.
Чтобы проделать это, поменяем местами ! и й в (5.2) и при дополнительных предположениях (кроме постулатов 1, 2, 3) можно показать, что последний член снова равен о(й). Остальное дословно повторяет предыдущий вывод. Полезность этих дифференциальных уравнений станет очевидной из примеров, которые будут разобраны ниже. Достаточным условием для справедливости (5.3) является ра! венство — Рд!(й)=о(!) при й чь!', ! — 1, 1+ 1, где член о(!)' (кроме того, что он стремится к 0) равномерно ограничен по й при фиксированном ! при й-+О. В этом случае нетрудно показать, что Х' Р,я (!) Рц (й) = о (й).
Прежде чем переходить к примерам, обсудим кратко поведение Рм(!) при больших й Можно доказать, что пределы !пп Рм(!) = Рг (5.4) г-е существуют, не зависят от начального состояния ! и удовлетворяют уравнениям йвро + р1Р~ = О~ )ч,р,, — (й, +и,) р, +пгыр„,-О, ! ~~1. (5,5) Гл. 7. Классиаескае примеры целей Маркова 218 Эти уравнения получаются из (5.3), если приравнять нулю ле. вую часть. Сходимость ХР1 следует из того, что ~рс,(1)=1. 1 ! Если ~р1== 1, то последовательность (р,) называется стационарнылс Распределением. Причиной для этого служит то, что р, удовлетворяют уравнению Р1 = Х Рсрсг(1), с=о (5.6) которое говорит, что если процесс начинается из состояния с вероятностью рь то и в любой последующий фиксированный мо- мент времени он будет находиться в состоянии 1 с вероятностью рь Доказательство (5.6) следует из (4.3) и (5.4), если устремить 1Т оо и использовать то, что ~ р,< оо.
Решение уравнений (5.5) с-о получается по индукции. Полагая ЛоЛ1 ... Лг, по=-!, п; =, 1) 1, Рсие ' ' 1с1 полУчим Р, = Хо12 Ро = п,Р . ПРедполагаЯ, что Рл = пеР, пРи Й = 1, ..., 1, получаем Рго~рг+~ =(21+ гсг) агро к1-Лг-~ро= ~гягро+ (Ргпг ~1-~~1-~) Ро= ~1~1ро и, наконец, Рг+1 = пг~-~ро. Для того чтобы последовательность (р,) являлась распределением, нужно, чтобы Хрв = 1. Если Хпк < оо, то в этом случае пг р1=, 1=0,1,2,....
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
