3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 39
Текст из файла (страница 39)
ставляют допустимые. Недопустимые молекулы остаются в точке экспоненциально (с параметром Л) распределенное время. Пока они находятся в рассматриваемой точке, они препятствуют другим молекулам. Допустимые молекулы вани. мают это место навечно, также препятствуя в этом другим молекулам. Какова вероятность того, что рассматриваеман точка свободна в момент П Указание: Свести задачу к изучению цепи Маркова с непрерывным временем и 3 состояниями.
Ответ: — ~(! + — ) езд — (! + — ) е"г), где зь зт — корни уравнения зз + з(Л + р) + Н[)Л О. ЗАМЕЧАНИЯ Пуассоновские процессы и процессы рождения и гибели играют фундаментальную роль в теории и приложениях, охватывающих модели создания запасов и массового обслуживания, рост популя- Г*. 7.
Классические прилерм цепей Маркова 242 ций, технические системы и т. д. Элементарные обсуждения пуассоновских и родственных им процессов можно найти в любом учебнике по случайным процессам. Л И ТЕ РАТУРА 1. Феллер В., Введевие в теорию вероятностей и ее приложения, т. 1, «Мир», М., 1967. 2. Ва !1еу !Ч. Т., Тке Е!епгепы о1 5!осйззнс Ргосезаез а41п Аррисанопз 1о 1пе !Чагога! 5с1епсез, %1!еу, !Чегч тот!с, !964.
3. В! а пс-1.ар 1егге А., Рог1е! гс.. Т!геог!е йез Еопс11опз А!е!о!ге, Маззоп, Раг!з, 1963. Глава 8 ЦЕПИ МАРКОВА С НЕПРЕРЫВНЫМ ВРЕМЕНЕМ Цель этой главы состоит в том, чтобы познакомить читателя с некоторыми из наиболее изученных вопросов и понятий, возникающих при исследовании цепей Маркова с непрерывным параметром (времеием). Как и прежде, мы будем рассматривать лишь однородный случай. $ Е СВОЙСТВА ДИФФЕРЕНЦИРУЕМОСТИ ПЕРЕХОДНЫХ ВЕРОЯТНОСТЕЙ Пусть Х/ — марковский процесс с дискретным множеством состояний и непрерывным временем, матрица переходных вероятностей которого 11Р//(1)11/ . Таким образом, Р(Х(1+ в) =11Х(з) = /) = Р//(1).
Кроме обычных ограничений, накладываемых на переходную матрицу 11 РОЯ 11, т. е. (а) Р//(1))~О 1) О (б) ~с,~~ Р// (1) 1 1> О / () ~Р, (1)Р (л)=Р/(1+А), Т, й>О, предположим, что РОЯ непрерывны при /) О и что ( 1, если /' =1, (г) 1ппРО(1) =~ /+о 1 О, если / ~/ (см. также задачу 3). Такую переходную матрицу часто называют «стандартной».
Оказывается, что из условий (а) — (г) можно получить гораздо больше следствий, чем можно было бы ожидать. Одним из таких результатов является дифференцируемость РОЯ при всех 1;Д О. Мы докажем лишь гораздо более простое утверждение, что функции Ро(/) дифференцируемы (т. е. имеют правосторонние производные) при 1= О, Рассмотрим сначала РИЯ. 244 Гл. В. Пепи Маркова с непрерывным временем Теорема 1.1.
При каждом «предел — Р и (0) =! пп ( — Рп Р) «.+о существует, но может бь«ть бесконечным. Доказательство. Покажем сначала, что Рп(«) ) 0 при всех «) О. Действительно, в силу (г) ') для любого «существует число е ) О, такое, что Рп(«) > 0 при 0 <«<е. Далее, путем по- следовательного применения (в) можно получить Рп (««+ ° «,) = Х Рм, (««) Ра,а, («т) . Ра„г «(«в). (!.1) о~ "" "л Полагая «, = ... = «„= —, « = ) и беря в правой части лишь члены, соответствующие й« = йа =... = й, т = «, получим Р««(«) ~ [Р««(Ц~", (1.2) При достаточно больших и, очевидно, — < е. Следовательно, л Р««( — „) )О, таким образом, Рп(«) > О.
Пусть — !и Рп(«) = тр(«). Это определение корректно, поскольку Ри(«) > О. Так же как и (1.2), можно доказать справедливость неравенства Рп («+ з) ~ Ри («) Ри (з). Беря логарифм от обеих частей, получаем неравенство полуадди- тивности для тр(«): тр(«+в)( р(«)+ р(з). Поскольку 0 < Ры(«) < 1, то «р(«) )~ О, Положим Ч« = з" Р ж («) « > о Тогда О<«)«< со, так как тр(«))~0 при «) О. Если а), < оо, то существует «о > О, для которого «) «)« — е. Для любого ча Оа) «а величину «, можно представить в виде «о = и! + б, где и е О, 0(б<«. Тогда р(«о)( р(и«)+ р(б) «р((и — 1)«)+ р(«)+р(й)(" ( ий' («) + тр (б) и, таким образом, «)« — в( — '( р(«а) вр(«)+за(6) п«Ф(«) р(6) «а «а «а « «а а а ') И непрерывности Рп(«), «> О.
Прем. перев. Е у. Свойства дифференцируеиости переходных вероятностей 245 Следовательно ч, — е((!ип ~ — — + Гиг ф(1) ф(д)1 1 т.«о Но при У-+.0 имеем — — «! и ф(6) — 0 (поскольку Ри(6) -«1 при ву го 6- 0). Отсюда !ип ~ — — + ~ = !ип —. Гву фО) ф(6) З . ф(1) — уо т+о го т.+о Далее, из определения де ф О) !ип — < туе т.+о Комбинируя последние три неравенства, получаем д, — е(!ип — (!!гп — «( дт ф(О . ф(у) т" «о т.+о Поскольку е произвольно, имеем !ип — = !ип — = ви ф (О ф (О т.+о — 1 У Если ет — †, то можно вместо ее — е написать сколь угодно большое число М и затем получить, что М ( (!ип — , Таким образом, ф(О т.+о во =!!гп —.
В любом случае ф (Π— г т.+о Игп (О =де ф(О т.+о Далее, 1 — Ри(1) . 1-е ен! фО) !!гп !1ГП вЂ” = фе. ° т о г т о ф(0 Теорем а 1.2. Для любых У и у, У Фу, предел РО (1) Рту(0) = !!п1— т-«о существует и конечен. Д о к а з а т е л ь с т в о. Для любого фиксированного Ь ) 0 !!Р„(Ь)!! является матрицей переходных вероятностей цепи Маркова (Х„о). Очевидно, Рту(Ь) = Ри(пЬ).
Введем вероятности Рои (Ь) = ! (Рте (Ь) = Р (Х в = У; Х,о Ф у; 1 < о < п ! Х, = У), Уи(Ь) Р(Х„„У'; Х,„- У, 1~< < !Х =У). 246 Ге В. Цепи Маркова с непрерь!вным временем Тогда и-! Рц (пй) = ~2"„!Ре! (Ь) Рц (Ь) Рп ((и — е — 1) Ь), (1.3) е в поскольку каждое слагаемое в правой части соответствует некоторому возможному пути, ведущему из состояния ! в состояние 1 за п шагов (относительно шага длины Ь); эти пути несовместны, но, вообще говоря, не исчерпывают всех путей. Член )Рц(Ь) Рц(Ь) является вероятностью события, заключающегося в том, что по следнее попадание в ! перед попаданием в 1 происходит на о-м шаге.
(Соотношение (1,3) также появлялось при обсуждении теорем для отношений в гл. 5.) Далее, аналогичным образом получаем е ! Рц(оЬ) =,.Р"„(Ь) + ~~'.! !'е)(Ь) Р,((е — и) Ь). Первое слагаемое есть вероятность достижения состояния ! на о-м шаге без попадания до этого в состояние 1. Члены, стоящие под знаком суммы, учитывают достижение состояния 1 в некоторый промежуточный момент. Поскольку е-! Х ~;,(Ь)<1, то (1.4) >Рц (Ь) в Рц (ой) — и!ах Рп ( (е — лт) Ь). !~м<е Далее, из условия (г) ') следует, что для любого е ) 0 и любых фиксиРованных е, 1 (! Ф-1) сУществУет число (в, такое, что п!ах Р)е(()<е, пип Рц(!)) 1 — е, ппп Рп(()) ! — е. о<!<!, о<«ь о<!<!, Следовательно, если пй < (о и о <л, то из (1.4) получаем !Р";е(Ь)) 1 — 2е.
Подставляя эту оценку в (1.3), находим и-! Р,! (пй) ) (1 — 2е) .~~~ Рц (Ь) (1 — е) ) )(! — Зе) пР,! (Ь), и-0 или Ре/. (па) Рц (Л) ) (1 — Зе) — „, если пЬ < ео. (1.5) ') И непрерывности Р„(йк — Прап. перев. д С, Свойства дифференцируемости лереходнык вероятностей 247 Положим Рц (с) д,с =!ип —, С-то Тогда из (1.5) следует, что дц < оо.
Действительно, если бы дц = оо, то можно было бы найти сколько угодно малое Ь, для коРц (Ь) торого — „сколь угодно велико. Выбирая л' так, чтобы СО Рс)( 'Ь) — < лтй < !о, из (1.5) мы бы получили, что, можно 2 О л'Ь сделать сколь угодно большим, ио в то же самое время Рц (л'Ь) е 2е < — ( —. л'Ь л'Ь Полученное противоречие доказывает, что дц < аа. Оставшаяся часть доказательства носит чисто аналитический характер и является следствием из (1.5). В силу определения дц существует !с ( !О, такое, что Рц (Сс) с, (дц+ е.
Поскольку Рсс(С) непрерывна, можно найти настолько малое Ьо, что Рц (с) — <дсс+е при Кепс'=(сс Ьое Фс+Ьо] (16) Далее, для любого Ь <Ьо определим целое число лм такое, что ллЬе=!. Тогда, используя (1.5) и (1.6), найдем Рц (Ь) Рц(л„н) (1 — Зе), ( <дсс+в, Ь<Ь„ л Ь откуда заключаем, что — Рц (Ь) (1 — Зе) !ип — ~(дсс+ е. Л.НО В силу произвольности е получаем Рц (Ь) )ип — ((д,с. л.но Утверждение теоремы следует теперь из определения дц. ° Если взять в качестве примера процессы рождения и гибели, то Лс, ! с+1, д, Лс+)сс, д,с— - О, у~с — 1, !+1, Х, с=О, 1, ..., )сс ! =с 248 Гв, 8.
Пенн Маркова с ненрерььвным временем В общем случае ~ дц<д, при всех Е ! ьь С Действительно, поскольку Рц (А) = 1 — Рц (А), 1 нь Е то для любого конечного АГ Х Рц(А) < ! — Рц(А). !-ь 1 ьс Деля на А и устремляя А- О, получим неравенство Х дц~~д~ / ь /-ьь Поскольку У произвольно, а все слагаемые неотрицательны, получаем требуемое утверждение.
5 2. КОНСЕРВАТИВНЫЕ ПРОПЕССЫ. ПРЯМЫЕ И ОБРАТНЫЕ ДИФФЕРЕНЦИАЛЬНЫЕ УРАВНЕНИЯ Говорят, что цепь Маркова с непрерывным временем «консервативна», если Х Чц = дс < оо при всех !. ! ь" е Заметим, что процесс рождения и гибели консервативен. Докажем теперь, что для консервативной цепи Маркова все Рц(!) не только дифференцируемы, если д; < оо (! >~ О), но и удовлетворяют системе дифференциальных уравнений, известных как обрат ные уравнения Колмогорова. (Частный случай процесса рождения и гибели рассмотрен в гл. 7, 5 5.) Напомним, однако, читателю, что дифференцируемость Рц(!) следует непосредственно из условий (а) — (г).
Предположение о консервативности делает доказательство чрезвычайно простым. В самом деле, Рц (в+ г) — Рц (ь) = Х Рм (в) Ргц (с) Рц (в) =- Х Р,.()Р. (!)+(Рц()- !) Рц(!). ФФс Деля на з и устремляя з-~0+, формально получаем обратные уравнения Рц(()= 2~ дмрвг(ь) — дсрц(Х) для всех Е, (2.!) н вь ь' Э 2 Консервативные процессы 249 Чтобы строго вывести эти уравнения, следует показать, что !пп — ~ Рсд (з) Рд! (1) =,)~~! с!ейРд! (1). д, с дее ! Далее, !пп — ~ Рсд (з) Рд! (!) ) )Исп «~ Рс» (з) Рд! (1) = ~а~ с!сдРдс (с) ! 1 ! в+О дее С .+О Д-с, ДМ С й !,Две! для любого ЛС, и поэтому ко !1ш-, А Р (а)Рдс(1) ~ Х у!ирис(1) с+О д е! дав! (2.2) С другой стороны, при сЧ ) с М е Х Рсд (а) Рос (!) < Х Рсд(з) Рд! (1)+ ~ Рсд(з) = «~ с й-1, ДФС Д И+1 Х Рсд (в) Рдс(1) + 1 — Рсс(а) — Х Ры (а).
Д 1, Две! Д-1, Д~ 1 Деля на а н беря !пп от обеих частей, получаем е.+О+ и М вЂ” 1 %'~ %т 1пп 7~ Рсд (з) Рд! (1) < 7~ йсдрдс Я + с( ~ с!сд. дм! Д-1, ДФ ! Д-1. ДФ ! устремляя су- оо и используя консервативность процесса, мы видим, что 1пп — Ъ„Рсд(а) рд,(1) < ~,„, Р дФ! ды с Сравнивая это неравенство с (2.2), заключаем, что предел !!ш-.Х Р (э)Р (Г) ! %т е.+о в существует и равен Х у!ори!(1) дФ! Аналогичным образом можно формально вывести систему так называемых прямых уравнений. Запишем Ру(а+1) — Ры(з)= Х Рсд(з)рдс(1) Рсс(а)= Х Рсд(з)(рдс(1) — йдс). Гм В. Пепи Маркова с непрерывным временем 2оо Деля на У и переходя к пределу при У- О, формально получаем прямые уравнения Реу(з)= Х Рм(з)суну — РО(з)ду для всех у, у. (2.3) ннн/ Вопрос о справедливости этих уравнений существенно более сложен, чем для обратных уравнений, и мы его затрагивать не будем.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
