И.И. Гихман, А.В. Скороход - Введение в теорию случайных процессов (1134101), страница 67
Текст из файла (страница 67)
Из этой формулы, полагая Г, = О, находим Р, „(х, (а) ен В), ..., х»(а) ен Вл) = ~ п(х, дх)) ... ~ ч(х„), дхл), в, откуда следует, что х»(а) образуют однородную цепь Маркова с вероятностью перехода п(х, В). Кроме того, из (12) можно найти условное распределение величин ь(, ..., ь»: Р,, (~1 > 1„..., ~л > Г» ) х, (а), ..., х» (а)) = р(-Я рр(*,—,(.))). ° г-) цепь Маркова (х»(а)) называется вложенной цепью Маркова для данного процесса.
4 е! ОБЩИЕ СКАЧКООБРЛЗИЫЕ МЛРКОВСКИГ ПРОЦЕССЫ 405 3 а м е ч а н и е. Если х — поглощающее состояние, то = + со, х! (Ы) не определено. Полоясны для такого х п(х, В) = = Хв(х) и будем считать, что хь(ы) = хь !(гь), ьь = + Оо, если хь !(ы) попало в поглощающее состояние. Тогда (хь(ы)) по- прежнему будет однородной цепью Маркова с вероятностью перехода п(х, В). Если переписать соотношение (12) в виде Р,, (~! < т„..., ть С 1ь, х, (ы) еи В „..., хь (ы) еи Вь) = ь = ~ п(х, Нх!) ... ~ п(хь „с(хь) Ц(! — ехр( — 1!Х(х! ! (а)))), в, вь 1-! то оно будет справедливо н при наличии поглощающих состояний.
Отметим еще, что уравнение (8) для вероятностей перехода в однородном случае имеет вид Р(1, х, В) =-"ха(х)ехр( — 6,(х))+ +Х(х) ~ е м'"' дз ~ п(х, ду)Р(1 — з, у, В). (13) о Если Х(х) ограничено, то методом последовательных приближений устанавливается существование и единственность решения (13).
Как вытекает из леммы 2, при этом предположении процесс будет регулярным, так как Р,, „(т, > з + б) = е-ь~ !'! ~ е ы. Приведем общее условие регулярности процесса. Теорема 4, Для того чтобы однородный марковский процесс был регулярным, необходимо и доститочно, чтобы для всех з, х (14) где хь (ы) — вложенная цепь Маркова.
Доказательство. Так как М, „(е ~я~х~,(ы)) = СКАЧКООБРАЗНЫЕ МАРКОБСКИЕ ПРОЦЕССЫ 406 )гл чп то л А ) Поэтому, если т'=вирт, то л тт Л(х- ( 1) (е =О). Переходя к пределу при Л 4 О, получаем Л(х, (лг)) л «л)<'<~г л х л 4 1..1 Л+ Л(х ()л)) "' А-) (16) Но легко видеть, что Л(хх, (л))) Л+ г. (х, (л))) 1 1, если ~ < оо, А 1 О, если Х л(„( )) =-+ А ) П Л4О, , Значит, Р,,('< ) Р,,) Л < ~.
° П7) ( А-) (лг)) 5 3. Однородные процессы со счетным множеством состояний Функции рм(1) также называются вероятностями перехода. Из В этом параграфе рассматриваются однородные процессы в счетном фазовом пространстве Х. В этом случае естественно отождествить Х с многкеством й) всех натуральных чисел. Если о-алгебра е) содержит все одноточечные множества, то она содержит все подмножества Ж, поскольку любое такое множество является суммой не более чем счетного числа одноточечных.
На этом же Основании достаточно знать вероятности перехода Р(1,х, В) лишь в том случае, когда В одноточечно. Обычно используются обозначения Р(1, 1. И) =р,(1). ОЛНОРОЛНЫЕ ПРОПЕССЫ 407 общих свойств вероятностей перехода (см. гл. 1, й 4) вытекает, что онн удовлетворяют условиям: 1) р//(/) ) О, / ) О, ри(0) = бп (бм — — 1, / = /; бп — — О, / чь /); 2) Х рп(/)=1; 3) при / ) О, з ) О р (/+з)= Е р.(/)р«(з) ЙБ// (уравнение Чепмена — Колмогорова). Мы будем также предполагать, что процесс стохастически непрерывен, т. е. что выполнено условие 4) !!п/ р// (/) = б,/. /+о Иногда заменяют условие 2) более слабым: Х р//(/) -==1.
/ИУ Случай ~ р//(/) (1 можно интерпретировать следующим об- / Е// разом: система, находящаяся в некоторый момент времени в /-м состоянии, с положительной вероятностью, равной !в р//(/), через промежуток времени / отсутствует в фазовом /ы // пространстве. Иными славами, в фазовом пространстве не хватает точек для описания всех возможных состояний системы. Процессы подобного типа условимся называть несобственными марковскими процессами. Нетрудно заметить, что, прибавляя к фазовому пространству некоторое множество точек, можно доопределить несобственный марковский процесс, не изменяя при этом заданных вероятностей перехода, превратив его в марковский процесс в собственном смысле.
Проще всего этого можно достичь присоединением к фазовому пространству одного «поглощающего» «бесконечно далекого» состояния «ОО». Положим й/"=й/0(ОО), р,„=1 — Х р//(/) /~/« р,(/)=О, '~й/, р„„(/)=1. Легко убедиться, что совокупность вероятностей перехода (р//(и)), /, /я Ж*, образует процесс Маркова в собственном смысле. Для доказательства достаточно проверить только выполнимость условия 3). лов СКЛЧКООГРЛЗНЫГ МЛРКОЕСКПЕ ПРОЦЕССЫ 1гл гн Имеем РО(+ ) Х Р. ()Р. (1 Х Р,.()Р. ()+Р, ()Р () Х Ры(1)Р ~( ) ' 1 - =й' аяХ* р„ 1(1 + 5) = О = Х р„ „ (1) рш (5) + Р„ „ (1) р„,(5) = Х Р,(1)РР (5) 1ен й( Р (г+5)=1= ~ Р (1)Р (5)+Р (1)Р (5)= =- Х,„Р „(1)Р,„(5), Р~ (г+5)=1 Е Р; (г+5)=1 — Х Х Рш(1)РЛР(5)= а а к аеМ ааМ =1 — з"-,Рса(1) 2;Ра.
(5) =1 — Я,Р,в«)(1 — Рз (5)) = Р ()+ Х Р ()Р (5) Р ()Р ()+ +Я Р,з(1)РЛ (5) =,Х„Р„йРЛ.(5). Таким образом, несобственные процессы Маркова, по сути, не расширяют класс процессов Маркова. В частности, общие свойства переходных вероятностей однородных процессов Маркова являются также свойствами переходных вероятностей в несобственном процессе Маркова. Более того, для несобственных про-' цессов величина Р;„(1) =1 — Х Р,„Я аяМ обладает теми же свойствами, что и вероятность перехода Р1а(1), аенФ. Можно заметить, что величина Р, (1) является монотонно неубываюшей функцией. Действительно, как мы только что видели, (1+ )=.; (1)+ 2 Р„(1)Рз (5))Р;„(1), ) О. аям В силу вышесказанного мы в дальнейшем ограничимся рассмотрением марковских процессов в собственном смысле. У стохастически непрерывного процесса переходные вероятности равномерно непрерывны при 1) О; для 5 ) О )Р,(1+5) — РО(1)!< Х ~Р,л(5) — б,Л~Рл,(1)~ Л ~ Л' ="=1 — Р; (5)+ Л.
Р; (5)=2(1 — Р, (5)) о з! ОЛНОРОДНЫЕ ПРОЦЕССЫ 409 и, значит, ] рп (!) — р, ! (!о) ] ~ 2 (1 — рп ( ] 1! — !о 1)). Как видим, рп(!) равномерно непрерывны равностепенно по 1. Рассмотрим вопрос о сушествованип производных у функций ро(!). Сначала покажем существование правых производных в точке О. Те о р е м а 1. Всегда существуют конечные или бесконечные пределы рп (а) — а!! ап =1!Рп ьео либо конечны, либо аи — — — Оо; Если ГФ), то а! конечно; ап во всех случаях ~, ап — аи. !~~ Доказательство. Пусть ! = /. ! 5 = 5ИР ь>о Положим — ра (Ь) А Ро! ((о) (может быть, з =+ Оо), Если с < 5 и " > с, то при < т < — ', учитывая неравенство ра (1+ 6) ) ри (!) ри (а), будем иметь с < — ]1 — ]ра(т)]" рн(1„— пт)] < (о ! — ]Р" (т)] + (! Ри ()о "т)) ]! Рн(т)]" ! Ра ((о нт) чт пт )о Г!оскольку прп т — О (о — пт- О, ри((о — ат) — 1, то ! - Ри (т) !Цп " )с, 1оо каково бы ни было с < 5.
Так как — ! — Ри (т) 1пп " <в, ттО то из этих двух соотношений вьпекает, что ! — Ра (т) ! — р,. (Н) Вш " =зцр 19 о т ь Ь Пусть ГФ/. Выберем б так, чтобы при О < 5 <а)! < б выполнялись неравенства ри(з) > с, рн(з) > с, где 1/2 < с < 1. Пусть (Ео, й =О, 1, ...) — цепь Маркова с фазовым пространством Ю и вероятностью перехода за один шаг рп =.рп(Ь). СКАЧКООБРАЗНЫЕ МАРКОВСК1!Г ПРОЦЕССЫ 410 1Гл У!! Тогда рц( Ю)=Рй.=)'йо=!)) л-! ~ 2: РЙФ1, ....
$,,М), $,=1!1=1)РцР(В„=))В„,=)) ~ Г О л ! > срц ~ Р($! Ф), ..., $, ! ~/, $, = ! )~о=!). Но Р (В! Ф 1, ..., $, ! Ф 1, В, = ! ! Во = !) = Р (В, = 1! Ко = !)— — Е Рж =), ....В, ~), В =))В,=!)Р4,= а,=)) !сг ~)с — (1 — с) Х Р(~1Ф!', ..., $! 1Ф1, ~! — — 1(Ьо=!))2С вЂ” 1, !Кс Значит, рц (пй) с (2с — 1) пр,! (Й). Пусть 1< 6, Ь < 6, п=[ — „~ (целая часть). Тогда .,() ' (Н") Л - с(2с — 1) Я„ Переходя к пределу при Ь,) О, получаем — Рц (") Ип — '< < оо. лоо Ь с(2с — 1) Поэтому рц (л) 1, рц (!) 1цп — ( Игп —. лоо Л с (2с — 1)— !оо Но выбором сколь угодно малого 6 можем сделать с сколь угодно близким к 1. Значит, — рц (л), рц (!) Игп — - Игп —, лго !+о рц(л) —, рц(ь) Игп — = Игп — < ао.
лоо ~ лоо Далее, если 6(! с: У вЂ” любое конечное множество состояний, не содержащее 1, то 1 — рц (А) т.л 1 ) ~ — „рц(ь), ! Ал ОДНОРОДНЫЕ ПРОЦЕССЫ 4!1 откуда — ауу> Х, ауу., значит, Уин, — аи) ~„ауу. И У; У С помощью величин аи производится классификация состояний процесса, Состояние У называется мгновенным, если аи = — аа; в противном случае оно называется немгновенным или задерживауои(им. Немгновенное состояние 1 называется регулярным, если ауу — — — аи. Уча У В противном случае оно называется нерегулярным.
Пусть состояние 1 немгновенно. Будем предполагать процесс сепарабельным. Тогда момент ь первого выхода из состояния 1 имеет показательное распределение: Р(ь >1!ха(0, в) = 1) = 1!Уп Р(х,(У„Ы Уа) =1, й= 1, ..., а), где 0=1„~ < Уы < ... < У„„=У н Упах(1„4+~ — У„„)-+О, множества Л„=(У„„..., У„ь 1) мойотонно возрастают и () Л„=ЛЯ (0,1], где Л вЂ” множество сепарабельности. Поэтому Р (~ > 11х, (О, Уа) = 1) = Игп Ц Р;у (У„ь — У„,,) = «-~~А! так как !и ри (У„„— У„~,) ри (У„, — У„„,) — 1 аи (У„г — У„а,). Предположим теперь, что процесс непрерывен справа в момент ь первого выхода из регулярного состояния й Найдем распределение величины х~(Ь, о).
Имеем Р (х, (~, ) = У 1, (0, ) = У) = =1цп Рс, Щ (хг (йв, Уа) У,..., хо ( — йи, Уа)=1 хо (р м) =!)У)У.= 1 Ри (Еа) е,у (1) аи Таков вероятностный смысл коэффициентов ась СКЕЧКООБРАЗПЫГ МЕРКОВСКПГ ПРОПЕССЫ (ГЛ Щ! Рассмотрим теперь дифференцируемость вероятности перехода при ! ) О, Если ( — регулярное состояние, то при 6 ) О рц((+ б) — рц (!) = ХЬЫЯ вЂ” б ь1 ры Я= =(рцЯ !)рц(!)+ Х р ь(а)р!МЯ. ьм ! Выберем такое конечное множество й и не содержащее (, чтобы — ац — л, ац<е.
(~ и Если б настолько мало, что — + ац ) < е, ~~~ ~ — '„— а!! ~ < е, то рц (м) ! - р!,(М) Рц (а) !жц!йМ /саМ, ! -Рц(М) т"~ ! Рц (а) ч; — ац+ ~ ац+~ " +ац + ~ ~ ' — а!(~<За. !~М~ (~М, Поэтому Рц(!+а) — Рц(!) Ь Рц (л) — ! Рм (") а р' (~) Х м е~м, с Рге (а) ( ~ ' рм(!)~(Зе.
кем, Следовательно, Рц (!+ А) — Рц (!) Ь ацрц(!) — ~ амргц(() (бе. ( Е ам — — ац — ~„ац <е, то й~!, Й,М, (яМ (Π— ~амРГМ(!)~ < бе. Поскольку Х амргц (!) ЬР!, М~М, ! Рц (!+ М) — Рц и а~РОВ! Отсюда выт кает существование правой производной с(! и равенства а+Рц (!) = ~ аа!Ргц(!). Так как правая часть этого равенства непрерывна, то и правая а+рц (!) производная — ' — тоже непрерывна и, следовательно, сов- олногодпыг пгонессы 4>3 падает с обычной производной. Таким образом, доказано соотношение яр (О = ~„а>ерь> (>). (!) Теорем а 2. Если все состояния про>(есса регу.гарны, то верон> ности перехода р»(!) (>, ! ен М) удовлетворяют системе уравнений (1), нося>цей название первой (обратной) систел>ы Ко.>- могорова.
Покажем, что система уравнений (1) имеет всегда решение р>„(1), удовлетворяющее условиям 1) — 4), если только коэффипиенты ам удовлетворяют условиям: 1) — ац ) О, а>„..э О, >г Ф >; 2) ~ а>4 = О. Это решение можно построить с помощью метода последовательных приближений. Для этого перепишем (1) в виде рц(>) =Ьцс""+ ~ е"'' '> ~~> а>яре>(в)йв. о Ф *в > (2) (Поскольку врц (-') — ацрц(>) = ~~', а>яре>(>) я ~а> то еец — „> ~рц(!) е "> ] =,) амр>ц(>), я~> ~, арне "' ]=в "" ~~', амрл>(в). е е.> Интегрируя это соотношение от 0 до 1 и получим (2).) Положим, далее, р( > (1) = б> е'ц, с р~ю(>) =б ечц 1 ~ е'пи '> ~~~~ > р(я-н(е) йв 0 ем> (п ) 0).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
