А.Д. Вентцель - Курс теории случайных процессов (1134103), страница 35
Текст из файла (страница 35)
марковская последовательность — называется, согласно традиции, цепью Маркова (или марковской цепью). Особенно просты дискретные цепи Маркова, т. е. те, для которых Х вЂ” конечное или счетное множество (а о-алгебра Я', естественно,— а-алгебра всех его подмножеств); среди дискретных цепей выделяются конечные цепи (для которых фазовос пространство конечно).
3. Рассл1отрим примеры л1арковских процессов (а также не- марковских). а) Предлагается решить следующие задачи. Полезно, решая их, прежде чем искать строгое рассужление, постараться наглядно прелставить себе, действительно лн в рассматриваемых случайных процессах будущее зависит от прошлого только через положение процесса в настоящий момент нремсни. 3 а д а ч а 3. Пусть шь ! ) О, шч = хм винеронскнй процесс, выходящий из точки хм Докажите, что этот процесс — марковский, найлите его перехолную функцию.
3 а д а ч а 4. Пусть шь ! ) О, — винеровский процесс, выходящий нз нуля; определим случайный процесс й~ = и и — оь < ! < О. Пайднте переходную функцию этого марконского процесса. Этот пример подчеркивает, что описание марковского процесса с помощью переходной функции существенно несимметрично относительно времени. 3 а па ч а б. Пусть зь йм ..., в„... — независимые случайные величины с одной и той жс плотностью распределения р(х), положительной на вгей прямой. Укажите, являются ли следующие случайные последовательности цепями Маркова: а) $п $з,..., йн, .. Л б) 3а, 3~ 3з,, Ян, ..., где 5в = О 5~ = яп Яз = Ц + йз, ° .,3 =Ь+ "° +$,"; 186 а) 5,+,, 5;", 5я+, ...,5+...., где 5+ =О прн 5„< О, 5+ = 5„ при 5п)0; г) Че, Чь Чм"., Чн,..., где Чп=гпах(5», 5ь.".
5н); д) (5», Че), (5ь Чю), ..., (5„Ч„), ... (в качестае фазоаого пространства берется )?'Х [О, со)). Для тех, которые окажутся цепями Маркова, укажите переходные вероятносги «за одни шаг», т. е. Р(п, к, л + 1, Г). 3 а д а ч а б. Для таких же $ь $«, ..., я„, ... построим случайный процесс с непрерывны»1 яре»1енем: Т = [О, ео), положив 5~ = 5» ° (й + 1 — 1) + 5»ч ~ (! — й] для й ( 1 < й + 1. Будет ли этот случайный процесс »1аркавским? 3 а д а ч а 7 Докажите, что процессы примеров 2 — б, 7 9, $1.2 — марковские; найдите соотиетстаующие переходные функции. 3 а д а ч а 8 Впнерооскпй процесс с отражением. Докажите, что [шг), 1) О, марковский процесс, где ш~ — винероиский процесс, выходящий из хе.
Найдите ясрсходную функцию. б) 1!од схему марковского процесса хорошо подходят некоторыс процессы, происходящие в реальном мире. Например, так называемое броуновское деиженис — движение маленькой частицы в жидкости под влиянием ударов молекул. В качестне фазового пространства здесь берется Я», Я»), н если инерция частицы пренебрежимо мала, то описание блу ждания частицы при помощи марковского процесса оказыаается достаточно точным: будущее движение частицы зависит толька от положения, которое она занимает з настоящее аремя, и не зависит от того, как и откуда частица туда пришла, потому что удары молекул, которые ей предстоит испытать, -.эта удары не тех молекул, что были до того, или тех же самых, но совершенно изменивших свое движение в результате многочисленных столкновений.
Если нельзя не учитывать инерцию частицы (например, прн рассмотрении движения одной молекулы в разреженном газе), то мы уже не можем считать изменение координат (йн Чн ы) протекающям в соотяс~с~внн с марновскнм процессом будущее даижение зависит также от значениЯ скоРостн ($г, Чп ь ) в настоящий момент времени. Но если мы рассмотрим другое фазовое пространство, а именно (Яе, ЭУ«), т. е.
будем фиксировать положение частиды и значение ее скорости, то марковское приближение хорошо подходит к этому случаю. Пока что мы не можем сказать ничего разумного о переходной функции броунопского движения. в) Пусть теперь броуноеская частица данжетсн не и жидкости, а в раскаленном газе, и в определенный момент она нспыхивает и сгорает. Прн помощи накого фазоеого пространства можно описывать такой процесс? Добавим к фазоиому пространству Яз (нли )?е) одну дополнительную точку *, снабдим это пространство о-алгеброй а(Я», (*)) и будем в нашей идеальной схеме считать, что частица еместо того, чтобы исчезать, попадает и состояние * н навсегда там остается. Естественно, при этом Р(з, *, 1, Г) = 6»(Г). При помощи аведения такого дополнительного состояния— «загробного мир໠— удается избежать рассмо~рения марковских процессов, определенных лишь до какого-то случайного момента времени (см., например, задачу 2 2 8.1).
187 В книгах Д ы и к и н а (1969, 1963) приняты другие определения, согласно которым марковский процесс может быть определен лишь до некоторого случайного момента, когда он обрывается; зто усложняет определения, но позволяет обойтись без введения дополнительного состояния. При такой концепции процессы, обрывающиеся с полажнтельнои вероятностью, называются чеконсервотпвнымп. г) Марковские процессы возникают также, например, в задачах теории массового обслуживания. Пусть, скажем, у нас есть система с одним каналом обслуживания, с отказами (т.
е. если заявка на обслуживание приходит, когда канал занят, она получает отказ). Предположим, что заявки на обслуживание приходят «совершенно хаотическим образом» (как говоргт в теории массового обслуживания, заявкп образуют простейп,нй поток] и а — среднее число заявок, приходящих в единицу времени, а время обслуживания первой заянки, второй заявки и т. д. †случайные величины с одной и той же функцией распределения Р (х) = ~ [(р) Ир (! — плотность распределения), причем не ванно сящне друг от друга и от прихода заявок Будем описывать состояние системы массоного обслуг а живания при помощи фазового пространства, нзображенного на рис 23. Здесь точка 5 соотРис.
23 ветствует тому, что капал обслуживания свободен, а точка х на луче [О, о») — такому состоянию системы, когда канал занят, причем уже в течение ар»кепи х. Движение системы происходит следующим образом: то она находится в с~стоянии 5, то на нолупрямой [О, со]; находясь в точке 5, система может внезапно перескочить в точку О луча (что соответствует прнхолу заявки), и она начинает двигаться вправо с единичной скоростью, Затем в какой-то момент система (или частица, изображающая ее) опять перескакивает и состояние 5 (конец обслуживания); там она остается какое.то нремя, а потом опять скачет и т. д.
Можно доказать (если уточнить сойства потока заявок), что зто будет марковский процесс. "!то касается переходной функции, то здесь легко выписать переходную функцию за малый промежуток времени Л! с точностью до бесконечно малых высшего порядка по сравнению с Л!. Это весьма общая ситуация. Как мы увидим впоследствии (см. в 10.2), это уже однозначно опрелеляет и всю переходную функцию. Так иот, для х = 5 Р (1, 5, г+ Л(, (5)] = ! — аЛ! + о (Л!), (4) где а — «плотность потопа заявок»; для любого й ) О Р (1, 5, ! -1- Лг, (О, Ь)) = а Л( -1- о (Л!), Р(1,5, !+Л(, [Ь, «о)) =О при малых Л1. Откуда берется (4)? Дело в том, что мы еще не уточнили, что значит «престейший поток заявок»; один из ноз- 188 можных способов — это принять за определение марковский характер процесса и соотношение (4). Теперь для х ~ [О, оо).
Если обслуживание продлилось время х, а в течение еще промежутка времени Л! закончилось, то система попадает в состояние 5 и с вероятностью ! — 0 [Л() остается там в течение времени ЛД Поэтому Р (ц х, 1 + Лц (81) Р (т св (х, х + Л!1[ т > х), где т — длительность обслуживания. Значит, Р (Д х, 1+ Лб (З)) = Лг+ о(Л1); 1(х) далее, Р (Ц х, ! Р ЛД (х+ Л!1) =- 1 — ' Л! + о [Л!); 1 (х) 1 — Р (х) Р (б х, ! + Л Ц [О, со) ' (х + Л!) ) = о (Л!). д) За дальнейшими примерами марковских процессов (в частности, цепь Маркова, возникающая при тасовании карт) автор отсылает читателя к книге Ф ел л с р а (1984). 4.
Г[ерейдем к определению марковского семейства случайных процессов (или, короче, марковского семейства). Это понятие связано с представлением о возможности начать случайное движение системы по произволу в любой точке фазового пространства. Определение будет довольно сложным, но эта сложность оправдана.
Пусть фиксированы некоторое множество Т на числовой прямой и фазовое пространство (Х, У') и задана функция Р(з, х, (, Г), удовлетворяющая условиям 1) — 4) п. 1. Пусть имеется пространство элементарных событий [1, н на Т и', [1 задана произвольная функция ~~(ш), принимающая значения в Х. Заметим, что это еще не случайный процесс, так как на Й не только нет пока никакой вероятностной меры, но даже еще и не задано никакой о-алгебры. Свяжем (см.
9 3.!) с функцией Е!(Ф) о-алгсбры У т = о (вп У е= =Т), 9-<,= (Е„э(1),З--,= (й„э>(), З (,,п = =о(й„, э(и((). Далее, предположим, что для каждого з е— : Т и каждого х ее Х на о-алгсбре У >, определена вероятностная мера Р,, Мы говорим, что набор элементов (К!(Ф), Р,,) является марковским семейством с переходной функцией Р(... ), если при любых з, х 1) случайный процесс й!(го), [а= Т Г) [ч, оо), на вероятностном пространстве (ьа, 9 ~„Р, ) — марков.
189 ский с данной переходной функцией; 1!) Р, „($,=х) =1. С учетом определения марковского процесса требование 1) расшифровывается так: для з ( ( ( и из Т, для любого хек Х и Г из ао должно быть Р, к (й„е= Г ) У (, 5) ) = Р ((, $ь и, Г) (6) Р, „- почти наверное. (Здесь берутся условные вероятйости, соответствующие исходной вероятностной мере Р, „ иа о-алгебре У »,') соответственно мы должны пояснить, почти наверное относительно какой вероятностной меры имеет место равенство.) Требование 11) в расшифровке не нуждается: оно означает, что вероятность Р,, берется в предположении, что процесс в момент з выпускается из точки х (с этим связано также и то, что мы рассматриваем процесс только на значениях ( ) з и берем события только из о-алгебры У»,). Формулу (6) можно записать в виде интегрального соотношения, вспоминая определение условных вероятностей относительно о-алгебры: для любого А ва ГУ (, Н В частности, если здесь а качестве А взять все Рь положить ( = а, а нместо и взят~ й то получим Так как в силу (б) $.(ы) = к почти наверное (Р..
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
