А.М. Зубков, Б.А. Севастьянов, В.П. Чистяков - Сборник задач по теории вероятностей (1115318), страница 26
Текст из файла (страница 26)
Ваязным классом случайных процессов являются цепи Маркова. Во введении к гл. 2 была определена общая схема последовательности зависимых испытаний с исходами 1; ..., ЕУ, в которой вероятность появления цепочки исходоз Еи ..., Е, в испытаниях с номерами 1, ..., Ь представлялась в виде Р(Е„..., Ез) — р(Е~) р(Ез[Е~)... р(Еь! Ее" зз-1). (5 1) гле р(Е,[Ею... Е 1) ~в Π— функции, удовлетворяющие усло- виям В предыдуших главах, как праввло, рассматривался частный случаи однородной последовательности пезави- СИМЫХ ИСПЫтакнй, КОГДа ФУНКЦИИ Р(У»!У!...
»»-1) Р(»с) не зависели ни от у, ви от 11, ..., у» 1. В 3 3 этой главы рассматривается другой важный частный случай общей схемы (5.1), в котором для любого у» 2 и любых 11» с у»-1 Р(»;(1, ... »,,) = Р;, (5.3) если выполнено (5.3), то говорят, что последовательность испытаний образует однородную цепь Маркова. Условие (5.3) часто называют марковским свойством; оно означает, что если исход какого-то испытания фиксирован, то результаты испытаний, следующих за выбраппым, не зависят от результатов испытаний, предшествовавших ему, При построении математических моделей ряда реальных явлений предположение (5.3) оказывается довольно естественным. Для цепей Маркова начальному испытанию приписывают номер 0 (а не 1, как в (5.1)), исходы 1, ..., У)У называют состояниями цепи, вектор "' = (р~", ..., р»'1) =(р(1), ..., р(уу)) — вектором начальных вероятностей, а матрицу Р 1 Р» ° ° ° Р!и У' =!!Рп(»,У=»- Рн» Рно ° Рнн — магрицсй вероятностей перехода.
В силу (5.2) все элементы матрицы Р неотрицательны и сумма элементов каждой строки равна 1„матрицы, обладающие этими свойствами, называют стохастичсскими. Отметим, что все введенные здесь определения легко распространяются на бссконсчныв последовательности испытаний (цепи Маркова) с бесконечным множеством исходов (состоякий) (1, 2, ). Из определений (5.1), (5.3) следует, что если $» — . состояние цепи Маркова в момент » и ро(у) = Р(5 = у!50 = 1) = Р(5 . = У)В. = 1), в, у ~ О, — вероятность перехода из состояния 1 в состояние у за у шагов, то матрица Я р (у) — (! рм (у) Ьи! —, "' о Рзсо а векторы р = (р», .
° ., рн ), где р» Р(Ь» = у), удовлетворя»от соотношению !»+ с сс!рс. далее длв любых О< Уз< У» «... Уо, Уо,, 1»'и(1, »,Ут') Р(й»о ='ос й! = 11,, В»о =»о! = = Р ($ „= у ) Ц Ьу,лу (уу — уу- ). »-! Таким образом, с формальной точки зрения исследование многих свойств цепей Маркова сводится к научению соответствующих свойств степеней матриц вероятностей перехода (об одном из способов получения явных формул для элементов степеней матриц см.
задачи 5.79— 5.81). Вая»ну»о роль при изучении цепей Маркова играет классификация их состояний. Говорят, что состояние у следует за состоянием у (у — у), если рс»(у)» 0 для некоторого целого У О; если 1 — у и у -~ о, то состояния 1 и У называют сообщающимися (1 у). Если для состояния 1 найдется такое состояние у у(1), что »- у, но у ' 1 (т.
е. р»»(У)~ 0), то состояние У называется 1»всущвстввнным; в противном случае состояние у существенное. Множество всех 'существенных состояний с помощью отношения (нетрудпо проверить, что это отношение является от»юшвнисм эквивалентности) разбивается на классы сообщающихся существенных состояний; переходы траектории цепи из одного такого класса в другой невозмо»кны. Мно»кество несущественных состояний тон»е разбивается на классы сообщающихся состояний; траектория цепи Маркова может выходить из любого такого класса, ко, выйдя из такого класса, вернуться в пего уже не может. Если множество состояний цепи Маркова конечно, то с вероятностью 1 траектория цепи рано нлк поздно выходит иг мнон!ества несущественных состояний и после этого остается в одном из классов существенных сообщающихся состояний.
Говорят, что класс Ф сообщающихся состояний периодический с периодом д» 1, если для состояния 1»нму В: р, (й)»0)~ Ы, 2»К, 3»У, .) (5,4) к любое число»(1»»у пе удовлетворяет (5.4); определенное по формуле (5.4) число»У зависит от класса .Ф, по 15! пе от выбора'элемента 1шЖ Если (5.4) выполийется ' только при д 1, то класс .~э называют апериодичвскйм. Пусть все состояния цепи Маркова б, с матрицей вероятностей перехода Р обраауют один апериодический класс сообщающихся состояний.
Тогда существует такое целое число гв, что при любом 1) гэ все алементы матрицы Р' положительны и справедлива следующая ' Теорема. Если для цепи Маркова с Л<(в состояниями при нвкотором уэ ) О все элементы матрицы Р э положительны, то существуют 11ш рц (1) = я; ) О, 1, 1 ~ (1, ..., <"т'); величины я<, ..., я„являются единственным рви<вином системы линейных уравнений ~ Я<Рц Я<',' У'-1, ...,Лт, и,'+ ... т Ян 1.
' 1 1 РаСПРЕДЕЛЕНИЕ Я (П<, ..., Пв) НЕ ЗаВИСИт От НаЧаЛЬ- ного состояния 1 цепи Гв и называется предельным илк '4инальным распределением $ь Кроме того, распределение я стационарно, т. е. яР' п для любого 1= 1, 2, .'.. В случае, рассмотренном в теореме, стационарное распределение единственно.и совпадает с предельным; 'если цепь Маркова имеет, несколько апериодических классов существенных сообщающихся состояний, то существует много стационарных распределений и предельное распределение зависит от начального; если, цепь содержит не. существенные состояния, то соответствующие им предельные вероятности равны О. Наконец, если все состояния 1, ..., Л< цепи Маркова $, образуют один класс периода И ) 1, то предельного распределения $, при условии $э - 1 и 1 - не существует; однако существуют такие' распределения я 1 1 ен (1, ..., Ф) и любого целого й ) О 11шрц(Ы+ Й) =я«' ', 1 1, .
„Л'1 < где функция т(1, Й) принимает значения 1, ... И и прк любом )ы(1, ..., У) лишь одно из чисел я,", ...,я<эш отлично от О. Цепью Маркова З< с непрерывным временем и мно н<еством состояний (1, ..., И называют случайный про 152 цесс, траектории которого являются кусочно-настоянными функциями, принимающими значения 1, ..., Л, и при любых 1, 1<и (1, ..., Л<), 1 и й ) О вероятности перехода иэ состояния 1 в состояние 1 эа время й рч(й) РЦ+э-у!$<-1) =Р($<ы )!$< 1, ($1 <) не зависят от поведения процесса $„до момента 1 и удов- летворяют условиям Ро(й) = аой+ о(й) (1Ф1), рв(й) = 1 — а<й+ о(й), й )О, а< ~", ац, 1,)е=(1,...1'й). 1 1 Функции рв(1), 1~ 0, являются решением систем диф- ференциальных уравнений Колмогорова — Чепмзна и р; (1) — а<рц (1) + ~э а<АРА1(1) А 1 ' А<<1 С, )ел (1„..., Л<11 (5<5) Р'„(1) - — а,рц (1) + ~э р<А(1) и„, 1-1 АФ1 1, 1 еи (1, „., Л<)1 (5.5) с начальными условиями рв(6) 1, р<(О)' О (1чьй 1, Уаэ эн(1, ..., Л<1).
Классификация состояний описанных адесь цепей Маркова с непрерывным временем отличается от случая дискретного времени лишь тем, что состояния (и их классы) пе могут быть периодическими. Если все состояния 1, ..., Л~ цепи Маркова с непрерывным временем сообщаются, то существуют 11ш рц(1) я<) О, 1, 1эн (1« ° ° . Л')< 1-<а< и предельное распределение я (и<, ..., я ) является единственным решением системы линейных уравнений и Х яьаА = п,ап ) — 1, ...
Л<в А 1 Аыэ я< +... + пв = 1. й 1. Разные задачи 5Л". Случайные величины з, (1= 0, ~1, *2, ...) независимы, Мф» =а, 05» =от. По действительным числам со, с», ..., с„удовлетворяющим условию со+с»+ ° ... + с, = 1, построен случайный процесс Ч,=сз$»+с»5»»+...+сД» „, 1=0, ~1, ~2, Найти МЧо ОЧо сот(Чо Ч,). Показать, что сот(Ч, Ч.) = /г((г — Н), т. е.
зависит только от [г — Н. 5.2 . Пусть выполнены условия задачи 5Л. а) Доказать, что последовательность случайных ве- личин прн п- сходится по вероятности к а=М$». б) Сходится ли ь. к а с вероятностью при п- '? 5,3. Пусть выполнены условия аадачи 5.1 и, кроме того, а=О, Мь»» с(со. а) Доказать, что для любого целого я~О последовательность случайных величин »») 1 1. — †„ (Ч,Ч»- » + Чзчз+» + + Ч~Чи+») яри и — сходится по вероятности к В(з).
б) Сходится ли ь~" к /1(з) с вероятностью 1 при я >Оэ) 5А . Случайный процесс $„1=0, ~1, ~2, ..., определяется формулой з» = азш(А»+ р)+ е», где а, р, (з»)~ — независимые случайные величины, Ма= О, 1»а=1, р имеет равномерное распределение на отрезке [ — я, л], Ме, = О, Ое» = о'. Найти М$„0ьь», сот(з», $„).
5,5'. Случайный процесс $о — »» (1 (»», задан формулой $» = з(п(1+ яЧ»)+ в(ля(1+ Чз), где Ч» и Чт независимы и имеют равномерное распределение на отрезке [ — 1, 1). Найти М$», 0$», сот($», $,). 5.6. Случайный процесс $„- (1(, задан формулой $ =Ь»з(я~+ Ьтв!пя1 где ~» и ьз невависнмы и имеют равномерное распреле ление на отрезке [ — 1, 1). Найти плотность распределения случайной величины Ч вЂ” апре».
5.7*. Случайные величины с»», »хм ... независимы и одинаково распределены, М»х» = О, Оа» 1. Случайные величины [)», рм ... независимы, пе зависят от а», ам ... и имеют равномерное распределение на отрезке [ — я, я[. 11оследовательность случайных процессов Ч»($), Чз(г), определяется равенством »» Ч„(») = = ац сов(» + йь). 1 У а) Найти предельное распределение Ч„(1) при и- оо, 1 = соней б) Доказать, что Ч (1) = О„сов(1+ (.) . Найти предельное распределение вектора ((, 6„) пря и -». 5.8'. Случайный процесс е„О ~1<, с вероятностью 1 имеет непрерывные траектории, Ме, ~ О, Ое» ( сот(зо е.)=»Ч(!г — з[) прн любых г, а~О.
Пусть гв ~ езй», 1>0. Найти МЧ„ОЧ„сот(Ч», Ч,). о 5.9'. По траектории случайного процесса $», 1) О, определяется случайная величина тл = 1п1 0 ~ О: $» ~ И. Нанти функцию распределения»»г»» (х) = Р(т» ~ л) при /т > О в следующих случаях: а) в»=ь», где Р(ь«х)=1 — (х зО, й>0), Н + х) б)' З» 1т — 2»Ь, где РЦ<х) 1 — е "* (х>0), в) $»=»,е", где а)0 и РЦ<х) 1 — е ' (х~О). 5ЛО.
По последовательности зм $», ... независимых одинаково распределенных случайных величин построен случайный процесс Ч,=й„+» — $м й О, 1, ... Положим т» = »п1 (/» ~ 0: Ч» ~ 0)» тз ш(И~О: Ч»~0). Найти Мт» и Мтз в следующих трех случаях: а) РЦо=1) РЦо=2) — 1/2, б) Р Цо = 1) = Р Ц = 2) =... = Р(5 = »() = 1/Ы, в) $о имеет равномерное распределение на отрезке [О, 1).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
