XVIII Волков И.К., Зуев СМ., Цветкова Г.М. Случайные процессы (1081434), страница 20
Текст из файла (страница 20)
5.1 изображен граф состояний рассматриваемой системы 5 в иредположении, что ремонт узлов в процессе ее функционирования не производится. Определение 5.2. Случайную последовательность (ея(ш)) называют цепью Марково, если для любого натурального числа и > 1 имеет место тождество У(Хн(Хн — 1~хв 2~...~Х1) = У(хн(хн 1), где 1(х„)х„1,х„з,...,х4) и Дх„(х„~) — условные плотности распределения случайного вектора ®(ш) (з(ш) ...
С„(ш)) . Пусть некоторая физическая система 5 может находиться лишь в одном из возможных состояний (5яЦ, а Я1,ш), 1 Е Т, — соответствующий марковский процесс с дискретными состояниями. Если для системы 5 переход из состояния в 5. Ь Оснояньге понятия 165 состояние возможен лишь в фиксированные моменты времени 1;, 1= 1,2, ..., где 1, < 1з « ...
1; < ..., то эти моменты времени принято называть шагами или эепапалеп леарковского процесса С(1,ш), 1 Е Т. А так как в данном случае Т= (» ) и С (м) = ('(1~,м), то имеем дело со случайной последовательностью, которая является цепью Маркова, если для каждого шага вероятность перехода системы Я из любого состояния Яь в любое состояние Я не зависит от того, когда и как она попала в состояние Яь. Во многих прикладных дисциплинах зачастую вместо термина „случайная последовательность" употребляют термин случайный процесс с дкскрггпныле времекеле.
Если ввести случайное событие лю состоящее в том, что после 1 этапов исходная система 5 находится в состоянии Я», то для каждого фиксированного 1 > 1 имеем полную группу событий (н~~)ь, т.е. Р[я„') = 1, 1') 1. я=1 Пример 5.2. Цель (самолет) обстреляна из зенитного автомата очередью в четыре снаряда. Если Ы вЂ” интервал между последовательными выстрелами, а 11 — время первого выстрела, то1з =11+ Ь1, 13 11+2Ы, 1е =11+ЗА. Возможные состояния цели (системы 5): 51 — цель невредима; 5з — цель получила незначительные повреждения; лз — цель получила существенные повреждения, но еще может функционировать; 1 54 — цель поражена, т.е.
не может функционировать (самолет сбит). Если в начальный момент времени 3 1= ге система о находилась В сОстОянии 8, Я» Ям то граф ее состояний изображен на рис. 5.2. Рис. В.з 166 а МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ 6.2. Цепи Маркова Для формализованного описания цепи Маркова удобно использовать понятия вероятккосктей соскгоякий н переходных вероякткоскгей. Поэтому введем следующие обозначения.
Пусть (5ьД, — множество возможных состояний системы 5. Вероятность реализации сличайкоео собыктия ею состоящего в том, что после у этапов система находится в состоянии 5ь, обозначают рьО) = Р(зг~] и называют вероятпкостпью состпояккл. Вектпор вероятпностпей состполний системы 5 после г этапов обозначим РИ) = (Р1(у) Ргй " Р43)), а вектпор вероятпкостпей квнальмьтх состполний— р16) 4 (Р 16) р (6) ... Р„16)) . Если ввести матрицу-строку 1=(1 1 ...
1) Е М1 (К) то равенство можно представить в виде 1РО)=1 1>6. Если (5ьЦ, — множество возможных состояний системы 5, а эт~ — случайное событие, состоящее в том, что после этапов система находится в состоянии 5ь, то исяоекую вероякткосить события эт~ прн условии е~ обозначают и называют переходной вероятпностпью. 167 Х2. цепи Маркова Определение 5.3.
Матрицу РВ1 = (р~ ь) Е М„(Е) для каждого фиксированного 1 > 1 называют матнрит1ей нереход«ых ееролтпностией. Определение 5.4. Цепь Маркова называют однородной, если матрица Р переходных вероятностей системы не зависит от номера этапа 1, у > 1. В противном случае цепь Маркова называют неоднородной. Рассмотрим некоторые свойства матриц переходных вероятностей. Свойство 5.1. Сумма элементов любой строки матрицы переходных вероятностей равна 1, т.е. 1 = РЦ11, 1' > 1. й Действительно, (в1)". 1 — полная группа событий для любого у' > 1. Следовательно, Свойство 5.2. Вектор вероятностей состояний после 1 этапов равен произведению транспонированной матрицы переходных вероятностей РЦ) на вектор вероятностей состояний после (у — 1) этапов, т.е.
р(у) = (Р1В) р(1' — 1),1 > 1. Так как (к~)~ 1 — полная группа событий при любом натуральном 1,то по формуле полной вероятности имеем или, что то же самое, Свойство 5.3. Вектор вероятностей состояний р(т) после т этапов однозначно определяется матрицами переходных вероятностей Р111, ..., Р111 и вектором вероятностей начального 168 Б. МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ состояния р(0): Р(2) = (Р111Р121...РЦ1) р(0). При этом, если цепь Маркова является однородной, то РОО = Р, 1' > 1 и р(у) = (Р1) р(0), где Р1 — у-я степень матрицы Р.
~ С учетом свойства 5.2 имеем Р(. ) = (РЦ1)тру- 1) = (РОО)т[РО-11) 'Р('-2) = = (Р11-ПФ»)'р(у — 2) = ... = (Р1ЦР121...Р1») р(0). Замечание 5.1. При рассмотрении однородных цепей Маркова зачастую бывает удобно пользоваться графам соспголний, на котором у стрелок выписаны соответствующие переходные вероятности. Такой граф принято называть размечемкьгл4 графол4 соспголми44.
Пример 5.3. Определим вероятности состояний цели из примера 5.2 после обстрела, если в начальный момент времени она находилась в состоянии о1, а размеченный граф состояний изображен на рис. 5.3. Из графа состояний имеем Рис. Ь.з 4 р;, найдены из соотношений 2; ргь = 1, 1 = 1, 4. Ь=1 матрица переходных вероятностей имеет вид где вероятности Таким образом, 0,3 0,4 0,2 0,1 0 0,4 0,4 0,2 0 0 0,3 0,7 0 0 0 1 Р = 0,4, Р21 = О> Рз1 =О, Р41 = О~ ргз= 0,2, Р23 = 0 4 Рзг = О, Р42 = 01 Р14 = 0,1, рг4 = 0,2, Р24 = 0,7, Р =О, Р Ргг = 0,4, рзз = 0,3, Р44 169 5.2.
Цепи Маркова т А так как по условию р(0) = (1 0 0 0), то, согласно свойству 5.3 матрицы переходных вероятностей, находим 0,3 0 0 0 т 4 0,4 0,4 0 0 0,2 0,4 0,3 0 0,1 0,2 0,7 1 0,0081 0,0700 0,1288 0,7931 Таким образом, найдены вероятности всех исходов обстрела цели одной очередью из четырех выстрелов: цель не повреждена: р1(4) = 0,0081; цель получила незначительные повреждения: рз(4) = 0,07; цель получила значительные повреждения: рз(4) = 0,1288; цель поражена: ра(4) = 0,7931. Пример 5,4, Цель (самолет) обстреляна из зенитного орудия тремя выстрелами с корректировкой наводки после каждого из них.
Цель может находиться в одном из четырех состояний, определенных в примере 5.2, а матрицы переходных вероятностей равны: 0,1 0,4 0,3 (з) 0 0,2 0,5 0 0 0,2 0 0 0 р(1) 0,05 0,3 0,4 0,25 0 0,1 0,6 0,3 0 0 0,1 0,9 0 0 0 1 Р(э) Определим вероятности состояний цели после каждого выстре- ла, если в начальный момент цель находилась в состоянии Яы т.е. р(0) = (1 0 0 0) . 0,3 0,4 0,2 0,1 0 0,4 0,4 0,2 0 0 03 07 0 0 0 1 0,2 0,3 0,8 1 170 Б. МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ Согласно свойству 5.2, имеем р(1) = (РП1) р(0) = (0,3 0,4 0,2 0,1) р(2) = (Р1'1) р(1) = (0,03 0,20 0,33 0,44) р(3) = (Р1~1) р(2) = (0,002 0,029 0,165 0,804) .
5.3. Уравнения Колмогорова для вероятностей состояний р»(!) = Р[в1], ! Е Т. В этом случае вектор вероятностей состояний р(1) — (р! (!) р2 (1) р (1) ) определяет вероятности состояний системы 5 в момент времени ! Е Т. А так как в любой фиксированный момент времени ! совокупность случайных событий (в»)„" — полная группа, то !р(!) = ~~! р»(!) = 1, ! Е Т, »=1 где 1 = (1 ... 1) Е М»„(Е). (5.1) При рассмотрении цепей Маркова (с конечным числом возможных состояний) с использованием матриц переходных вероятностей и вектора вероятностей начальных «остояний удается эффективно определять вектор вероятностей состояний исходной системы после любого числа этапов. Также решается и аналогичная задача для марковских процессов с дискретными состояниями и непрерывным временем, при анализе которых широко используются графы состояний. Рассмотрим марковский процесс с дискретными состояниями, описывающий поведение системы 5 с множеством возможных состояний (5Д» !.
Обозначим через в»! случайное событие, состоящее в том, что в момент времени 1 Е Т = (а,й) система 5 находится в состоянии 5», а вероятность реализации этого события обозначим Б.З. Урввневвя Колмогорова дяв вероятностей состояний 171 Определение 5.5. Пусть Я вЂ” некоторая система с возможными дискретными состояниями (Вью,. Под нлотнностньто вероятнностнн перехода этой сястемы из состояния Я; в состояние 5 в момент времени 1 понимают число ),, Р;,(1;Ь1) лс-++о Ь1 Р~в'+а')в';) = Л; (1)Л1, т.е. плотности вероятностей перехода системы из одного воз- можного состояния в другое обладают обычными свойствами условных вероятностей и, в частности, являются неотрицатель- ными.
Определение 5,6. Скалярный марковский процесс с дискретными состояниями, описывающий поведение системы Я, называют однороднывв, если для любых 1, т' = 1, и Л;'(г) = Лб —— сопвФ, 1 Е Т. В противном случае его называют неоднородным. Если для всех пар состояний Я, и о из множества возможных состояний системы 5 известны плотности вероятностей перехода (Л; (1)1, то граф состояний системы Я можно превратить в размеченный граф состояний, проставив у стрелок не переходные вероятности, а плотности вероятностей перехода 1рис, 5.4). Рмс. 5.4 где РВ(1 Ь1) — вероятность того, что система о', находившаяся в момент времени 1 в состоянии о;, за время свг > 0 перейдет в состояние Я . Заметим, что в определении 5.5 Рб(1;Ь1) = Р~в'" ')вД.
Таким образом, с точностью а~Ь1) имеет место равенство 172 В. МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ Теорема 5.1. Пусть система Я имеет множество возможных состояний (ЯвД „а процесс изменения состояний этой системы представляет собой случайный процесс, причем для всех пар возможных состояний л! и Я определены плотности вероятностей переходов Л; (!) и Л;(!). Тогда вероятности состояний системы рл(!) удовлетворяют смсвпеме 1!равнений Коллвогоров а: и и р~~(!) = ~ Лзт(!)р(Е) — (~ь Лвз(!))рь(!), Й= 1, п, ! Е Т. (52) з=1 з=1 з'Фв з!1Ь и Так как процесс изменения состояний системы о' предста; вляет собой марковский процесс и (в1~Ди! — полная группа событий, то по формуле полной вероятности имеем Р(в'+а!) — ~ Р(в!+з ! ~ в!) РЯ— з=1 и Р(в!+ь! !в!) Р(в!) + Р(в!+~! ~ в!) Р(вз) (5 3 зи1 з'фв Из определения 5.5 следует, что с точностью о(зз,в) Р( !+а!~ !) Если ! = я, то, переходя к противоположному событию, находим с точностью о(Ж) Р( "„+ 1~в!) =1 — ~;Лм(!)Ь!.
з=1 зВ/з Таким образом, с точностью о(Ь~) равенство (5.3) может быть преобразовано к следующему: и и з, зз.з изз = ~'~, !з1изз !з! з- (з — Е з,; (з1 из) з,ззз, з=1 Б.З. Урввнення Колмогорова для вероятностей состояннй 173 или, что то же самое, и для завершения доказательства достаточно перейти к преде- лу при Ьс-++О. Ь Система уравнений Колмогорова (5.2) не является линейно независимой, т.е. она является избыточной, что следует из равенства (5.1).
Если 1= (1 ... 1) Е М1„(Е), а компонентами вектора л'„(1) = (л„(1) ... л.. 1(1) О л,,+1(1) ... льо(~)) являются плотности вероятностей переходов системы о' нз состояния оь во все иные возможные состояния, то суммарная плотность вероятности перехода системы из состояния Яь, взятая со знаком „минус". При этом, если ввести матрицу Л(1) а (Ло(1)) ~ М„(1й), (5.5) диагональные элементы которой определены согласно (5.4), то (5.2) переходит в маетлрачмое нравмемае Коллеоеорова р («) = Х(«)р(с), 16'Г= [а,й), (5.6) где р(1) — вектор вероятностей состояния системы о в момент времени 1. Если определен вектор вероятностей р, начальных состояний системы 5 в момент 1 = а и определена матрица Л(1), то с учетом (5.6) приходим к задаче Коши для матричного уравне- 174 6. МАРКОВСКИЕ ПРОЦЕССЫ Н ЦЕПИ ния Колмогорова: р (с) = Л(~)р(с), г > а; Р(а) = Ра.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
