Тихонов В.И., Харисов В.Н. Статистический анализ и синтез радиотехнических устройств и систем (2004) (1151791), страница 21
Текст из файла (страница 21)
Р(0„!во, 0„..., 0„,) =Р(0„$0„ (3.2.1) Можно также ввести определение сложной цепи Маркова порядка т(т >!), если вероятность нового значения процесса зависит только от т значений, непосредственно ему предшествую«них: Р(е„!е,, о„..., 0„,) =Р(е„!е„... о„,). (3.2.2) Так как сложная цепь Маркова порядка т с помощью известной методики (43 может быть сведена к простой цепи Маркова для т-мерного вектора, далее ограничимся рассмотрением только простой цепи, Для простой цепи Маркова совместные конечномерные вероятности определяются формулой Р(в„в„..., 0„)=Р(в,) П Р(в !0„,). (3.2.3) ь=< Условные вероятности Р(0„!0,) принято называть вероятлос<лями перехода из состояния 1„< в состояние О„в момент времени е„. Одна йз основных задач в теории простых цепей Маркова заключается в следующем. Пусть задано начальное значение процесса при <о и на каждом шаге по времени указан вероятностный закон смены значений процесса между всеми возможными состояниями (т.
е. заданы соответствующие вероятности перехода). Каким образом можно найти вероятности различных значений процесса в момент времени <„> <„и, в частности, при и- со? Введем следующие обозначения для вектора-столбца безусловных и матрицы условных вероятностей: Р(п)=~р„( Ц=)Р(0„=9,)1; к(р, п)=(к «(р, пЦ=~Р(0„=9«)0„=9<)1; (3.2.4) <', В=1, К; 0<р<л; п=о,!,2,3, ... Величина р„(п) есть безусловная вероятность значения' 3, на и-м шаге (т.
е. в момент времени <=<„), а условная вероятность к„(р, и) определяет вероятность значения 9, при <, если в более ранний момент времени <„ «„ значение процесса было равно 9г <ов (3.2.5) (3.2.1) (3.2.8) <о9 Очевидно, что введенные вероятности неотрицательны и удов- летворяют условию нормировки р„(п)>0, 2' р,(л)=1, л=0,1,2,3, ... «=< к к,,(р, п)>0, ~ к<«(р, п)=1, <'=1, К.
«=1 На основании правила полной вероятности для введенных вероятностей (4) можем написать уравнения Маркова () (р, ) (р), к(р, и) к(р, т)к(т, л), л>т>р>0. Расписывая последовательно формулу (8), имеем л — я — 1 (р л)= П (р+ р+<+1) (3.2.9) « в Отсюда видно, что для определения матрицы к(р, и) при всех р < и достаточно знать последовательность матриц одно- шаговых вероятностей перехода. С учетом соотношений (7)...(9) и (3) приходим к заключению, что полное вероятностное описание простой цепи Маркова достигается заданием вероятностей начального состояния и по- следовательности матриц вероятностей перехода.
Среди простых цепей Маркова различают однородные и неод- нородные. Одпород«ая цепь характеризуется тем, что вероятности перехода к(р, л) зависят только от разности аргументов, т. е. к(р, л)=к(л — р), п>р>0. (3.2.10) Обозначим матрицу одношаговых вероятностей перехода к = к (1). Из (9) следует, что для простой однородной цепи Маркова матрица вероятностей перехода за л шагов равна л-й степени матрицы одношаговых вероятностей перехода к(л)=к", (3.2.1 1) а вектор-строка вероятностей различных значений процесса опре- деляется уравнением Р'(и) = Р'(О) к".
(3.2.!2) Однородная цепь Маркова, для которой вероятности Р(п)=Р не зависят от п, называется стационарной, в противном случае цепь называется псстациопарной. В общем случае вероятности Р, если они существуют, находятся в результате предельного перехода Р=!пп Р(п) (3.2.! 3) и называюгся фи1юльными, Однако если начальные вероятности Р(0) совпадшот с соответствуюп1ими финальными вероятностями Р, то цепь Маркова будет стационарной, начиная с г„. Финальные вероятности должны удовлетворять системе К линейных алгебраических уравнений (! — л') Р=О, (3.2.14) где ! — единичная матрица, и дополнительному условию к '1 ря= 1, р1>0.
(3.2.1 5) 1=1 В силу условия (6) К уравнений (14) являются линейно- зависимыми. Поэтому К финальных вероятностей следует определять из (К вЂ” !) уравнений (!4) и уравнения (!5). Классификация состояний цепи Маркова производится в зависимости от того, может лн процесс из данного состояния попасть в другое данное состояние. Состояние 3 называется невозвратнылг, если существует такое состояние 31 (/с~ 1') и такое число шагов п, что лг„(п) ) О, но л,,(гп)=0 для всех т. Все остальные состояния называются возвригпныхяи.
Такгзм образом. из невозвратного состояния с некоторой вероятностью всегда можно за какое-то число 1пагов перейти в другое состояние, однако вернуться из это~о другого состояния в первоначальное невозможно. Возвратные состояния предполагаю1 возможность и обратного перехода, причем число шагов при прямом и обратном переходах может быть произвольным. Если существуют такие состояния Э, и 3„, что для них при некоторых и и т выполняются условия л11(п))0 и л„з(пг))0, то они называю гся ст1оби11иощимися.
Очевидно. что если 33 сообщается с 3„, а Э„с Эг, то Эз сообщается с 3, Это обстоятельство позволяет разделить множество возвратных состояний на подмножества сообщающихся состояний. При этом состояния, принадлежащие различным подмпожест.вам, не сообщаются между собой. Множест во возвратных сообщающихся состояний называется эргодичееким. Цепи, состоящие из единственного эргодического ьуножества, называются эргодическила. Если„начиная с некоторого достаточно большого по, всс элсмснгы матрицы л" положительны для всех и по, то такая цепь называется регулнрной эргодической цгпьн> Марково.
Для такой цепи после достаточно большого количества шагов процесс может находиться в любом состоянии независимо от начального значения. Если никакая степень матрицы л не является положительной матрицей (различные степени содержат нули на разных местах) и с увеличением степени расположение этих нулей циклически повторяется, то такая цепь называется циклической эргодической цепью Марково. Для такой цепи можно 110 8 Рг 7 я Рг -6, в 77 71 77 Ггп Я 77 Ег Гг ез еп -г Ел Рис. 3.1 Цянь Маркова с нвумя состояниями Рис.
3.2. К вычислению рскуррснгного времени состояния 3, перейти из каждо~о состояния в любое другое только при некоторых специальных значениях числа шагов п. Отметим, что для циклических цепей предел (! 3) не имеет места, так как последовательность л" не может сходиться. Если для любого п вероятность лзя(п)=дуя, где 377 — символ Кронекера, то состояние 31 называется погло1цоющим.
Наличие в цепи Маркова поглощающих состояний, после попадания в которые сл.пр. уже не меняет своих значений, радикальным образом изменяет характер процесса по сравнению со случаем отсутствия таких сосгояний. Если среди всех состояний цепи Маркова имеется хотя бы одно поглощающее и в него можно попасть пз любо~о другого сосгояния, то такая цепь называется ггоглощающей. Вероятностные характеристики различных цепей можно найти в [2, 4). В прикладных задачах часто используют однородную цепь Маркова с двумя состояниями. Рассмотрим ее подробнее. Пусть цепь Маркова ,'О„, п=О, 1, 2, ...1 имеет два состояния Э, и Э (рис. 3.1) с верочтностямн начального состояния р, (0)=р", Рг [и) =рг. Р1+Рг =-1.
Ма грина одношаговых вероятностей перехода не зависи~ от времени и задана (3.2.16) Исключим из рассмотрения два тривиальных случая: 1) и+[)=О, г. е. 77=0, )3=0; 2) а+)3=2, т. е. ц=!, )3=1. В первом случае не происходит смены состояний (оба состояния являются поглощающими) и система остается в заданном начальном сосгоянии.. Во втором случае смена состояний происходит детерминированным образом и, если начальное состояние задано, поведение системы будет неслучайным.
Определим вероятности перехода л,я[п) за и шагов, абсолютные вероятности р„[п) и финальные вероятности р„. Применительно к данному примеру в уравнениях (!4) и (!5) нУжно положить 17=1, 2. ПРи этом полУчим Р,=Р,(1 — а)+Рг[), р, +р, =1. Отсюда находим финальные вероятности 111 Рг=(37'(гг+(3) Рг= 7'(и+ г77). (3.2.1 7) Для нахождения матрицы вероятностей перехода л(л) за л шагОВ Воспользусмся слсч)'1Ощим рсзультйтоы, изВсстным из теории матриц. Матрицу л., имеи|щую различные характеристичес- кие корни, всегда можно представить в виде ='Г' ".1" Здссь Т нсвырождсиная ы|1трниа (д тсрминшг| тгги1 матрицы отличен о г нуля: |Т , 1гг О) размерности 2 х .', Т ' - матрица, ОО||атн,|я Т: |л -- ха)к|ктсрис|ичсскис корин матрнць| ~т, 1 е. корни ;равнения )гг--).1! =-О, где 1- слиничнз71 матрица. Испол!,зуя прсдставлсн1ге хгат(гииы к В Виде (18), ИОлучасм ,Г).! о )„, (.3.2.
19) 0 л2 Для рассматриваемой ъятр|ч;1-1 веротпнгстсй перехода за один шаг (167 из уравн|лшя ! — з — ). и ! к — 171 ).=-,, ~ лл (! — к — 7,) ( ! — !Ч вЂ” ),) — егр.= 0 ! — (3 — Х находим характеристические корш: 7.1 =. 1, хг == 1 — И вЂ” 13; ири 72+(3~0 они различны. Выражение (181 можно за|шсать в впдс л1 О, ~ «1 12 Отсюда получаем сне~ему из четырех ис парио тождественных линейных уравнений для определения ()-х-).1) 717+и7„=0, ()г„-ь(1-)3-7.,) 7.„---0. (1 — ™2) 712+в|22=-0, (3712+(1 — )3 — ) 2) 722=0 Находим 7„=72, ~0, гг, = — р712,7СО Учтем, что умножение столбцов матрицы Т на постоянную величину не влияет на конечный результат.
Полагая ради простоты последующих записей 711=1 и 7,2 — и, получаем 1 — )3 ' лл-)) — 1 — 1 Г) 0 Следовательно, к =Т1 Т вЂ” 1 (О 1 — ег — Я На основании (19) находим матрицу вероятностей перехода за л шагов !1 а()! 0 1113 и) .=-.+Р~),~~0(! .,) ~~! 1~= — — '(! — (! — н — 13) "3 е-7 Р -' — „+ — ' ( ! -- и — В)" — + — -(1 — е| — )3)" л)1 " () — '" С1-П- -)3) ( 2ЧВ (3.2.20) Заметим, по !Хг,'=-=,'1 — х — (3)с) при и-г ()|ВО и а+13Ф2. Поэтому (1 — 'г--(3)"--О ири и .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
