Теория случайных процессов (1042226), страница 7
Текст из файла (страница 7)
Прогноз эволюции цепей с одним классом эквивалентности 45окажется в одном из существенных состояний. Таким образом,сильно или слабо при n → ∞ πc 0πP n → Π = ... ... = ... ,ππc 0где π = (πc , πн ), πc = (π1 , π2 , ... , πNc ), πн = 0, т. е.
финальнаяМВП состоит из одинаковых векторов-строк π , при этом ееподвектор πñ > 0 есть T -неподвижный вектор; следовательно,π — единственный P -неподвижный вектор. Наконец, π естьстационарный ВВС: действительно, сильно или слабо при n → ∞(0) (0)(0) (0)(0)π (n) = π (0) P n → π (0) Π = π1 , π2 , ... , πNc , πNc +1 , ...
, πN ×π1 ... πNc 0 ... 0× ... ... ... ... ... ... =π1 ... πNc 0 ... 0!NNXX(0)(0)πi , ... , πNcπi , 0, ... , 0 == π1i=1i=1= (π1 , π2 , ... , πNc , 0, ... , 0) = π.Пример 6.3. Пусть ГС моноэргодической цепи представленна рис. 19, а МВП P имеет вид0,5 1 0 0000,50001000,50000TR0,5 0,500Q0 0 .0,5 0Матрица P разбита на четыре блока T , Q, R, 0 размерностямисоответственно (3 × 3), (2 × 2), (2 × 3), (3 × 2).46Разд. 2. Дискретные цепи Маркова42153Рис.
19Найдем вектор πc из системы уравненийπc = πc T ⇒ hпервое уравнение исключаетсяi ⇒ π2 = π3 ,⇒ π3 = 0,5π1 ,⇒ πc = (0,5; 0,25; 0,25) ⇒π1 + π2 + π3 = 10,5 0,25 0,25 0 0⇒ π = (0,5; 0,25; 0,25; 0; 0) ⇒ Π = ... ...... ... ... .0,5 0,25 0,25 0 0Пример 6.4. Пусть последовательность ξ0 , ξ1 , ... являетсяДЦМ с одним КЭ. Доказать, что этот случайный процесс асимптотически стационарен.Данное утверждение следует из примера 4.4, согласно которому указанная цепь состоит из независимых СВ тогда и толькотогда, когда ее МВП состоит из одинаковых строк.
Выше мыполучили, что для неприводимых и моноэргодических цепей финальные (в сильном или слабом смысле) матрицы Π состоятиз одинаковых строк; следовательно, СВ ξn асимптотически независимы и, будучи одинаково распределенными, имеют M ξn →→ const и Kξ (n, n′ ) → 0 при n, n′ → ∞.Лекция 7. Долгосрочный прогноз эволюции цепейс L классами эквивалентностиПолиэргодические поглощающие цепиПо определению ППЦ имеют Nн несущественных (Nн > 1)и Nc существенных (Nc > 2) состояний.
Последние образуют L = Nc поглощающих КЭ. МВП P в канонической формеимеет видЛекция 7. Прогноз эволюции цепей с L классами эквивалентностиi\j12...NcNc + 1Nc + 2...N12...Nc... NNc + 1 Nc + 2101R1T47Qгде матрица P разбита на четыре блока блока: T с единичнойглавной диагональю, R, Q, 0 — размерностями соответственно(Nc × Nc ), (Nн × Nc ), (Nн × Nн ), (Nн × Nн ); N = Nc + Nн .Очевидно,Pn=Tn0R(n) Qn!, где T n = 11...1,при n → ∞ по теореме 2 Qn → 0, а по теореме 3 Rn → B == (I − Q)−1 R = (bij ), i ∈ Sн , j ∈ Sc ; P n →финальная матрица Π имеет видi\j112LL+1при n → ∞, гдеL+2...
N11... LL + 1 bL+1,1 bL+1,2L + 2 bL+2,1 bL+2,2... ... ...bN ,1bN ,2N2...Ï0T1...bL+1,L...bL+2,LR .........bN ,LQ;48Разд. 2. Дискретные цепи Марковапри этомΠ=π1π2...πLπL+1πL+2...πN i 6 L; πi = (0, ... , 1, 0, ... , 0) ,i, πi = (bi1 , bi2 , ... , biL , 0, ..., 0) , i > L;т. е. в общем случае все строки πi различны.Финальный ВВС (в отличие от НЦ и МЦ) зависит от ВНВи равен π (n) = π (0) P n → π (0) Π .Все строки πi , i = 1, 2, ... , N , являются P -неподвижнымистохастическими векторами, в чем легко убедиться непосредственной проверкой равенства πi = πi P , i = 1, 2, ... , N , где Pесть МВП в канонической форме.Пример 7.1.
Пусть ГС полиэргодической поглощающей цепипредставлена на рис. 20, а МВП имеет видi\j12345612345610000010000 0 0 T100 0 0 2 /3 1 /3 000 1 /3 R 0 1 /3 Q 1 /32 /3 000 1 /3 0632154Рис. 20.Лекция 7. Прогноз эволюции цепей с L классами эквивалентности49Построим матрицы B и Π :000100Q = 1/3 0 1/3 ⇒ I − Q = −1/31−1/3 ⇒0 1 /3 00−1/31⇒ (I − Q)−18 /9 009=1 /3 1 1 /3 ⇒81 /9 1 /3 1i\j1230 2 /3 1 /3 ⇒5 5 /8 1 /41 /8 7/8 1/12 1/2464⇒B=⇒Π=10001000102 /3 1 /35 /8 1 /4 1 /87/8 1/12 1/24000000000000000000.Полиэргодические цепиПо определению ПЦ содержит хотя бы одно несущественноесостояние (Nн > 1), а Nc существенных состояний образуют L(L > 2) КЭ, причем хотя бы один из них содержит не менее двухсостояний.
В канонической форме МВП P имеет видN1P = ... NL N2NнN1N2...T10...00 ... 0T2 ... 0... T ...0 ... TLRN L Nн00 0 0 Q50Разд. 2. Дискретные цепи Марковаи разбивается на ряд блоков: (Ni × Ni )-блок Ti , управляющийпереходами на множестве состояний i-го КЭ, i = 1, 2, ... , L;(Nн × Nc )-блок R, управляющий переходами из НС в СС;(Nн × Nн )-блок Q, управляющий переходами на множестве НС;наконец, (Nc × Nн )-блок 0. По правилам возведения в степеньблочных матриц получаемT1n 0...00 0 T2n ...00 ... ...
T n ... 0(n) n.P =n 0 0... TL 0 R(n)QnПри N → ∞ матрица P n сильно или слабо сходится к финальной матрице Π , состоящей из двух блоков: (Nc × N )-блокаΠñ , соответствующего переходам из СС, и (Nн × N )-блока Πн ,Πñсоответствующего переходам из НС: Π =.ΠнСогласно теореме 2 Qn → 0 при n → ∞, следовательно, последние Nн столбцов матрицы Π — нулевые. Согласно теореме 1и следствиям из этой теоремы при n → ∞ сильно или слабо T πl ...
nTTl → Πl = (7.1),Tπlгде πlT — стохастическое решение системы уравненийπlT = πlT Tl ,l = 1, 2, ... , L.(7.2)Отсюда следует, что Nl состояниям l-го КЭ с МВП Tl в матрицеΠ соответствуют Nl одинаковых векторов-строк финальных вероятностей состояний:lπ =0 ... 0 ... 0 ... 0 πlT ... πlT 0 ... 0 ... 0 ... 0 0 ... 0| {z }| {z } | {z } | {z }| {z } | {z }N1... Nl−1NlNl+1 ...NLNнl = 1, 2, ... , L,!,(7.3)Лекция 7. Прогноз эволюции цепей с L классами эквивалентностит.
е.π1 π2 Πc = ... ,πL51(7.4)π l есть (Nl × N )-блок, состоящий из Nl одинаковых N -мерныхвекторов-строк. Перейдем к построению блока Πн .При старте из i-го НС (i > Nc + 1) и n → ∞ система с вероятностью bil , l = 1, 2, ... , L, будет поглощена (захвачена) l-мКЭ и дальнейшая ее эволюция определяется финальным ВВС —строкой π l . Отсюда следует, что i-я строка матрицы Π при i >> Nc + 1 может быть получена по формуле полной вероятностиπi =LXbil π l ,(7.5)l=1и тогдаСогласно (7.3)–(7.6)π Nc + 1 π Nc + 2 Πн = ... .πNπ1...π1π2...π2...πL...πLΠ = π Nc + 1 π Nc + 2 ...πN(7.6),(7.7)52Разд.
2. Дискретные цепи Марковагде строка π i , i = 1, 2, ... , L, повторяется Ni раз,LPNi = Nc .i=1Открытым остался вопрос определения вероятностей поглощения bil . Чтобы найти их, необходимо от исходной ПЦ перейтик так называемой приведенной ППЦ и воспользоваться теоремой 3. Приведение осуществляется путем замены:b,• КЭ 1,2,. . .,L поглощающими состояниями b1, b2, ...
, L• дуг, ведущих из каждого НС в различные состояния одногои того же КЭ, одной дугой с суммарным значением вероятностейпереходов. Поясним эту процедуру примером.Пример 7.2 (продолжение примера 5.3). Пусть ГС полиэргодической цепи представлен на рис. 14, а МВП — та же, чтов примере 5.3.Структурный анализ этой цепи был осуществлен в рамках1 = {1, 2}, b2 = {3, 4, 5}, b3=примера 5.3. ГС включает три КЭ: b= {6}, Sн = {7, 8, 9}. Цепь является полиэргодической регулярной. Матрица P имеет каноническую форму. Она разбита наряд блоков: (2 × 2)-блок T1 , (3 × 3)-блок T2 и (1 × 1)-блок T3соответствуют трем КЭ; (3 × 6)-блок содержит вероятности перехода из НС в СС; (3 × 3)-блок содержит вероятности переходовна множестве НС; (6 × 3)-блок равен 0.
Найдем неподвижныевекторы πlT из уравнений:1 /3 2 /3TTTTπ1 = π1 T1 ⇒ π1 = π1⇒ π1T = (3/5, 2/5) ,100 1 /2 1 /2π2T = π2T T2 ⇒ π2T = π2T 1/2 0 1/2 ⇒1 /2 1 /2 0⇒ π2T = (1/3, 1/3, 1/3) ,π3T = (1) .Тогда согласно (7.4)Πс = 3/5 2/5 000 0 03/5 2/5 000 0 000 1/3 1/3 1/3 0 000 1/3 1/3 1/3 0 000 1/3 1/3 1/3 0 000000 1 0000000000000.Лекция 7. Прогноз эволюции цепей с L классами эквивалентности53Для построения матрицы вероятностей поглощения перейдемк ППЦ с ГС, представленным на рис.
21, и МВП, имеющей видPпр =b1b2b3789b2b1b37891000000100000010000 2 /3 1 /3 0001 /3 00 1 /3 0 1 /32 /3 000 1 /3 0b39b18.b27Рис. 21В рамках примера 7.1 была построена матрицаb1b2b30 2 /3 1 /3B = 8 5 /8 1 /4 1 /8 97/8 1/12 1/247Следуя (7.5) и (7.8), получим:π 7 = 0 · π 1 + 2 /3 π 2 + 1 /3 π 3 ==0 0 2 /9 2 /9 2 /9 1 /3 0 0 0 ,π 8 = 5 /8 π 1 + 1 /4 π 2 + 1 /8 π 3 ==3/8 2/8 1/12 1/12 1/12 1/8 0 0 0 , (7.8)π9 = 7/8π 1 + 1/12π 2 + 1/24π 3 ==21/40 14/40 1/36 1/36 1/36 1/24 0 0 054Разд.
2. Дискретные цепи Марковаи002 /92 /92 /91 /3 0 0 0Πн = 3/82/8 1/12 1/12 1/12 1/8 0 0 0 . (7.9)21/40 14/40 1/36 1/36 1/36 1/24 0 0 0Наконец, согласно (7.8) и (7.9) получаем финальную матрицуΠс.Π=ΠнЛекция 8. Дискретные цепи Маркова с доходамиРассмотрим экономическую систему с конечным числом состояний S = {1, 2, ... , N }, функционирование которой моделируется ДЦМ с МВП P = (pij ) . При переходе из состояния i в состояние j система получает одношаговый доход (ОД) rij , бытьможет, отрицательный. Совокупность ОД образует (N × N )матрицу (МОД) R = (rij ).
Доход, который система может получить за n шагов, есть СВ с распределением вероятностей,определяемым вероятностными связями цепи.Математическое ожидание этой СВ называется полным ожидаемым доходом (ПОД) за n шагов. Как вычислить ПОД, и какими свойствами он обладает?Полный ожидаемый доходПусть система находится в состоянии i и ей предстоит функционировать (например, производить и продавать производимуюпродукцию) n шагов (например, n месяцев).
Обозначим ПОДпри этих условиях vi (n), он может быть получен следующимобразом. На первом шаге , переходя в j -е состояние (с вероятностью pij ), система получит доход rij , а за оставшиеся (n − 1) шагов она получит доход, равный vj (n − 1) . Следовательно, ПОДза n шагов при этом условии будет равен rij + vj (n − 1), чтопозволяет воспользоваться формулой полного математическогоожидания и написать рекуррентное соотношениеvi (n) =NXj=1pij [rij + vj (n − 1)],(8.1)55Лекция 8. Дискретные цепи Маркова с доходамиилиvi (n) = qi +NXj=1где qi =NPj=1pij vj (n − 1) ,(8.2)pij vj (n − 1), i = 1, 2, ...
, N , — средний одношаговыйполучаемый при переходеиз i-го состояния.v1 (n)Введем в рассмотрение вектор ПОД V (n) = ... и векторvN (n)q1СОД Q = ... , тогда в векторно-матричной форме рекурqNрентное соотношение (8.2) примет виддоход (СОД),V (n) = Q + P V (n − 1) ,V (0) = 0,n = 1, 2, ... .(8.3)Пример 8.1. Задача руководителя фирмы (РФ).Рассмотрим фирму с двумя состояниями: сбыт производимойпродукции высокий (i = 1) и сбыт низкий (i = 2).
ГС, моделирующий производственную деятельность фирмы, имеет вид,представленный рис. 22, а МВП ДЦМ имеет вид!0,5 0,5P =.0,4 0,60,50,5120,60,4Рис. 22При МОД R =9 33 −7!для СОД имеем:q1 = 0,5 · 9 + 0,5 · 3 = 6,q2 = 0,4 · 3 − 0,6 · 7 = −3 ⇒ Q =6−3;56Разд. 2. Дискретные цепи Марковатогда соотношение (8.3) принимает вид!!!!v1 (n)60,5 0,5v1 (n − 1)+==v2 (n)−30,4 0,6v2 (n − 1)=6 + 0,5v1 (n − 1) + 0,5v2 (n − 1)−3 + 0,4v1 (n − 1) + 0,6v2 (n − 1)!.Результаты вычислений по этой формуле при n = 1, 2, ...
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
