XVIII Волков И.К., Зуев СМ., Цветкова Г.М. Случайные процессы (1081434), страница 21
Текст из файла (страница 21)
(5.7) с рЯ =ехр Л(т)дт р„йб Т. я (5.8) Согласно (5.5), й-м столбцом матрицы Л(~) является вектор Льв(1), у которого й-я компонента заменена, согласно (5.4), на Лая(~) = -И~~(С), а все остальные — соответствующие плотности вероятностей переходов из состояния 5я. Эту информацию проставляют на размеченном графе состояний системы на стрелках, „выходящих из состояния Яь" (при нх отсутствии соответствующая компонента равна нулю). При этом 7Л(с) = о.
(5.9) Пример 5.5. Размеченный граф состояний системы Я, процесс изменения состояния которой представляет собой однородный марковский процесс с дискретными состполнилми, изображен на яв рис. 5.5. Сформулируем задачу Коши Рнс. л.л для системы уравнений Колмогорова, если Т = [б,оо) и в начальный момент времени ~ = О система находится в состоянии з1. Если Л(~) непрерывна при ~ > а, то задача Коши (5.7) имеет единственное решение и, следовательно, вектор вероятностей состояний исходной системы Я определен однозначно в любой с момент времени й > а. Если при этом матрицы Л(с) и 1 Л(т) дт Ф коммутируют при каждом фиксированном 8 е Т = [а, 5), то решение задачи Коши (5.7) с использованием матпричной экспоненты можно записать в явном виде (см. П2): Б.З.
Уравнение Колмогорова для веравтиостей состояний 175 Согласно заданному размеченному графу состояний, имеем 0 0 Льз 0 — л 0 Л32 Л32 Л34 Л34 0 Л(с) = Л= р(о) = (1 о о о о)'. Таким образом, вектор р(2) вероятностей состояний изучаемой системы Я является решением следующей задачи Коши: Р1 (ь) = — (Л12+ Л1з)Р1(1) Р2(с) = Лгзр1(1) + Лззрз(ь) Рз(~) Л13Р1(с) (Лзз+ Л34)рз(с) + Льзрь(с) Р4(") Лз4рз(й) Л4ьр4(~) Рь (2) Л4ьр4 (с) Льзрь (Й) 1 р1(0) =1, рь(0) =О, й= 2,5, Чр Если решение задачи Коши (5.7) представимо в виде (5.8), то оно удовлетворяет равенству (5.1).
Действительно, имеет место тождество (5.9): 1Л(1) = О, где 14 (1 ... 1) е М1„(1ь)). Кроме того, 1р(а) =1. Таким образом, из (5.8), свойств матричной экспоненты (см. П2) н тождества (5.9) следует, что с с 1 " ='-У" ") = Е-'У" ")"= аао с =ю[с+~цоеЕ (~1р,~г,) ~но= Ьм1 а 3 4-1 =кя ~-;)л(оа 2 —,(1'ц,~ы ~ я )=1+о=1. а — Лгз — Л1з Л12 Л1з 0 0 0 0 0 -Лль Л4ь 176 Б.
МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ По своему смыслу компоненты рь(1) вектора вероятностей состояний системы Я не могут быть отрицательными, т.е. рь(1) ) )О, 1=1,н, 16 Т= 1а,Ь). (5.10) Условия (5.10) накладывают вполне определенные ограничения на компоненты матрицы Л(с), т.е.
на плотности вероятностей переходов системы 5 из одного состояния в другое. Эти ограничения имеют важное значение нри изучении так называемых предельных режимов однородных марковских случайных процессов с дискретными состояниями, играющих существенную роль в различных приложениях. Теорема 5.2. Решение задачи Коши (5.7) для матричного уравнения Колмогорова при любом векторе вероятностей начальных состояний системы Я имеет неотрицательные компоненты. < Для упрощения дальнейших рассуждений будем считать, что решение задачи Коши (5.7) может быть представлено в виде (5.8).
А так как компоненты вектора вероятностей начальных состояний р, изучаемой системы являются неотрицательными, то достаточно доказать неотрицательность элементов лсатричнос1 функции с ехр Л(т) ссг, с к Т. а Из определения плотности вероятности перехода системы Я из состояния 5с в состояние Яс, где с ф у, следует, что Л; (С) > 0 при любых 1 Е Т. Таким образом, с ссср Т~с„"с )с >о, ~~с, с а Фас а.З, Уравнения Колногорова двя вероятностей состояний 177 и, согласно (5.4), (5.5), все элементы матричной функции с | Л(т) ат+ С(1) 7„ а являются неотрицательными.
Но в этом случае (см. П.2) неотрицательными являются и все элементы матричной функции ехр Л(т) с1т+ С(с) 1„ а коммутирующей с матричной функцией ехр~ — С(с)с„) = е ~<'1со. Атаккаке ~1с)>ОприсЕТи с с ехр Л(т) с1т = ехр Л(т) сст+С(с)с„ехр — С(с)с'„ то теорема доказана (произведение матриц с неотрицательными элементами является матрицей с неотрицательными элементами). Ь Следствие 5.1. Если решение задачи Коши (5.7) представимо в виде (5.8), то для выполнении неравенств рь(1) > О, й = 1, и, 1 Е (а, Ь], необходимо и достаточно, чтобы | Лс,(т) с1т > О, с, 1' = 1, и, с -Е С, 1 Е (а, Ь).
а ~ Сформулированное утверждение вытекает из доказательства теоремы 5.2. ~ Следствие 5.2, Если процесс изменения состояния системы о представляет собой однородный марковский процесс с 178 Л МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ дискретными состояниями, то неравенства рьЯ>0, й=1,п, 161а,й), выполняются тогда и только тогда, когда Ао>0, т,1=1,и, Утверждение следствия 8.2 означает следующее. Вероятности состояний ненулевые в любой момент времени 1 > а тогда и только тогда, когда по графу состояний можно перейти из любого состояния 5, в любое состояние 5 за конечное число шалав.
Определение 5.7. Пусть (5ь)ь, — множество возможных состояний системы 5, а процесс ее перехода из одного возможного состояния в другое представляет собой однородный марковский процесс с дискретными состояниями, определенный на множестве Т = 1а, оо). Если р11) = 1р~(1) ... р„1г)) вектор вероятностей состояний системы 5 в момент времени г Е Т и существует предел 1пп р1г), то вектор р называют вектором предельных веролнзно- стпей состполний системы, Существование вектора предельных вероятностей состояний означает, что с течением времени в системе 5 наступает некоторый стационарный режим. Он состоит в том, что система случайным образом меняет свои состояния, но вероятность каждого из них уже не зависит от времени. Каждое из состояний реализуется с некоторой постоянной вероятностью, интерпретация которой может быть связана со средним относительным временем пребывания системы 5 в данном состоянии.
Равенство 18.8), полученное без учета каких бы то ни было ограничений на область Т = 1а, а), для однородного марковского случайного процесса позволяет сформулировать следующее утверждение: для существования вектора предельных вероят- о.З Уравыеннл Колмогорова длл веролтностей состолннй 179 костей состояний системы 5 необходимо и достаточно суще- ствование предела 1нп ехр1Л(2 — а) 1р,. е-+ Если р(1) — вектор вероятностей состояний системы Я и 1= (1 ... 1), то для любого1ЕТ=(0, оо) решение задачи Коши для матричного уравнения Колмогорова < р'(1) = Ар(1), р(0) = ро Лр=о, 1р=1. (5.11) Следующий пример поясняет проведенные рассуждения. Пример 5.6, Размеченный граф состояний системы Я, для которой процесс изменения состояния представляет собой однородный марковский процесс, изображен на рис.
5.6. Необходимо найти предельные вероятности состояний системы 5. Л 2 Согласно заданному графу состояний, имеем — 5 0 1 0 2 — 1 2 0 3 0 -3 2 0 1 0 -2 Рис. з.и удовлетворяет равенству 1р(е) = 1. Таким образом, вектор р предельных вероятностей состояний системы 5 представляет собой асимптотически устойчивую точку покоя для нормальной однородной системы обыкновенных дифференциальных уравнений с постоянными коэффициентами р'(1) = Лр(2), имеющую неотрицательные координаты и расположенную на гиперплоскости р1+...+р„= 1. Как следствие, вектор р удовлетворяет матричной системе 180 5, МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ и, согласно (5.11), приходим к системе -5Р1+ Орз+ 1рз+ ОР4 = О, 2Р~ — Рз+ 2рз+ ОР4 = О, Зр~+ Орз — Зрз+ 2Р4 = О, ОР1+ Рг+Орз — 2Р4 = О, 1Р1+ 1рз+ 1рз+ 1Р4 = 1 решение которой нетрудно найти: 1 1 5 1 Р4— 4 5.4. Процесс гибели — размножения и циклический процесс Определение 5.8.
Марковский процесс с дискрекзкыми состпоякиями 15ь)", называют процессом гибели — раэмкозиекил, если он имеет раэмечеккый граф соскзолкий, изображенный на рис. 5.7. 32 Л„1„з Ркс. а.7 Для процесса гибели — размножения граф состоякий можно вытянуть в цепочку, в которой каждое из состояний Яь прямой и обратной связью связано с каждым из соседних состояний (крайние состояния 51 и 5з имеют лишь одно соседнее состояние). Название „процесс гибели — размножения" имеет своими истоками биологические задачи, в которых такими процессами описывают изменение численности особей в популяциях.
Пример 5.7, Техническое устройство состоит из трех одинаковых узлов, каждый из которых может выходить из строя. 3.4. Процесс гибели — размнокения н циклический процесс 181 — 2 3 О О 2 -4 2 О О 1 — 5 2 О О 3 — 2 и, согласно (5.11), приходим к системе — 2ро + Зр! + Орз + Орз = О, 2ро- 4рь + 2рз+ Орз = О, Оро+ р~ — брз+2рз=б, бра+бр~+Зря — 2рз= О, ро+ р~+ рз+ рз=1 имеющей решение 6 15' 4 15' 2 3 Рз — ~ Рз — ° Ф 15' 15 Если процесс гибели — размножения представляет собой однородный марковский процесс с дискретными состояниями, При этом отказавший узел немедленно начинает восстанавливаться.
Возможные состояния системы: Яо — все три узла исправны; 5~ — один узел отказал и восстанавливается, а два исправны; 52 — два узла отказали и восстанавливаются, а один исправен; Яз — все три узла отказали и восстанавливаются. Необходимо найти вектор предельных вероятностей состояний исходной системы, 2 1 3 имеющей размеченный граф ла й~ 8з лз состояний, который изобра- 3 2 2 жен на рис. 5.8. Рнс. 3.3 Согласно заданному графу состояний, имеем 182 5. МАРКОВСКИЕ ПРОЦЕССЫ И ЦЕПИ то его называют одмородмььм гзромессом евбели — раэмможекгм.
Для такого процесса, согласно виду размеченного графа состояний (см. рис. 5.7), имеем трехдиагоиальиую матрицу — л л, 0 Лгг -(Лгг+ Лгз) Лз, О Лгз -(лег+ Лз4) 0 0 Л34 0 0 о ... л»„ 0 О о ... -л»», порядка п, которой соответствует однородиал система линейных алгебраических уравнений относительно вектора предельных вероятностей состояний: — Лггр1 + Лмрг = 0 л„р,-(л„+л„)р,+л„р,=о, Лгзрг — (лег+ Лз4)рз+ Л4зр4 — 0~ Л»-г»-зр»-г (Л»-1»-г + Л»-1»)Р»-1+ Л»»-1Р» 01 л»,,»р», — л»,»,р„= о. Из первого уравнения записанной системы имеем Значит, второе уравнение может быть представлено в виде Лгзрг = Лзгрз. Продолжив аналогичные выкладки, приходим к следующим соотношениям: Льд+1рь = Ль+ььрь+1, й = 1, п-1, 5.4.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
