В.П. Чистяков - Курс теории вероятностей (1115342), страница 27
Текст из файла (страница 27)
(1 .9) Для определенных таким образом случайных величии легко проверяется равенство (1.7) . Исаольэуя (1.7), нетрудно вычислить условные вероятности в обеих частях равеяств (1.7) или (1Л) и убедиться в том, что эти равенства верны. Укаэанные вычисления приводят к доказательству того, что случайные веиичины (1.9) явлюотся цепью Маркова, у которой о — вектор начальных вероятностей в Р— матрица вероятностей перехода. Очевидно, что равенство (1.6) — зто частный случай соотношения (1Л). С другой стороны, как отмечалось ранее, из (1.6) следует (1.7), а из (1.7) вытекает условие марковости (1.1). Таким образом,, верно следующее утверткденне: равенство (1.6) равносильно условию марковости (1.1). Заметим также, что для однородной цепи Маркова ~~ при любом г выполняется равенство Р (йсы= У'1В,=() = Раей =У'! Бе =1) 1, У'Е=.Ф" (1.10) Это соотношение докааывается прямым вычислением условных вероятностей при помощи формулы (1.8).
(См. задачи 2 и 3 гл. 8.) Поскольку вероятность (1ЛО) не зависит от э, то можно положить Р (Ь+, = У' ~ $, = 1) = Ры (1), (1Л1) Функции Ры (1), 1, У б= 4", называют вероятностями перехода из состояния 1 в состояние У за время 1. Рассмотрим несколько примеров. П р и м е р 1. Блуждание частицы по целым точкам отрезка [О, и), описанное в 9 4 гл.
4, является цепью Маркова, в которой д~ —— О (1 ~ й), дэ = 1; р„л = О (1 = О, 1,..., и — 1); Р~,г = О (У = 1, ° ° ., и); Рэ(э = Рэ, Рсы = Р и Рц~-т = 1 — р (( = 1,..., и — 1). Равенства (4.4.4) и (4.4.5) являются следствием однородности цепи Маркова (см. (1ЛО)). (ГЛ, З цвпи МАРКОВА Пример 2. Пусть 1 1 з з 1 1 2 2 Чз = Чз = О. Ч1=1 Р= 1 1 2 2 )О Так как переходы из 2-го и 3-го состояний в 1-е не проис- ходят, то Р(В~=1) =Р(аз=1. Вд=1. ° * . Вф=1)- = Р (3, = 1) Р (2, = 1 ~ й, = 1) ... Р (4 - 1 ~ 3,, = 1) = 3-', Событие А, состоящее в тома что цепь всегда будет находиться в 1-м состоянии, можно представить в виде ЮО А= Я ($,=1», где Д, = 1) — монотонно убывающая нос з следовательность событий. Следовательно„по формуле (1.ЗЛ1) находим Р(А)=1!шР$,=1) =ПжЗ '=О.
! в $ а П р и м е р 4. Рассмотрим Т + 1 испытаний Вернул'-' ли; вероятность успеха в испытании с номером 1, 1 = О, 1'„ Состояние 1 цепи Маркова называется несущественным, если существуют состояние 1 и число 1, такие, что Ры (тз) ) О, и Р;, (С) = О при любом 1. В противном случае состояние называется существенным. В примере 1 существенными состояниями являются О и я, а остальные — несущественными. В примере 2 состояние 1 — несущественное„а 2 и 3 — существенные.
Можно доказать, что система, описываемая цепью Маркова, уходит из несущественных состояний с вероятностью 1. Пример 3. Положим ГО 11 1с, Ч,Ч Если в момент 1 = О система находилась в состоянии 1„ то в нечетные моменты времени система будет находиться в состоянии 2, а в четные — в состоянии 1.
Таким образом„ 1 ( 1)' 1+ (- 1)' Рм(1) = — 2- —, Ри(1)= 6 2! уРАВнения для ВеРОятностен НВРеходА 157 2,..., Т, равна р (О ( р ( 1). Пусть случайная величина $~ = 1, если общее число успехов в испытаниях с номерами г = О, 1, 2,..., 1 было нечетным, и $, = 2 в противном случае. Равенство Р(ьы«=1!Ео = 1о 5«= 1» ° Ь« = й» Ь =-1) = = Р Йыг = ! ! Ь = 1), 1, у = 1, 2, (1.12) достаточно очевидно: если в момент 1 четность числа успехов известна, то четность в следующий момент определяется только реаультатом очередного испытания, а испытания по условию независимы.
Равенство (1Л2) легко доказать, если воспользоваться тем, что событие ($« = 1„$, = !»..., $, = 1, $„, = 1) (1ЛЗ) однозначно определяет исходы в испытаниях Бернулли с номерами О, 1,..., 1+ 1, а событие ($, = 1, $„, = 1) является конечнойсуммойсобытий вида (1ЛЗ).
Из (1.12) следует, что $, является цепью Маркова. Поскольку состояние цепи $, меняется лишь в случае успеха в очередном испытании, то непосредственно из определения находим ры — — Р (Е« = 1 ~ $о = 1) = 1 — р = д, роо = Р ($, = 2 ) $о = 2) = д.
Аналогично получим р„= рм = р, я« = р чо = Ч Нетрудно вычислить вероятности перехода Р,! (1). Например, !О-«!!о! Рм(1)=Р(Ь=1~$«=2)= Х С«""р""~д м '. о=о $ 2. Уравнения для вероятностей перехода Кроме вероятностей «сплошных» цепочек исходов (1.7), нередко приходится вычислять вероятности цепочек вида (Ь, = !«Вь = !«~ 1 В«, = !о)1 (2.1) где моменты времени 1»..., 1, уже не обязательно являются соседними. Вероятность события (2Л) можно выраз(«ть через вероятности перехода Ры (1).
По формуле 153 ЦЕПИ МАРКОВА 1ГЛ. З полной вероятности Р (зс,=1д,...»зс,=(,)- = Х РЯк=й) Р(Ь,=-(д, ° ° °, Й, =(»~5к= Й). к=д (2.2) Преобразуя второй сомножитель под знаком суммы по формуле (3.2.2) и используя условия марковости (1.1) и условия однородности (1.10) (1Л1), получим р (зс, = (д, , $с, = (.) = Х дкРк,с, (Сд) Рс„ с,.(сд — 1д) ° ° ° Рс ,,с, (8, — 1 -д) (2.3) К=д Для вычислений по формуле (2.3) нужно уметь находить Рп (1).
Теорема 2 1. ссри любых г, 8 Рсс(1+г)= ~ Рс,(г) Рдт(1), 1,1=1,2,...,Х. (24) к=д Д о к а з а т е л ь с т в о. Вычислим вероятность р (Зс», = 1 ) зк — — с) по формуле полной вероятности (3.3.1), положив Вк = ($, = сс): Р(ЗМ=С~$ =1)= л =- Х с' 6» = 7с ~ ~о = О с' (Ь» = 1 ~ Ь = 1, 3» = 1с).
(2.5) Л:=с Из равенств (1Л) и (1.10) следует РК„» =Я5к =с, ~, =й) = = Р (Ь„= 1! Ь, = й) = Р (2, = 7 ! В, = й). Отсюда и из равенств (2.5) и (1Л2) получаем утверждение теоремы. Определим матрицу Р (С) = 1 Рм (С) 1, В матричной записи (2.4) имеет вид Р (1 + г) = Р (г) Р (1). (2.6) Так как Рм (1) = р;с, то Р (1) = Р, где Р— матрица вероятностей перехода. Из (2.6) следует Р (1) = (Р (1))' = Р'. (2. 7) результаты, полученные в теории матриц„позволяют по формуле (2.7) вычислять Рм (Ф) и исследовать их повел»1» стАционАРИОН РАспРеделение ние при 1-+ оо. Некоторые теоремы о неотрицательных матрицах приведены в монографии [15); подробное исследование стохастических матриц и цепей Маркова содержитсн в книге Н4[. й 3.
Стационарное распределение. Теорема о предельных вероятностях Распределение вероятностей ~, в произвольный момент времени 1 можно найти, воспользовавшись Формулой полной вероятности и Р(В=у) = Х Чкрю(У). (3.1) к=к Может оказаться, что Р ($, = у) не зависит от времени. Нааовем стационарным распределением вектор д* = (д~, ..., дон), удовлетворяющий условиям Уко>о, У =1,...,Л; и н Х цк=1, Х цкрку=дуг у=1 2 ° ° ° уЧ (3 2) к=к Кеа где ры — вероятности перехода (1.2). Если в цепи Маркова Р Яо = Ус) = дк = дкю то при любом Р(Вк — — Ус) =Чк.,Ус=1,2,..., У.
Это утверждение следует по индукции из (3 1) и (3.2). Приведем формулировку теоремы о предельных вероятностях для одного важного класса цепей Маркова. Те о р е м а 31. Если при некотором 1г ) О все глементы матрицы Р' положительны, то для любых к, у = = 1, 2,..., ЛУ при г -+ оо (3.3) РЫ (г) = Цтк+ ем(1) где де = (дю ..., дон) — стационарное распределение с дк~ ) О, ус = 1, ..., ук', е~у (у) = О (ук'), а й — некоторая постоянном, удовлетворяюиуам неравенствам О ( й ( 1.
Докааательство етой теоремы, опирающееся на факты из теории матриц, содержится в книге [14[; прямое докааательство имеется в книгах [4) и [13). В т 4 приведено нрямое доказательство. ЦЕПИ МАРКОВА [гл. В ?[ю Р Я, = /) = Чз, / = 1, 2,..., Х. Рассмотрим несколько примеров цепей Маркова, для которых условия теоремы ЗЛ не выполнены. Нетрудно проверить, что такими примерами являются примеры 1, 2, 3 из 3 1.
В примере 1 при 1-+ со вероятности перехода имеют пределы, но зти пределы зависят от начального состояния. В частности, при Р = Ч = 1/2 (см. 3 4. гл. 4) )ппРВ,(1)=0, 0<Х<п, ?с=0,1,...,лз 
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
