3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 19
Текст из файла (страница 19)
, или ! ен Са, ! е= Сь Матрица Р принимает в этом случае вид О Р, О О О Ра Ра О О При этом мы можем определить РО так, чтобы любые два состояния сообщались. Мы покажем сейчас, что всякий периодический класс имеет такую структуру. Пусть с! — период класса состояний 1е', которые помечены целыми числами 1, ..., М. Обозначим через С~ множество всех состояний, достижимых из состояния ! за какое- либо число шагов, кратное с1, т, е, !' ен С, тогда н только тогда, когда Рп ) 0 для некоторого целого и > О. Далее, для каждого г = 1, ..., с! — 1 определим С„е1 как множество тех состояний, которые могут быть достигнуты из состояния 1 за г плюс кратное с! число шагов, т.
е, !' ен Сыы тогда н только тогда, когда Р"„+') 0 для некоторого целого и > О. Покажем сначала, что если ! е= Сь то из Р;, > 0 следует, что й = сис! для некоторого целого т > О. Действительно, так как ! ен Сь то Р,"~ > 0 для некоторого и > О. Следовательно, так как Р,"~+")Р,"~Ра )О (см. следствие 4.1 гл. 2), то по определению периода гЫ+ й должно делиться на с1, а потому и й делится на с!. Теперь мы покажем, что если с я Сс и ! ен С„+ь то из Ран>0 следует, что й = ис1+ г для некоторого целого и )~0. В самом деле, пусть Р~,)0 для некоторого з>0, РК >0 для некоторого д>О и Рп ~' >О для некоторого си)~ 0; тогда если сн = з+ с!с!+ +те(+ г, то Р„)'Р,~ 'Р!;РЙ >О, и, значит, ш кратно с1; следовательно, з + г кратно с!.
Но Р!г+') Р,'сРО) 0 так что й+ з делится на с!. Эти два результата позволяют утверждать, что й — г делится на с1, т. е. Ь = ис! + г для некоторого и )~ О. Мы оставляем читателю проверить, что из доказанного следует, что множества Сь ..., Са не пересекаются и непусты, что ЦС, = Ч7 и что 1ен С„гарантирует равенство РО = 0 для кажс 1 дого / ф С„еь где Саы = Сь Проанализировав матрицу периодического класса, мы можем теперь доказать ранее высказанное утверждение относительно появления собственных значений, модуль которых равен 1, у матрицы переходных вероятностей марковской цепи, 1!8 Га 4, Аяггброи«гскиг мссоды исследовояия марковских цепей Теорема 3.1. Ес..и Р--лсатрица переходных вероятностей конечной неприводимои периодической марковской цепи с периодом с(, то корни д-й степени из 1 являются собственными значенссями матрицы Р, кратность каждого из них равна единице, и не существует других собственных значений, модуль которых равен 1.
Д о к а з а т е л ь с т в о Пусть Р„..., Рв — «циклические классы» процесса в том смысле, в каком мы их только что определили, т. е. из !он Р„следует, что Рм = О для каждого ! ф 0,+ь Не теряя общности, предположим что Рс = (1,..., пс), Ря = (и, + 1, ... ..., пс + пг)..... Рв = (М вЂ” пв + 1, ..., М). Из определения циклических классов следует, что А, О ... О О А, ... О О О ... Ае где Ас — марковская пс Х поматрица. Кроме того, для каждого 1 существует целое число т ) О, такое, что Аг » О (см. упр.
8 гл. 2). Следовательно, А; имеет строго положительный левый собственный вектор !л!о, принадлежащий собственному значению 1 алгебраической кратности !. Благодаря структуре матрицы Р" мы можем, дописав нужное количество нулей к !л<О, получить линейно независимые векторы ха!, ..., хм!, такие, что х~ ~ = холР, с = 1, ..., д. Рассмотрим векторы уп'=хп', у"'=х'пР, ..., ум'=хп'Р '. Единственные отличные от нуля компоненты вектора хп! — зто те, что имеют индексы 1, 2, ..., и,; вероятность Ры отлична от нуля толь<л~ ко в том случае, если класс, которому принадлежит состояние с, переходит за 6 шагов в циклический класс, которому принадлежит состояние й.
Таким образом, ненулевые компоненты вектора У<о имеют индексы п1 +... + п; с + 1, ..., и, +... + пь Это значит, что векторы уш(1= 1, ..., с!) линейно независимы. Кроме того, у~нР"=хо~Р~ ~Р" =ха~Р Рс 1=ха!Р Следовательно, если мы ограничимся рассмотрением и;-мерного линейного пространства, включающего только те компоненты вектора у(о, что лежат в Рь то получим левый собственный вектор матрицы Аь соответствующий собственному значению 1. Так как собственное значение 1 матрицы А» простое (имеет кратность 1), то каждый ун> совпадает с хн> с точностью до ска ф 3. Периодииеекие кхаеео) 119 лярного множителя. На самом деле, если нормировать векторы л хн),, х<е) условием ~ х<м=-1, А= 1, ..., е(, то получим, что < ) у<м = х<ы, )) = 1...,, <(. Соответственно мы можем теперь записать х<') = х")Р, х<" = х<г)Р, ..., х<" = хы)Р. Пусть е) = е'"<)е; тогда с помощью последних соотношений получаем (хц)->-х<Н+хн)+ ...
+х<Е)) Р-х<')+х<г)+ ... + х<Е), (хн)+вх<г)+агх<г)+ ... +оФ х<е)) р-а (хн>+вх<г) а... еоФ х<Ю), (хн)+ агх<г) + а"х<а) +... + во <а-))х<Е)) Р -а-г (х<') Е агх<г) + ., а в'<Е-нх<Е)), (,о)+а<а-п„<г),вг<е-пх<з>+ ев<е-Па<он) р„в-м-п(„п)„.а<е-п,<г>+ е <е-и'„<е>).
Линейная независимость векторов х<о гарантирует, что ни один из векторов в этих соотношениях не равен нулю. Кроме того, последние соотношения означают, что все корни е(-й степени из 1 являются собственными значениями матрицы Р. Предположим далее, что хр = ).х для некоторого ненулевого вектора х.
Тогда хре = ),ех. Разбивая этот вектор на векторы гщ = =(х), ..., х„ ), х<'> = (х„ +„ ..., х„ ,„ ), ..., к<е> = (хм „ +<,...,х„), мы видим, что хн'А, = е.ехп), 1= 1, ..., с<, Поскольку по крайней мере один из х«> не равен нулю, а для каждой матрицы А< существует целое число с), такое, что А", )) О, то либо )ое = 1, либо 1).е~ < 1. Если )е = 1, то существуют константы сь ..., се, такие, что х'и = сех<", а следовательно, х = сох<') +... + сехм).
Итак, )х =-хР= с,х'м+сгх<в+ ... +с„х<'>, или )ос>х<п+ ... +)сех<")= сех<')+ с,х<')+ ... +се )х<е). Так как векторы х«) линейно независимы, то ).с) =- се, ).сг = с), ..., е.се = се „ или < е-) с, >=).се=(). ) соь се г=) се=(). ) се, ..., с, =)< се=)< соь поскольку )ое = 1. Это означает, что х с точностью до скалярного множителя совпадает с одним из уже построенных собственных векторов матрицы Р. ° 120 Гл 4, Алгебраическое методы иггледовония морковгких цепей Перейдем к случаю произвольной марковской матрицы. Т е о р е м а 3.2.
Если Р— матрица переходных вероятностей конечной марковской цепи, то все ее собственные значения, по модулю равные 1, являются корнями из |, Корни й-й степени из 1 являются собственными значениями матрицы Р тогда и только тогда, когда множество состояний марковской цепи, которой соответствует Р, включает возвратный периодический класс периода й. Кратность каждого корня й-й степени совпадает с числом возвратных классов периода й. Доказательство этой теоремы по существу идентично доказательству теоремы 3.!.
Поскольку из соотношения Хх = хР следует, что л~х = хР или, в координатной форме, Х"х, = 2", х;Р|1, ;-1 то, переходя к пределу при пт - оо, мы видим, что х| = О, если состояние | невозвратно. Таким образом, мы можем рассматривать только возвратные состояния, что немедленно сводит рассматриваемый общий случай к предыдущей теореме. й 4, СПЕЦИАЛЬНЫЕ ВЫЧИСЛИТЕЛЬНЪ|Е МЕТОДЫ ДЛЯ МАРКОВСКИХ ЦЕПЕИ Пусть Р— матрица переходных вероятностей случайного блуждания по неотрицательным целым числам, вероятность перехода в одно из соседних состояний из состояния й(й)~ !) равна '/,, а нулевое состояние является отражающим экраном, т. е, О 1 ΠΠ— О ! О 2 — О 1 2 1 О 2 Чтобы найти вероятность перехода из состояния й в состояние ! за п шагов, мы могли бы получить и-ю степень матрицы Р и вы.
делить элемент Ряь Этот путь, однако, слишком громоздок. Другой возможный путь — это попытаться обобщить метод собственных значений и собственных векторов, развитый в В 2. |з случае бесконечных матриц это не всегда можно сделать, 4 4 Оиечиояьиьье оььиие.иьтельиые летидьь 12! сов(а -!-(1) = сов асовр т- в!паз!пО, приходим к следующему тождеству: сов а соз !! = — сов (а + 0)+ — сов (а — 0). ! ! 2 2 Пусть а = О, а О = йО(й = 1,2, ...); в этом случае имеем соз 0 сов АО = — сов (/г + 1) О + — соз (й — 1) О. (4.1) ! 1 Так как элементы й-й строки матрицы Р имеют вид ! — „=О, ,=О, Рмо= Рьл =-О, ! Рь,ье!= 2 й=-2, 3, Рмь,— — О, 1 Рьо = 2 ь Р!,о=О 1 Р10 2> Ро,2=0, Рио= 0 тождества (4.!) можно записать как сов 0 сов АО = ~~'., Рь, соз гО, т-о Й=О, 1, (4.2) Умножая обе части (4.2) ва сов О, получаем соз'О сов АО =- ~~'.~ Р», сов О сов гО.
(4.3) г о Представим произведение сов О сов гО с помощью (4.2) в виде сов 0 соз гО = ~ Р„сов зО. Однако для матриц только что описанного вида и, более того, для матриц переходных вероятностей, соответствующих процессам случайного блуждания, имеет место бесконечномерный аналог представления (1.!). Мы сейчас получим выражение для Рй способом, который иллюстрирует общий подход, применимый к произвольным процессам слу !айного блуждания.
Складывая два тригонометрических тождества !22 Гл. 4, Алгебраические негода исследования марковских цепей Подставляя это в (4.3), получаем ( соз' 8 соз йО = Рг Р„2, 'Р„соз з8 = г о е-о ( ОХ ','„= е о г = ~ Рг„соз з9. соз" О соз йО = ~ Ре, соз гО. (4.4) г о Умножим обе части этого уравнения на соззО и проинтегрируем по О от О до 2сп соз" ОсозйОсоззОа(0= ~ ~ Ре,созгОсоззОс(0= о о г-о гп = У Ре, ~ созгОсоззО с(0. (4.5) г о о Используя тождество (') с со = г9 и р = зО, легко показать, что оп О при гФз, соз гО соз зО с(0 = гс при г = з)1, о 2гс при г в=О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
