3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 18
Текст из файла (страница 18)
О Ф ~ ° т!1л Ч'1~ ° ° ° ьрл! 'Р~л ° Члл ! о о ... лл '1'л1 ° ° ° Члл где Ль ..., ˄— собственные числа (ие обязательно различные) матрицы А, а <р1'1, ..., <р! ! — соответствующие им собственные векторы. (Отметим, что нумерация элементов матрицы Ф отличается от обычной.) Тогда матрица А обладает представлением, называемым спектральным, в виде произведения трех специальных матриц: А =- Флч". Используя соотношение (ьро, фо1) = бп, можно непосредственно убедиться, что Ч"Ф = ФЧ" = ! (! — единичная матрица).
Отсюда А' = ФЛЖФЛ1г" = ФЛ'Ч", и вообще где, очевидно, л, о ... о О Л~... О 0 О (б) Положительные матрицы Пусть А — действительная матрица, которая имеет по крайней мере один положительный элемент, но не имеет ни одного отрицательного элемента, В этом случае мы будем писать А > О и называть матрицу А положительной. Если все элементы матрицы А положительны, то мы будем писать А )) О и называть матрицу А строго положительной. Нам понадобятся следующие результаты (их доказательства вынесены в приложение).
Каждой матрице А > О соответствует число г(А) ) О, называемое спектральным радиусом матрицы А, которое равно нулю тогда и только тогда, когда Аы = О для некоторого целого числа В случае если А — марковская матрица, формула (!.!) дает удоб- ное представление матрицы и-шаговых переходных вероятностей.
Правда, его эффективное использование требует вычисления всех левых и правых собственных векторов, !!З Гл. е Алгебраические метода исследования марковских цепей т > О. Если А > О, то существуют положительные векторы $, х>О, такие, что Ах = г(А)х, 1А = г(А)!.
Если Л вЂ” любое собственное значение матрицы А, то !Л) < г(А); если !Л) = г(А), то т! = Л/г(А) есть корень из единицы, т. е. т!" = 1 для некоторого положительного целого числа й, и т!"'Г(А) является собственным значением матрицы А при пт = 1, 2, .... Наконец, предположим, что А'" » О для некоторого и > 0; тогда векторы х и ! строго положительны и определены однозначно с точностью до постоянного скалярного множителя. Более того, если Л вЂ” собственное значение матрицы А, отличное от г(А), то !Л) < г(А). $2.
СВЯЗЬ МЕЖДУ СОБСТВЕННЫМИ ЗНАЧЕНИЯМИ И КЛАССАМИ ВОЗВРАТНЫХ СОСТОЯНИИ Предыдущие результаты имеют непосредственные приложения в теории марковских цепей с конечным числом состояний. Пусть Р = 1~Ре/!1, /,/ = 1, ..., п,— матрица переходных вероятностей. Очевидно, Р > О. Пусть х — произвольный вектор, удое- и летворяющий условию ~ х, = 1. Тогда ! 1 /' и и и хР =,с~ их!Рп, ллг х!Р!и ..., ~ х!Р!и ! ! ! Далее, и / и и и и Х ХхР/ Хк ХР, .'Ех! 1. (2.1) /»! ! ! ! ! / ! / ! Мы утверждаем, что неравенство хР)~Ля не может выполняться для вектора х > О при любом Л > 1 (откуда следует, что г(Р) < 1). В самом деле, суммируя компоненты в обеих частях и и соотношения ХР)~Лх и учитывая (2.1), получаем ~х,>Л~ хь !=! Так как ~~~ ~х, >О, то отсюда следует, что Л <!.
!-! С другой стороны, вектор (1, ..., 1), как легко видеть, является собственным вектором матрицы Р, принадлежащим собственному значению 1. Таким образом, г(Р) = 1. То, что 1 — собственное значение любой конечной марковской матрицы и ему соответствует положительный левый собственный вектор, можно также вывести из теоремы 1.3 гл. 3. Действительно, мы знаем, что в конечной марковской цепи по крайней мере одно состояние (а следовательно, по крайней мере один класс) является возвратным положительным. Перенумеровав состояния, если это необходимо, мы можем считать, что состояния ! = 1, ..., г составляют возвратный положительный класс.
Сле- й 2 Собственные энанения и классы поворотных состояния 113 довательно, Ри = 0 для всякой пары состояний 1,1, такой, что !' ен (1, ..., г), а !я (г + 1,..., и), Таким образом, Р имеет вид о В С (2.2) где Р, — марковская матрица порядка г Х г. В силу основной предельной теоремы для марковских цепей (см, теорему 1.3 гл. 3) существуют пологкительные числа лт, , л„, такие, что ~Р!лсРсг — — лр 1=1, ..., г, т=! ~~.'~ л! = 1. Пусть ха = (л!, ..., л,, О, ..., 0); опираясь на специальную структуру (2.2) матрицы Р, легко проверить, что х'Р = ха.
Несколько более подробный анализ показывает, что справедлива сле дующая Теор ем а 2.1. Если Р— матрица переходных вероятностей марковской цепи с конечныл! числом состояний, то кратность собственного значения 1 равняется числу возвратнь!х классов в цепи. х,Р,! = хп ь-! таси 1'~ Ц Стн л-! Д о к а з а т е л ь с т в о.
Мы видели, что если С, — возвратный класс состояний, то существует левый собственный вектор х!'! > О, отвечающий собственному значению 1, такой, что х!'1= 0 при тф С!. Точно так же для каждого возвратного класса Сн, й = = 2, 3, ..., существует положительный собственный вектор х!и1, й = 2, 3, ..., отвечающий собственному значению 1, такой, что х!ь'=-0 при !'ф См Так как различные классы не пересекаются, то векторы х!'1, х!'1, ...
линейно независимы. Отсюда следует, что кратность собственного значения 1 не меньше, чем число различных возвратных классов. Покажем теперь, что она и не больше этого числа. Пусть хР = х, тогда хР'" = х при и = 1, 2, ..., т. е. п ~х!Р';";=хтн 1=1, ..., и; т=1, 2. т=! Но если 1 — невозвратное состояние, то, как мы знаем, !нп Р,! =О !т! для всех й О~сюда следует, что х, = 0 для каждого невозвратного состояния !', так что мы можем написать ! !4 Гл. 4, Алгебраияеские метода исследоеаиия марковских цепей где С(, ..., ф— возвратные классы. Так как Рм = О, если с и ! принадлежат разным возвратным классам, то хРΠ— — хн !~Се, А=1, ..., г. (~си Если х; чь О для некоторого ! ен См то по теореме !.3 гл.
3 существует константа ак, такая, что х =а х("', !еиС. Ь и. Таким образом, т х = Х аях("(, Ь-1 Вероятностная интерпретация собственных значений и собственных векторов Рассмотрим подпространство правых собственных векторов матрицы Р, отвечающих собственному значению 1. Оказывается, в этом подпространстве существует базис, имеющий очень простую вероятностную интерпретацию.
Пусть С(, ..., ф— возвратные классы марковской цепи с матрицей переходных вероятностей Р. Определим р',м как вероятность рано или поздно попасть в класс Ск из состояния с, т. е. р(" = Р (Х„ен С„для некоторого п~ Х = !). Ясно, что ~ 1 при !он С», (к! (О при !яСО !ФЬ, (2.3) так как возвратный класс покинуть невозможно. Пусть р' (м (р(к(,, р(и!), 6 = 1, ..., г, тогда из (2.3) следует, что векторы р'", ..., р(" линейно независимы.
Кроме того, вероятности р(м удовлетворяют уравнениям Р',м= ~~'.(РОР'"', с=!, ..., н; ((=1, ..., г ! (см. уравнения (3.1) гл. 3), из которых следует, что рн!, ..., р(т! являются правыми собственными векторами матрицы Р, соответствую(цими собственному значению 1. Так как этих векторов г н они линейно независимы, то в правом собственном подпростран откуда заключаем, что векторы х(и! образуют базис в подпростран- стве левых собственных векторов, соответствующих собственному значению !.
З е Собственные энанения и классы воэвратных состояний !15 стве, отвечающем собственному значению 1, векторы рп>, ..., р<"> образуют базис, Непосредственной проверкой нетрудно убедиться в том, что ( 1, если 1=1, ( О, если т'М1, где х>п — левые собственные векторы, отвечающие собственному значению 1 (см. доказательство предыдущей теоремы). Предположим теперь, что матрица Р обладает спектральным представлением и что собственные значения Лт, Лэ, ..., Лтв занумерованы так, что 1 = Л> = ... = Л,)~(Лть>()~ ...
н Л„.л> чы!. Мы можем положить трн> = рп>, ..., три> = ры> и >(>»> = хп>, ..., фи = = ха> (см, приложение). Из представления Р = ФА"'Ч" получаем л в т>= „~~ фл>Ллфл; = ф»>р»+ . +фст>рс>+ „~>~,фл> лфл> Предположим, что матрица Р не имеет собственных значений, отличных от 1, модуль которых был бы равен 1. Тогда !Лл) < 1, т>=с+1... и, и при и- со Х фл,Л„ ф~ - О, э=те> причем скорость сходимости имеет порядок самое меньшее |Л„+>! . Скоро будет показано, что !Лл! < 1, й = г + 1, ..., и, тогда и только тогда, когда Р не имеет периодических возвратных классов (см.
теорему 3.1 следующего параграфа). Предполагая, что Р не имеет таких классов, и вспоминая, что х'л>=-фл., т> = тп = 1, 2, ...,г, 1' = 1, ...,и, отлично от нуля тогда и только тогда, когда 1 ~ Сл, мы видим, что ф»тр» = фее>ет = . = ф„>>(>,> = О для невозвратных состояний 12 Таким образом, если состояние > невозвратно, то Р. =- т! и зта величина стремится к нулю со скоростью л- +> лт )Л„+>)'" при лт — оо, Если же 1', > ен Сл, то среди первых г слагаемых в выражении для Р» отлично от нуля только фтыфл>, но фты = = 1 (вспомним, что фл,— — рт"') и э(>л>=п = !пп Р„..
Мы видим, Ш '+ что вообще для всех состояний ) разность и> — Р>т, стремится к нулю при т - оо со скоростью самое меньшее (Л,+>('н. 116 Г!. 4. Алгебраические методы исследовинип марковских цепей Теперь предположим, что, кроме ~).,+с~( 1, имеет место еще и неравенство (л,„+з) < )~ +!). Пусть, как обычно, Т обозначает множество всех невозвратных состояний, с, / ~ Т; мы хотим найти следующий предел: !пп Р(Х =1!Х,=с, Х,„еи Т), т. е. предельное значение (при пт- оо) вероятности того, что, исходя из ! ~ Т, процесс будет находиться в невозвратном состоянии !' в момент т. Имеем рп Р(Хы=! !Хе= с, Х!пеи Т) = !! ! т при условии, что знаменатель не равен нулю. Если же знаменатель равен нулю, то иам придется исследовать члены в сумме и фи,.З„фиг, содеРжащие А,+з и дРУгие собственные значениЯ, и с+! модуль которых равен ~» чи), и т.
д. (См. $8 гл, 13, где эти идеи развиваются далее.) й 3. ПЕРИОДИЧЕСКИЕ КЛАССЫ В этом параграфе мы дадим более полное описание структуры периодической цепи. Простейший пример периодического класса с периодом с! дает цепь с с! состояниями 1, ..., с! и матрицей переходных вероятностей 0 ! 0...0 0 0 1...0 Р!2 хзэ ''' Ри-1,4 Р~п 1е 1 0 0 ... 0 Менее тривиальный пример возникает, если каждое из состояний 1, ..., с( заменить группой состояний, причем группы состояний Сс, ..., Си не пересекаются, а РО определить таким образом, что Как мы Ь=сч-! видели, для невозвратного состояния ! вероятность фи!1!„чйи!. Так как )Х,п! ()) Х,ех), то 1! гп Р!/ фс+!, !"исп!,1 'сс-~-! ! -- Х Рс! Х ф„!,сф,+!,, Х ф„!,, 1ыт !ыт ' ' ! т 4 3. Периодические классы Рп 1 0 только тогда, когда ! я Сь ! я С,, или ! я Сь / е= См ...
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
