1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 86
Текст из файла (страница 86)
Отсюда следует однородность марковской цепи. Построенная марковская цепь Х=(Х«) называется марковской цепью, порожденной парой (я, Р). При этом, чтобы подчеркнуть, что построенная на (В, «9(Л )) мера Р отвечает именно начальному распределению п, ее часто обозначают через Р„. Если мера и сосредоточена в одной точке (х», то вместо Р„ пишут Р„н соответствующую марковскую цепь называют цепью, выходящей из точки х (поскольку Р (Хо=х» = 1). Таким образом, с каждой переходной функцией Р = Р (х; В) связывается на самом деле целое семейство вероятностных л«ер (Р„, х ев )Г», а, значит, и целое семейство марковских цепей, возникающих, когда последовательность (Хл)лжо рассматривается относительно мер Р, хан Я. В дальнейшем под словами «марковкая цепь с заданной переходной функцией» будем понимать именно семейство марковских цепей в указанном смысле.
033 0 ~ опеедвлвння н основные своиствк Заметим, что построенные по переходной функции Р=Р(х; В) меры Р„и Р„согласованы в том смысле, что для А ен,ЗЯ ) Рв((Хь Х« ° ..) а=А)Хо х)=Рх((Хо Хм " ) ~ А) (и-и. н.) (13) и Рп ((Хо, Хм...) ~ А) = ~ Р„((Х„Х„...) е= А) и (дх).
(14) 5, Будем предполагать, что (ь1, .У) =Я=-, Л(В )) и что рассматриваемые последовательности Х = (Х„) заданы координатным образом, т. е, Х,(ы) =х„для го=(х„х„...). Пусть также,У„=- о(аи Хв,, ° Х ) п~О, Определим на (г операторы сдвига 0„, и.-- О, с помощью равенства 0„(хо х„...) = (х„, х„+„...), и для каждой случайной величины п=ц(ы) определим счччайные величины 8„«ь полагая (8„Я) (03) = и (О„и). Используя эти обозначения, марковскому свойству однородных цепей можно придать (задача 1) следующую форму: для любой ,У'-измеримой случайной величины «1 = ц (ы), любого и О и В ен Я Д) Р(0„~) яВ~ У,)=Рх„(т1 енВ) (Р-п.
н.). (15) Именно эта форма марковского свойства допускает важное обобщение, состоящее в том, что соотношение (15) останется справедливым, если вместо и рассмотреть моменты остановки т, Теорема. Пусть Х = (Х„) — однородная марковская цепь, заданная на (В, Л(В )„Р) и т — момент остановки.
Тогда справедливо следующее строго марковское свойство: Р (0««1 е:— В ~ Хт) = Рх (ц е= В) (Р.п. н ). (15) Доказательство, Если А ен,У«, то Р (Отт~ е= В, А) = ~ Р Щ ен В, А, т = и) = = Я Р(8„чан В, А, т=п). (17) а=0 Событие А П(«=п) ~ У'ь и, значит, Р(8„«)енв, АП(т=п)) = ~ Р(8„ценВ~У„)с(Р= А и (т=л) Рх («1 ы В) с(Р = ~ Рх (т) е= В) дР лн1 =ь1 лп1«= 1 что вместе с (17) доказывает (16). 534 ГЛ.Ю!! МАРКОВСКИЕ ЦЕПИ Следствие.
Если и — момент остановки такой, что Р(п~ -=т) =1 и и — У,-измерим, то Р(Х в=В, о( со~АР ) =Рх (В) ((о<со); Р-п. н.). (18) 6. Как уже отмечалось, в дальнейшем будут рассматриваться лишь дискретные цепи Маркова (с фазовым пространством состоя- нии Е=(..., >, 1, )>, ...)). Для простоты записи будем в этом случае обозначать переходные функции Р(!'; (!)) через ру н'назы- вать их переходными вероятностями, а вероятности перехода из ! в ! за и шагов обозначать через р>л>, Основные вопросы, которые будут изучаться в Я 2 — 4, связаны с выяснением условий, при которых (Е=(1, 2, ...)): Л) Существуют предела! л! =!пир!".>, не зависящие от >; л В) Пределы (л„л„...) образуют распределение вероятностей, т. е. л; ~ О, ~Х ,'л; = 1; >=! С) Цепь является вргодической, т.
е. пределы (л„ л„ ...) таковы, что л; ~ О, ~ л! = 1; >=! 0) Существует и притом единственное стационарное распреде- ление вероятностей (() = (>)„>)„...), т. е, такое, что >)! - О, ~>)>=1 и >)!=~х >(>р>>, !'Ее Е. >=! Для получения ответа на эти вопросы проведем классификацию состояний марковской цепи в зависимости от арифметических н асимптотических свойств вероятностей р!"> и р>э>. 7. Задачи.
1. Доказать эквивалентность определений марковости (1), (2), (3) и (15), 2. Доказать справедливость формулы (5). 3. Доказать соотношение (18). 4. Пусть (Хл)л. в — марковская цепь. Показать, что обращенная последовательность (,. Х„, Х„м ..., Х,) также образует цепь Маркова. й 2. Классификация состояний марковской цепи по арифметическим свойствам переходных вероятностей р>"> 1.
Будем называть состояние ! ы Е=(1, 2, ...) несущественньси, если из него с положительной вероятностью можно за конечное число шагов выйти, но нельзя в него вернуться, т. е. существуют такие т и ), что р>>!">)О, но для всех и и ! р)!'>=О. 535 ю 2 хллсситпкхция состояний Выделим из множества Е все несущественные состояния„ Тогда оставшееся множество существенных состояний обладает тем свойством, что, попав в него, блуждающая «частица» никогда из него не выйдет (рис. 36).
Как станет ясно из дальнейшего, основной интерес представляют именно существенные состояния. г Г У, 1УЛ I Д. ! У!г Ф 1Уг 1У:,' 1 ! 1 Сутестууенные состоянию Нееутеетоенные еоенюояноя Рас.„зо. »У Яуя : О О О 11 »1: О О О =(" 2 О О ; .О 1 О О О; '1,О'1г О О О 1 О Рассмотрим сейчас множество существенных состояний.
Назовем состояние у дасгпижимым из точки у (у- у), если существует такое т~О, что рф>)О (р1«у=1, если у=у, и О, если уеду). Состояния ю' и у' назовем сообщающимися (У у), если У достижимо из 1 и У достижимо из у. По самому определению отношение «» является симметричным и рефлексивным. Нетрудно убедиться, что оно транзитивно (У у, у й =:О У ° Уг). Следовательно, множество существенных состояний разбивается на конечное или счетное число непересекающихся множеств Е„Е„..., состоящих из сообщающихся состояний и характеризующихся тем, что переходы между различными множествами невозможны.
Для краткости множества Ем Е„... будем назьиать классами или неразлажимыли к ассами (существеииых сообщающихся состояний), а марковскую цепь, состояния которой образуют один неразложимый класс, назовем неразложимой. Для иллюстрации введенных понятий рассмотрим цепь с мат. рицей Гл. К>>!. ИАРкОВские цепи Граф этой цепи с множеством состояний Е=(1, 2, 3, 4, 5» имеет следующий вид." г/т 4т М Ф Усй:41 Ясно, что у рассматриваемой цепи есть два неразложимых класса Е, = (1, 2», Ее = (3, 4, 5», и исследование ее свойств сводится к исследованию свойств каждой из двух цепей, состояниями которых являются множества Е, и Е„ а матрицы переходных вероятностей равны соответственно Р, и Р,.
Рассмотрим теперь какой-нибудь неразложимый класс Е. Зля примера пусть им будет класс, изображенный на рис. 37. Заметим, что здесь возвращение в каждое состояние возможно лишь за четное число шагов, переход в соседнее состояние — за нечетное число шагов, а матрица пере! ходных вероятностей имеет блочную структуру: о о: >>е >>е о о Р= х 1/~ 1! ! о о >, >,.: о о у/г Отсюда видно, что класс Е=(1, 2, 3, 4» разбивается на два подкласса С,=(1, 2» и С,=(3, 4», обладающих следующим свойством цикличности: за один шаг из С частица непременно пе.
цепи с периодом Л =2. о реходит в С„а из С,— в С,, Этот пример подсказывает классификацию неразложимых клас- сов на циклические подклассы, 2. Будем говорить, что состояние 1 имеет период д=й(1), если выполнены следующие два условия: 1) р'л>)0 только для тех и, которые имеют вид и=с(т; >! 2) й есть наибольшее из чисел, обладающих свойством 1). Иначе говоря, й есть общий наибольший делитель чисел и таких, что р>л> ) О. (Если р!"> = 0 для всех и- 1, то полагаем д (1) = 0.) Покажем, что все состояния одного неразложимого класса Е имеют один и тот же период й, который поэтому естественно назвать периодом этого класса, д д(Е).
Пусть >, (~Е. Тогда найдутся такие к и 1, что р!".>)О, р>о)0. Поэтому р»ь+>>,-=Вр>Л>р>>>)0 и, значит, й+1 делится иа >! Н и >! й(!). Предположим, что п)0 и и не делится на д(!). Тогда и+к+1 также не делится на й(!» и, следовательно, р)!"+ь+>>=О. э к клАссиФикАция состоянии Но ры+А+ и «~ р м)ры)р))) л )! Д )) и, значит, р(") =О. Отсюда вытекает, что если рЩ) >О, то и должно делиться на )1()), а поэтому )) (1) «=)1()).
В силу симметрии )1(у) =д(ю). Следовательно, )1(1) = = ((/). Если )1 ()) = 1 (й (Е) = 1), то состояние / (класс Е) будем называть алериодическим. о С~ Пусть )1=))'(Е) — период неразложимого класса Е. Переходы внутри такого ) класса могут осуществляться весьма причудливым образом, однако (как и в рассмотренном выше примере) имеет с,.~ с место некоторая цикличность в переходах Рис.
за. Лэижеяне по иихлэиз одной группы состояний в другую. "е'к"и яох"лассам. Чтобы это показать, зафиксируем некоторое состояние )', н введем (для )(~1) следующие подклассы: Са —— ~) ~ Е: р)и) > О ~ и — О (шоб )1) ~; Сг= ~) яЕ: р~"1 >О=:э и= 1(шод)()1; Си ) — — ~)' ~ Е: р)) "/ > О =Э п ии г( — 1 (той )1) ~ Ясно, что Е=С,+С)+...+Сэ,. Покажем, что движение из подкласса в подкласс осуществляется так, как это изображено на рис. 38. В самом деле, пусть состояние ) ~ Ср и рн >О. Покажем, что тогда непременно ) е=Ср+,<,ээ). Пусть и таково, что ри,)- О, Тогда и=а)(+р, а значит„лаир(щоб)Х) и и+1=р+1(шос$))).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
