В.П. Чистяков - Курс теории вероятностей (1115264), страница 25
Текст из файла (страница 25)
Равенство (1.1б) цепи мАРкОВА [Гл. 9 168 легко доказать, если воспользоваться тем, что событие ($, = 1„$» = 1», ..., $» = », $»+» — !) (1.17) однозначно определяет исходы в испытаниях Бернулли с номерами О, 1, ..., !+1, а событие ($»=-», $»+»=!) является конечной суммой событий вида (1.! 7).
Из (1.16) следует, что С» является цепью Маркова. Непосредственно из определенна $» находим р»» = Р($» = 1 ! $,= !) = рм=-Р (с» = 2 ! $, = 2) 1 — р = »), так как состояние не меняется, если успех не появился. Аналогично получим Нетрудно найти вероятности перехода Р,~(!). Например, М Рм(С) = Р(5,=1(ф,=2) = ~ См-'Р"»»д'-~+». »=о (2.1) (2.2) Р»»=Р = — Р> Ч>> Р» 7»=») й 2. Уравнение для вероятностей перехода Вычисление вероятностей событий (Ь, = !» Ь, = !.. $», = 1,) в виде сумм вероятностей соответствую»ц»»х тарных событий затруднительно.
Довольно вероятность события (2.1) выражается через ности перехода Р»~(!). По формуле полной ности Р ($», = !», ..., $„= (,) = н = ~~'„, 'Р (ф = й) Р (ф, = 1„, ...„6,, = 1, ) $, = й). влемеипросто вероят- вероят- з и тяавненнв лля вяяоятностсп пеяехода ~щв Используя (1.91 н теорему 1.2, получим Р($ц =1,, ..., $п = 1, ($, = — й) = =Р($, =1,1$ =й)Р($~„=1,1$„=К $ц=1,)~... =Р($п=1,($,=й)Р($„=1,) $„=1,).,'. ' .'.. Р($„=1,! $„,=1,,)= =Р„,(,) Р„„(1,— 1,) ".
Р„„,«.— 1,,). Отсюда и нз (2.2) найдем Р ($, = 1,. °, $м = 1,) = = Ъ Чары,(1~)рпп((ю 1Э ° ° ° Ри м,(1т 1 — ~) (2.3) Для вычислений по формуле (2.3) нужно уметь находить Р~ (1). Теорема 2.1. При любых з,1 Рм(1+а)= ~ Р,„(з) Р„у(1), 1, (=1, 2, ..., М. (2,4) До к а з а тел ь с т во. Вычислим вероятность Р($,+, —— ! ~ $, =1) по формуле полной вероятности (2.3.1), положив В =($,=я): Р($,,=)($е 1) = = ~ Р($,=й1$,=-1)Р($„,=(1$,=1, $,=й).
(2.6) ь=! Из равенства (1.9) н теоремы 1.2 следует Р($~,=!) $9=1 $,=й) = =Р($„,=!) $.=й) =Р($,=!) $,=й). Отсюда н яз равенств (2.5) и (1.12) получаем утверждение теоремы, Определим матрицу Р (1) =( Р, (1)1, В матричной записи (2.4) имеет вид Р(1+а) Р(з) Р(1). (2.6) Так как Рм(1)=рсо то Р(1)=Р, где Р— матрица (1.3). Из (2.6) следует Р(1).=(Р (1)) — Р', (2.7) !70 !гл. э цепи мьпковА Результаты, полученные в теории матриц, позволя!от по формуле (2.7) вычислять Р,"(!) и исследовать их поведение прн ! со, Некоторые теоремы о неотрицательных матрицах приведены в работе Б. А. Севастьянова 1151; подробное исследование стохастическнх матриц и цепей Маркова содержится в книге В. И.
Романовского 114). й 3, Стационарное распределение. Теорема о предельных вероятностях Вектор д =(ц„ д„ ...,!)м), входящий в определение цепи Маркова, задает распределение в нулевой момент времени !)„=РД, к), й=1, 2, ..., !т'. Распределение в произвольный момент времени ! можно найти, воспользовавшись формулой полной вероятности Ыт=I) = Х (!лрее (!).
(З,Ц Может оказаться, что Р(к, = у) не зависит от времени. Назовем стационарным распределением вектор а"= =-(о,....,,уй), удовлетворяющий условиям 6~~0, й=1, . „У; ~д'=1, ~о~р„=о;, 1=1,2,..., Ч, (3.2) е=1 А=1 где р," — элементы матрицы (!.3).
Если в цепи Маркова д=д", то при любом ! Р(Це=й) =де, й=! 2. ° ° й!. Это утверждение следует по индукции нз (3.1) и (3.2). Приведем без доказательства формулировку теоремы о предельных вероятностях для одного важного класса цепей Маркова. Теорема 3,!. Если ори некотором 1, > 0 осе элементы матрицы Р" положительны, то для любых 1, у =1, 2, ..., Д! ори ! — со Р! (!)=д,'+и; (!), (З.З) $ э! стАпионАРное РАспРеделение !т! где с)' = (с)„..., с)й) — стационарное раснредееенссе с цэ>0, й=1, ..., сс!, ед(!)=О(й'), Ь вЂ” некоторая носслоянная, рдовлетворяюи(ая неравенствам 0 < Ь < 1.
Доказательство этой теоремы, опирающееся на факты из теории матриц, содержится в книге В. И. Романовского (141; прямым методом доказывается теорема из 5 19 книги Б. В. Гнедеико 141. В приложении ! приведено доказательство теоремы 3.1. Так как Р(сс) =Р", то по условию теоремы из любого состояния можно попасть в любое за время 1, с положительной вероятностью. Условия теоремы исключают цепи, являющиеся в некотором смысле периодическими (см. пример 3 из э 1). Если выполнены условия теоремы 3,1, то вероят. ность того, что система находится в некотором состоянии 1, через большой промежуток времени ие зависит от начального распределения, Действительно, из (3.3) и (3.1) следует, что при любом начальном распределении дс =Р($, = с), =1...
„А', 1=1, 2, ..., с»с'. (ип Р($с=!) =О,-, С-»»» Рассмотрим примеры цепей Маркова, для которых условия теоремы 3,1 не выполнены, Нетрудно проверить, что такпмн примерами являются примвры 1,2,3 из $ 1. В примере 1 при ! оо вероятности перехода имеют пределы, ио эти пределы зависят от начального состояния. Например, при р=с)= —, ! (см. 3 5 гл, 2) !!ш РэсЯ=О, 0<! <а, й 0,1, ... н, с- ~ 1!ш Р„, (!) 1 — —, !ип РА„(!)=*-, а с л л' л' й = О, 1, ..., и. В примере 3 пределы вероятностей (1,15) при ! - оо, очевидно, ие существуют.
цепи мхуковз !гл з Найдем стационарное распределение в примере 2. Нужно найти вектор д'= (д'„4„, 4,), удовлетворяющий условиям (3.2): д,">О, 3=1,2,3; 41+ 9в+ 9з = 1' , ! 4' 3 =Юы ,! ,! ,1 т' 3 + 4' Х+ 4' Й ° ! ° ! ° ! ° 4' 3+4т 2+4З 2 Отсюда 4'„=О, д;=д.=-!!2. Таким образом, стационарное распределение су!цествует, но ие все координаты вектора д' положительны. В примере 4 условия теоремы 3.1 выполнены уже при 1, = 1. Стационарное распределение (4'„ д',) удовлетворяет уравнениям %+!Гз=(* Й~ри+4врм =9~ 4Фы+4еряз=рм где Рм Р„=Р, Р„=-Р,„=4. Отсюда 4„"=д,=1/2 и по теореме 3.1 11п! Р, (Г) =1)2, 1, 1=1, 2. ! Во всех разобранных примерах оказалось, что система однородных уравнений (р„.— 1)д',+ ~.,'4„"р„,=(),;=1,2, ..., Ф, (34) ~с;ы ! относительно неизвестных д,, ..., дл имеет ненулевое решение.
Нетрудно проверить, что определитель матрицы коэффициентов системы (3.4) равен нулю (если все столбцы определителя сложить с первым, то в силу свойства (1.4) получим столбец из нулей). В 5 2 гл. 3 для полиномиальной схемы были введены случайные величины, равные числу исходов данного типа. Введем аналогичные величины для цепей Маркова. Пусть т,(!), й=1, ..., Ф,— число попаданий системы в состояние й за время 1.
Тогда тз(1)Г1— частота попаданий системы в состояние й. Исйользуя формулы (3.3), можно доказать, что частота тз(1)11 при 1 оо сближается с 4». Для этого нужно йолучнть асимптотпческие формулы для Мт„(!) и 0тэ(1) н воспользоваться неравенством Чебышева, Приведем ЗАДАЧИ К ГЛАВК 9 «уз вывоД фоРмУлы длЯ М(ту(1)1$9= 1) =лгг (1). ПРеДставим ту(1) в виде ту(У)=Че+Чт+ +Чт (3.3) где Ч,-1„если $,=1, н Ч,=0 в противяом случае. Так как М (т) Д вЂ” 1) Рту (з) то, воспользовавшись свойствами математического ожидания и формулой (3.3), получим лт,г(1)= ч~~~ Р,г(з)=ае(1)+ ч~~~~ е„,(з). Второе слагаемое в правой части этого равенства в силу теоремы 3.1 является частной суммой сходя- и«егося ряда.
Положив иы —— ~~ агу(з), т=е получим тгу(Е)=д«(1)+ам+0(йт), 0<3<1, (3.6) так как г н ~~~р егу(з) =твы — ~~~~ ег (в), )агу(з)(< г«.йе. 9=о т ге! Из формулы (З.б), в частности, следует, что М ~ — ',«'~~,=«) р,', 1=1,3, ..., й«, при 1 оо. Аналогично можно получить формулу дЛя М)ту (1) (т, (1) — 1) «59 11, КОтОрая ИСПОЛЬЗуЕтСя для вычисления дисперсйи, Задачи н главе В «, Игральная кость все время перекладмваетса случайнмм образом с одной грани равновероятно на любую нз четмрех ссседннх граней нсзаннснмо от предмдуагсго.
К какому нределу стремнтсв нрн «- ю вероятность того, что в момент времеви Ф 174 ЦЕПИ МАРКОВА (гл. з кость лежит на грани «бъ, сслн в момент 1=-0 оиа находилась в этом же положении (! =О, 1, 2...,)? 2, Пусть чп 1=1, 2, „7',— независимые одинаково рас- пределеииыеслучайныевелпчнны, Р (41=1) р, Р(41= — !)=1 — р, Являются ли цепью Маркова величины: а) «)1=Я«+~', б) «1,-$«$з... Ь; в) тм «р(41 41+~) где <р( — 1. — Н=!, «р( — 1, 1)=2, «р(1, — П=З,«р(1, !)=4? Для цепей Маркова найти матрицы вероятностей перехода за один шзг. 3.
Пусть чг — номер состояния а непн Маркова в момент вре- мени 1, Р(се=1) =1 и матрица вероятностей переходе за единицу < времени равна Показзт«ч что последовательность «1! является цепью Маркова. Найти соотзетстпуюшую ей матрицу вероятностей перехода, 4. По двум урнам разложено Р? черных н А«белых шаров так, что каждая урна содержит А( шаров, '!исло черных шаров в первой урне определяет состояние системы. В каждый момент времени выбирают случзйао по одному шару нз урны и выбран- ные шары меняют местамн. Найти вероятности перехода н пока- зать, что стационарные вероятности чь — -САСА«)С«М, й=!,...,А«.
* ь Ф-а и б", Пусть а цепи Маркова с состояниями 1 и 2 матрнцавероят- иостей перехода и«нет вид р=-!1рг)!!, где ры=! — ««, ры а р =и, р =! — р. Найти вероятности перехода эа время Г и стационарные вероятности. 6«. В цепи Маркова, определенной з задаче 5, обозначим т(1) число попаданий в состояние «1> н с (г) номер состояния в момент С доказать, что А((т(Г)! з(О)=О и О(т(?))а(О) — 1) можно при ! «о представить в виде А1(т(г)($(О)=1) Ар+В+0(П.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
