1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 22
Текст из файла (страница 22)
Л. П -~-ОО. 1/ /1 Ь) Обратно, если с!/игсствувопг числа л„..., лн, идовлетворяюи<ие условиям (22) и (23), пю найдется и, такое, что выполнено условие (21). с) Числа (л„..., лн) удовлетворяют системе уравнений л/=.Е л.ра!. 1=1, ..., /)/. а (24) Доказательство, а) Обозначим т'") = ппп р(") М(а) = п)ах р(") Р(/ / 1, ' ! Поскольку р(ч+и ~ч,'р ро!) 1! (а а!' Ф а (25) то пг("+') =пппф".+') =ппп ~ р. р(") = ппп~'р. п))пр(Я) =т(я) / 1! . л( 1аа/ л( (а а!' / ( а ! а а отг(уда т!")~т)"+" и аналогично М((")~М';""", Поэтому для доказательства утверждения (23) достаточно показать, что же все элементы р ! ) О, то тогда предельные значения л, ) О, л, ° О. Следующая теорема описывает широкий класс марковских цепей, обладающих так называемым свойс)воы вргодичности: пределы л! — — 1пп р(э) не только существуют, не зависят от (, образуют распределение вероятностей (л/--аО, ~ч л!=1', но и таковы, что / л!) 0 при всех 1' (такие распределения л/ называются эргодическими).
Теорема ! (эргодическая теорема), Пусть 1э= ~~р,ф — матрица переходных вероятнсстей марковской цепи с конечным мног!сес!пвом состояний Х=(1, 2, ..., й/). а) Ес.ги найдется и, такое, что )З) 2(2 мАРковскпе цспп Пусгь е = гп!пр(п ) ~ О. Тогда 1,! р(л,+л) 5' р(пп) р(л) 'у' ! р(л,) Ср(п) ру! -~ уа ау у( (а уа а а р(п) + Е, 2« р (л) р(п) .— 1 а! ' 1 уа а! а 5~ ! р(п~) ер(л))р(п) ! ер(3«) '[ 1а (а) ау г! а Но ру(п ) — ер(п) ~0, поэтому р(п,+л) т(п) . ~п ! р(пп) Ер(«)1+ Ер(рп) = П((л) (1 Е)+.
Ер(2«) 1! ! Л1( уа уа) 11 ! н а и, значит, т(лп+л) т(л) (1 е) ! ер(2п) ! ! н Аналогичным образом М[лп+л) ( И(л) (1 ) ! (2л) Объединяя эти неравенства, получаем 11(л,+л) (лп+л) (М(л) (л)) н, следовательно, М(*лп+л) (2«о+л) (М(л) (и)) (1 е)А ( О ! Итак, по некоторой подпоследовательности (па) М(Ъ) — т("а)-2-0, ! ! па -)- со. Но Разность М(ул' — т,'л' монотонна по п, а значит, М! — и, '-и.
О, и — ) со. (лт (л) Если обозначить я! =Вшт(л), то нз полученных оценок сле! дует, что для и-.-и, ! р(п) л ( " М(п) т(л) (1 е)(луп 1 — ( т. е. сходимость р(") к предельным значениям л, происходит с геометрической скоростью. Ясно также, что т(л) =- т!л ) == е ) О, и - пр, и, значит, и ) О. Ь) Условие (21) непосредственно следует из (23), псскольку число состояний конечно и л! О. с) Уравнения (24) вытекают из (23) и (25). Теорема доказана. 4. Система уравнений (24) играет большую роль в теории марковских цепей. Всякое ее неотрицательное решение (л,, ..., л,), удовлетворяющее условию ~х~ л = 1, принято называть сто((иоа парным или инвариантным, распределением вероятносте й для марковской цепи с матрицей переходных вероятностей ))р„)!.
Объяснение этого названия состоит в следующем. (Е2 ГЛ ! ЭЛЕМЕНТ»РН»Я ТЕОРИЯ ВЕРОЯТНОСТЕЙ Возьмем распределение (л,..., лн) в качестве начального, рг= лр Тогда Р) = », ларат =лг а и вообще р(»«=л . Иначе говоря, если в качестве начального т /' распределения взять (л„..., лн), то это распределение не будет изменяться со временем, т. е. для любого А Р (Е» = 1) = Р (Ео = !)« Более того, с таким начальным распределением марковская цепь Е = (Е, 1Г), Г) будет сгпационарной: совместное распределение век~ора (Е», Е»«н ..., «»,!) Ое зависит от й для любого ( (предполагается, что й-1-(= л), Условие (21) гарантирует как существование пределов лг— =1ипр'"г, не занисящих от г, так и существование эргодического распределения, т.
е. распределения с лг ) О. Распределение (л„ ..., лн) оказывается также и стационарным распределением, Покажем сейчас, что набор (л„..., лн) является единственным стационарным распределением. В самом деле, пУсть (л„..., лн) — еще одно стационаРное распределение. Тогда Ха - ч«(а! л! = ~» лара! = ° ° =,с'.«лара!' « и псскольку р!".' — «.л, то а/ ЛГ = ~а (Ла ЛГ) = Л . а В связи с этими результатами возникаюг интересные и важные вопросы о достаточных, необходимых, а также необходимых и достаточных условиях, при которых: (А) существуют пределы л, =1ип р!Ег, не зависящие от !'; (В) пределы (л„..., лн) образуют раснредслснив вероятностеи'; (С) пределы (л,, ..., Лн) образуют вргодическое распределение вероятностей; (Р) сугцествует и при том единственное стационарное распределение вероятностей.
Все эти вопросы будут детально исследованы в гл, Ч!1! для марковских цепей не только с конечным, но и счетным множеством состояний. Огметим, что стационарное распределение вероятностей (и к тому же единственное) может существовать и для неэргодичесмях цепей. 5 12 МЛРКОВСК11Е ИГПИ Действительно, если и, следовательно, пределы !ппр1"1 не существуют. В то же самое время система лт=~п р„, (=1„2, а превращается в систему и =по 111 = 111 единственное решение (я„ и,) которой, удовлетворяющее условию пг+по=1, есть (1/„гйг). Отметим также, что для рассмотренного вьппе примера система (24) имеет вид но = пороо+ 111рго. пг = порог + Я1Р11 откуда, учитывая условие по+и, = — 1, находим, что единственное стационарное распределение (и„, л1) совпадает с уже найденным: Рг1 ! Рог 11о =- ' 2 — Рог — Ро 2 — Роо — Р11 Рассмотрим теперь некоторые следствия, вытекающие из эргодической теоремы.
Пусть А — некоторая группа состояний, А ~ Х и (1, хан А, '""-1О, хЮА. Рассмотрим величину чя(п) = ~я( О)+"'+ я(ол) — долю времени, проводимого частицей во множестве А. Поскольку ал !)Я (ооо)1%о = 1) = — Р (Боец'1 ! ео =1) =,~~ Ргг~ (='Рг 1(А)), и я то ()Р1 (тЯ (п) ! $о =11 == ~> р11"1 (А) о=о 1З4 ГЛ О ЭЛЕМЕНТАРНАЯ ТЕОРНЯ ВЕРОЯТНОСТЕП и, в частное~и, 1 М (ч1Н (и) ., '2 = 1] — ~~ р]41 о=-о Из анализа известно (см.
также лемму ! в 2 3 гл. !'1т), что если последовательность а„-+а, то '" — а, и-о-со. Поэтому ао+...+в„ и+1 если р',42 — о-лт, я-о-со, то Мч(Н (и) -о лт МУА (и) — 3 лА где лл = У лт Тол Для эргодических цепей на самом деле можно доказать большее, а именно, что длЯ величин 1А(ьо), ..., т'А(с.), ...
спРаведлив. Закон больших чисел. Если $о, ь„...— конечная эргодическая жарковская иепь, то для всякого е ) О и произвольного начального распределения Р (1 тл (п) — лл ~ ) е] -~ О, п — Р со. (2б) Прежде чем переходить к доказательс4ву, заметим, что непосредственное применение результатов Э 5 к бернутлиевским величинам УА Яо), ..., 1А(с„), ... невозможно, поскольку они, вообще говоря, являются зависимыми. Однако доказательство можно провести по тому же пути, что и в случае независимых величин, если снова воспользоваться неравенством Чебышева и тем обстоятельством, что для эргоднческих цепей с конечным числом состояний найдется такое О (р < 1, что 1р(Е) Л ( Г'.ро (27) Рассмотрим состояния ( и!(они могут и совпадать) и покажем, ч1о (е) О) Р Д ч111 (п) — лт! «е 1 Ро — — () -~ О, и — э.
со. (28) В силу неравенства Чебышева М (! НО (и) — ЛТ ' ! -о =' ) Р ( / т 1О (и) — лт,' ) е ! со =1) -= Поэтому надо лишь показать, что М ( ! ч111 (и) — ЛА ~о ! $о = 1] — О, Простой подсчет показывает, что о ЧИ; ()- ~,о=О=,„.„Р Ч(~1~«(ОО-о1 Ь= ~= 1 о=о л о =.1 ° Х 1":о О= оо=-о 4 и. марковские цепи где л!)4 о=МЦ7!!! (ЕФ) 7!!! (6,)1~В,=(1— — пт М (Г(!! (Ел) / К, = (1 — пу М (У!!! (Ц) / $, = (~+ и) — ро!.рп! и .ря! и .рп!+из и'и!'Н!'!1! з = пп'п (й, !) и ! = ! л — ! (. В силу (27) р!л! и ( а(п> ! а!л! ! ( Срл Ц "/ Ц 1Н )гл!~(к !~С!(р +р +Р" +р 1 ° Поэтому где С, — некоторая постоянная.
Следовательно, й=а !=а л О! э 4С, 2 (л+ 1) 8С, (л+1)э 1 — р (л+!) (1 — р) рл(х) = Р((с„..., с„) ен,%,и!а,=х). С целью отыскания этих вероятностей (первого выхода марковской цепи из множес!ва (А, В) через верхнюю границу) воспользуемся методом, примененным при выводе обратных уравнений. Имеем рл(х)=РЯ, ..., Е )бал,'и !Р =х)= = ~ р„„Р (Я„..., Ел) с= Я!л. ($,=х, ", =д', откуда и следует справедливость соотношения (28), из которого очевидным образом вытекает требуемое соотношение (26).
5. В $ 9 для случайного блуждания 5„3„..., порожденного схемой Бернулли, были выведены рекурреитьые уравнения для вероятностей и математических ожиданий времени выхода на ту или иную границу. Аналогичные уравнения сейчас будут выведены и для марковских цепей. Пусть $=(3„, ..., $„) — марковская цепь с матрицей переход. иых вероятностей )р;!) и фазовым пространством Х=(О, 1-1, ..., .+. )у ). Пусть А и  — два целых числа, — У ( А ( О ~ В = й! и х е= Х. Обозначим через,%л„множество тех траекторий (х„х„..., хл), х; ен Х, которые впервые выходят из интервала (А, В) через верхнюю границу, т. е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
