Ю.П. Пытьев, И.А. Шишмарёв - Курс теории вероятностей и математической статистики для физиков (1134036), страница 23
Текст из файла (страница 23)
переходные вероятности, в,1=1, ...,У. / ! Название «переходные еероятносгив'для условных вероятностей (1) связано со следующей интерпретацией цепей Маркова. Будем считать, что события вь 1=1,2, ..., У, отмечают состояния некоторой системы, которая, таким образом, может находиться в одном из У состояний. Пусть в дискретные моменты времени 1,2,... система может менять свое состояние, переходя из состояния гв. .. в котором она находилась в (з — 1)-й момент времени, в состояние !в! в з-й момент времени с вероятностью перехода р, ,!, Если распределение вероятностей состояний в начальный момент.
времени задается равенствами Р((в!!)) =аь,в=1,2, ..., У, то мы получаем интерпретацию цепи Маркова в терминах состояний некоторой системы. Далее мы. пользуемся как той, так н другой точкой зрения на цепи Маркова. Совокупность вероятностей перехода рвь в,1= 1,..., У образует матрицу Ри Рвв ° ° Р! н — Рвв Рвв ° ° Рви Рн! Рнв ° Рнн она называется матрнцей перехода. По определению все элементы матрицы и! неотрнцательны н сумма элементов каж- и дой строки равна единице. "1 рч =1, ! =1, ..., У. Матрн- )=! цы, обладающие этими свойствами, называются стохастнческнми.
Примеры.- 1..Случаиное .ближдание с поглощением. Пусть частица может передвигаться по праман под действием случайных толчков. В точках х=1 н х=У стоят поглощающие экраны: и пусть при каждом случайном толчке частица передвнгаетея на единицу длины вправо с вероятностью р, влево с вероятностью д, р+!1=1, однако, попав в точки х=1 и х=У, частнца остается в этих точках.
Таким'образом, имеем состояния частицы: ы!=(частица находится в точке х=!), !=1, ..., У. Переходные вероятности в этом случае равны: рва=1, рея=1, Ри+!=Р, Ри !=Ч, ри=О для остальных ! и 1. Матрица пере- 136 хода имеет вид 11 О О ... О д о р ... о опор... о аоо ...дор 000 ,.001! Полезным представлением цепи Маркова является ее граф (рис. 20). Рис. 20 2. Случайное блуждание с отражением. Рассмотрим ту же схему, что н в предыдущем примере с той лишь .разницей, что теперь в точках х='1 н х=Лг стоят отражающие экраны. В этом случае матрица переходов имеет вяд 0 1 0 ... 0 а о р ...
о о д о р ... о 1= ооо ...дор О О О ... О 1 О а цепь Маркова представляется графом, изображенным на рнс. 21. 3. Схема независимых испытаний. В этом случае рн= =Р((кч)1(пн)) =аь т. е. вероятность состояния ы! не зависит от исхода предыдущего испытания н совпадает с вероятностью события кч Ъ начальном испытании. Матрица п~ 137 имеет внд а,а,...ал а,а,...ал 1= а а,...ал Соответствующий граф представлен на рис. 22 а, С' М аэ Рас.
22 (6) здесь ш- любое целое значение от 1 до и — 1. Обозначим через и, матрицу, составленную нз вероятностей р"п,.1, /= =1, ..., У; таким образом, и.— матрица перехода через и испытаний. Пользуясь формулой для перемножения квадратных матриц, равенство (6) можно записать в мапричном виде пл=пщп„~, гв=1, ..., и — 1. (7) Ф - / Ряс. 23 2'. Вероятность перехода за и шагов Рассмотрим вероятность перехода нз состояния вь которое реализовано, например, в з-м испытании, в состояние в~ за л шагов, т.
е. в состояние ы; в (а+и)-м испытании. Ясно, что в силу однородности цепи Маркова зта вероятность зависит только от п (н не зависит от а). Обозначим ее р"и. Тогда рм — вероятность перехода за гп шагов из состояния е» в состояние ы~ и гр" —" — вероятность перехода за и — т шагов из состояния ои в ьц. Пользуясь формулой полной вероятности н учитывая, что промежуточные состояния ыь вь ..., вл в (з+т)-м испытании образуют полную группу попарно несовместных событий, найдем Применяя последовательно формулу (7), получим ил = Й!ял-! =л!Игла-г=- = я! (8) 3'.
Эргодичность Матрица и!, соответствующая схеме независимых испытаний (см. пример 3 п. 1'), обладает свойством и!=и =и!" для любого натурального и. Интуитивно можно ожидать, что и в случае любой цепи Маркова при переходах в и шагов влияние начального распределения с ростом и должно ослабевать в том смысле, что р!,.-~р! при и-+со независимо от 1. Такая предельная матрица переходов имеет вид матрицы и! в схеме независимых испытаний и, следовательно, удовлетворяет условию и!"=и!, й=1,2,.... Это свойство цепей Маркова, называемое эргодичностью,'действительно имеет место, хотя и не во всех случаях. Далее мы укажем достаточное условие эргодичности (теорема Маркова), а сейчас рассмотрим некоторые свойства эргоднческих цепей Маркова.
Обозначим через р,' — вероятность того, что в й-м' испытании осуществится событие огг, рг называется абсолют! ной вероятностью. Пусть числа а!, аг,..., аг! задают начальное, распределение вероятностей состояний ыь ыь ..., ьг!г . а!) О, ~~„а) = 1. Со- 1-! гласно формуле полной вероятности распределение вероятностей состояний ыь ..., !ои во втором испытании определяется г к 3 ч~ г равенством р! = л агры, в третьем испытании р! = ~ р! ра =. .
г-! !=1 = ~) агрг! и т. д.', в и-м испытании задается равенством г=! г! !!! р! =Я р! ~р! =~) а„ргг', и=2,3,..., 1=1...,,Л!. (9' г=! г=! Если при и — ~ос существуют пределы 11ш рг; = рн Й, 1 = 1,...,Л!', (10 и-~ а то существуют в силу (9) и пределы для абсолютных вероят. настей: 1пп р," = ~ а, 11т рг; ' = ,~~ агр! = рь 1 = 1, ..., У . (1 1 Й +СО л.е о Таким образом, согласно (11), если имеет место эргодич ность, то существует предельное, называемое финальным ' распределение вероятностей р!..., р; состояний егг,...,в!г, н! зависящее от начального распределения а!, ...,а». Переходя к пределу при а-~оо в' первом равенстве формулы (9), найдем р! = 11ш р! = Я!пп р! ' ри = Я р!ри. «12) Ф:+м !»-еао ! ! Таким образом, финальное распределение ' вероятностей р!, ..., р» удовлетворяет системе уравнений Р!'=ХР!Р!( ! =1 с=! (14) и очевидным дополнительным условиям р!~)0, Яр! — 1 1=! «которые также следуют из (9) ).
Система (13) — однородная система уравнений, которая в силу стохастичности матрицы перехода н! имеет определитель; равный нулю. Сопоставляя (13) и первое равенство в формуле (9), приходим к выводу, что если в качестве начального распределения а!, ...,а» выбрать финальное распределение р!,...,р», то распределение состояний е!,...,е» не будет меняться от испытания к испытанию.
Тем самым показано, что финальное распределение стационарно. Отметим также следующий глубокий результат, характеризующий свойство эргодичности. Пусть в каждом состоянии -до момента перехода в следующее состояйие система находится т секунд. Пусть, далее, А — некоторое множество состояний,' Тл — время, которое система находится в состояниях из множества А, а Т=т — общее время функционирования системы.
Тогда в случае эргодичности 1пп ( " ) — ~~~! р,' Однако доказательство этого результата потребовало бы более развитого аппарата исследования цепей Маркова. Докажем теперь указанную выше теорему об эргодичности. Теорема Маркова. Пусть существуют целое число тъ1 н' множество.Х из Ж!) 1 значений 1, такие, что пнп р,"; =б)0. (15) !~1~» /яз Тогда существуют числа р!..., р», такие, что независимо от ! 11шр5 =рь !,1'=1, ...,У. ' (16) л~а 140 Дока з а тельство.
Заметим прежде всего, что матрица тс(,= (рсс) — стохастическая при любом п=1,2,,... Действительно, в силу (6)!" с!с сс сс л с!с ~рт =Е(2 р!.'рс) =Е р"; '7.рм= с=! . /=! ь=! с!=1 с=! =Бр,"»'=." =Ерм=! (17) Обозначим т'; = пнп р'л, М'с = !пах р,'с, тс<Мс, ~= 1,...,Лс. !<!<я ! сс(п Имеем' сс с!с г+! ° %~ т; = пс(п~, р„рас ) пт1п л р„т; а=! сс = тс сп(п ~ р, = ть сс=! сс сс Мс+' =спахЯ рс,рц<гпах~~, рса М,' с а=! сс =М'; !пах Я рса — — Мс, и а т.
е (18) 141 тс~ < тс <... < т,' < Мс< М,'- ! <... < М~с < М Таким образом, последовательности (сп"; ( и (Мс ( монотонны и ограничены, а значит, сходятся при п-~.оо, 1!п! т," = тс, !! ~а 1ппМс = М;. Мы докажем, что эти пределы совпадают: т,=М!. Если этот общий предел обозначить рь то, поскольку т";< р,"; <М";; и = 1,2,..., отсюда будет следовать, что 11!и р,"; = рп что и утверждается в теореме.
Фиксируем любые две строки а и () матрицы и„, т. е. рассмотрим строки р„'; и р~асз 1=1,...,с1с'. Обозначим через Е+ суммирование по тем Й, для которых рс"„а)~ рСа, а через Е- суммирование по тем а, для которых рл< раь, имеем сс н Я (р,— р„)+Я (р.,— р„1 Я р.,— ч); р„, 1 — 1 б. ,а с! й=! с! 1 Покажем что 7+ (Ры — Ра«) < 1 — У«Ь. Действительно, пусть в Х+ входит з, О~э<У!, значений йЫ, тогда в Х- входят остальные У! — г значений ле=Х. Тогда (Ра«РЗ«) ~~ Ри««(~~ Рм Я Ра« « «=1 « « %~ ч %~+ ч =1 — ~ р„« вЂ”,~,ра«и Ра« ~~Я Р «~)ь(У! — з), ~~~~ ра« ~~~~ Рф«~>ьз.
(21) « «аэ « «а! Подставляя (21) в (20), найдем (р,'д — р««) < 1 — Ь (У, — и) — Ьз =1 — ЬУ„ « (19) и (19) доказано. Неравенство (19) верно для любых строк а и р, поэтому и !пах Я (р,'д,— р~«) ч;1 — У«Ь. !са,асл « Далее, при любом л>0 имеем с учетом (18) и (22): т+л т+и %% ч", л .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
