1625915148-9c9f9a2bacef72b603fa281986313335 (843878), страница 21
Текст из файла (страница 21)
Если воспользовап ся очевидным равенством Р ( АВ, С) = Р (А ~ ВС) Р (В 1С), то из (7) получаем, что м Р ($„= а„, ..., «», = а»,,1,:%»1 = =.. Р (з„= а„, ..., й»ы = а„.,! ь») (8) или Р(з„=а„, ..., ='».,=-п»„й., з») = = Р (:. = а.., .. с», = а»„(Г»). (9) Это равенство допускает следующую наглядную интерпретацию. Будем трактовать» как положение частицы в «настоящем:, (с«, ..., «»,) — в «прошлом» и (с» „..., ««) — в «будущем».
Тогьа (9) означает, что прп фиксированных «прошлом» («„..., «»,) и «настоящем» «» «будущее» (з».о ..., ««) зависит лишь от «настоящего»»» и нс заьнсит от того, каким способом частица попала в точку «,, т. е, не зависит от «прошлого» (5„..., «»,). Пусть Б=.Д«=а«,..., «».,—— а».,), Н=Я»=а„1, П=("»,= = а» „..., ««=а«1. Тогда из (9) следует, что Р (Б НП) = Р (Б, Н), откуда легко находим, что Р (БП Н) = Р (Б 1 Н) Р (П,' Н). (10) Иначе говоря, из (7) следует, что при фиксированном «настоящем» Н «будущее» Б и «прошлое» П оказываются независимыми. Нетрудно показать, что справедливо н обратное: из выполнения (10) для любого )«=О, 1, ..., и — 1 следует выполнение свойства (7) для всякого («=О, 1, ..., п — 1.
Свойство независимости «будущего» и «прошлого», или, что то же, независимость «будущего» от «прошлого» при фиксированном Пусть ~~~ = Ы*,,, 1 — разбиение, порожденное величинами и в%»=г»(З»). Тогда в соответствии с обозначениями, введенными в 5 8, из (5) следует, что ГП ! ЭЛСМЕНТЛРН«Я ТЕОРИЯ ЕЕРОЯТНОСТЕЛ «настояще»!» принято называть л!Орковеким свойством, а соответс. Еующ) ю последовательность случайных величин лтрКОВСКОй !(ЕПЬКЛ.
Таким образом, если вероятности р(ы) элементарных событий задаются формулой (3), то последовательность ь = (:„, ..., (,„) с «, (м) ==хи будет образовывать марковскую цепь. В этои связи понятно следующее 0 и редел ен не. Пусть (2, а:х, Р) — некоторое (конечное) г ',ояпи!стное прес-ранство и я = (,'„, ..., 5„) — последова е; ьпсс:ь !а!чайных величин со значениями в (конечном) мнсж елее Х. Если;ыполпено условие (?), то последовательность ь=-. (иь...,;-«) пазыьье«я (конечной) жарковской Пенью. Мн жес»ео Х назь!Вается фазовых! праепцлансп1воч и!и! просп! рине!пвал еоеп!алкай цепи, Набор версязнсстей (р„(л)), х ее Х, с рь(х! =-Р (ьь=х) называют начальным распределением, з !!Етрипу )р»(х, у),', х, ус= Х, с р„(х, у) =Р Я»=у «» ! — — х) — жап!рт(еа( пере!Однь!х верояп!ногтей (из состояний х в состояния у) в момент П=-1,..., и.
В том случае, когда переходные вероятности р» (л., у) не зависят от и, р»(л, у) =-р(х, у), последовательность ',=(":„,..., »ь«) называется однородной марковской цепью с матрицеи переходных вероялпосчей ! р(х, у)!. Заметим, что матрица ! р(х, у) ! является сп!Пластической! ее элеменлы неотрицательны и сумма элементов любой ее строки равна единице, »,'р(х, у)=1, хенХ. Будем считать, что фазовое пространство Л состоит из конечного множества целочисленных точек (Х = (О, 1,..., Ф), Х = = (б, 1- 1,..., .+- й!) и т. д.), и обозначать, согласно традипии, р,=Р.(() ! Рп=Р((, 1) Понятно, что свойства однородных марковских цепей полностью определяются начальными распределениями р! и переходными вероятностями ру. В конкретных случаях для описания эволюции цепи вместо явного выписывания матрицы !',ру! используют (ориентированный) граф, верн,гпами которого являются состояния из Х, а стрелка идущая из состояния ! в состояние ) и с числом ру над ней, показывает, что из точки ! возможен переход в точку 1 с вероятностью ру, В том случае, когда ру =О, соответствующая стрелка не проводится.
12$ ты мьяковскив цепи Пример 1. Пусть Х =(О, 1, 2) и 1 О О ! ! (Р!/(= 2 2 2 1 — О— з 3 Евой матрице соответствует следующий граф. //2 //х Р, /=!+1, Р;/ =- т/, /=-т — 1, О в остальных случаях. (11) Переходы, соответствующйе такой цепи, можно графически изобразить следующим образом (//=-3): Эта цепь отвечает исследованной выше игре двух игроков, когда капитал каждого равен /т/ и на каждом шаге первый игрок с вероятностью Р выигрывает у второго +1 и проигрывает — 1 с вероятностью а.
Если трактовать состояние т как величину выигрыша первого игрока у второго, то достижение состояний /т' и — /т/ означает разорение второго и первого игроков соо!ветственно. В самом деле, если т)„ т)т,..., т1„ — независимые беРнУллиевские случайные величины с Р(т! =+1)=Р Р(т)т= — 1)=т) 5,=0 и 5ь=ей+...+т)ь — величина выигрыша первого игрока у второго, то последовательность 5„ 5„ ..., 5, будет образовы- Отметим, что здесь состояние О называется «поглощающимм если частица в псго попала, то она в нем н остается, поскольку р„= 1 Из состояния 1 частица с равными вероятностями переходит в соседние состояния О и 2, состояние 2 таково, что частица остается в нем с вероятностью 1/3 и переходит в состояние О с вероятностью 2/3.
Пример 2. Пусть Х=-(О, .+ 1, ..., -+.Ж), Рь — 1, Рлл = = Р! н1! н1 — — 1 и дла,~,'(/т/ 126 Гл ! Злемьптлгнля тсоеия ВеРоятностея вать марковскую цепь с р,=1 и матрицей переходных вероятностей (11), поскольку Р(5»+! — — ! <5„=!», 5», = !» „...) = = Р <5»+ Ч»ы =! < 5» = !» 5»-! =1»-! =Р(5»+т)„о= У',5,= !») =Р(т)„,п=) — !',). Марковская цепь 5„5„..., 5„имеет весьма простую структуру: 5»„— — 5»+тьг.м О~Я(п — 1, где т)„т)«, ..., т)„— последовательность независимых случайных величин.
Те же рассуждения показывают, что если в„т)ь, ..., ч„— независимые случайные величины, то последовательность «„, $„... ° ° » ь» с»„! =)» (~„т)»«!), О л ьг ( и — 1, (12) также образует марковскую цепь. В этой связи полезно отметить, что так построенную марковскую цепь естественно рассматривать как вероятностный аналог (детерльинированной) последовательности х = (х„..., х„), управляемой рекуррентными соотношениями х,ы = г» (х»), Приведем еще один пример марковской цепи типа (12), возникающей в задачах теории «очередей», Пример 3. Пусть на стоянку такси в единичные моменты времени прибывают (по одной в каждый льольеит) машины.
Если на стоянке нет ожидающих, то машина немедленно уезжает. Обозначим через т)» число ожидающих, приходящих в момент й на стоянку, и будем предполагать, что т)ь, ..., т)„— независимые случайные величины, Пусть л» вЂ” длина очереди в момент я, $„=0. Тогда, если с»=ь, то в следующий момент й+1 длина очереди $»ь! станет равной ть„+„если ! = О, != ! — 1+ т)„„если г ~ 1, Иначе говоря, е»+ь=($» — 1)++т)„„, 0 .
ьг(п — 1, где а+=шах(а, 0), и, значит, последовательность «=(в„..., е„) образует цепь Маркова. При мер 4. Этот пример относится к теории вен!вин(ихся прог(вссов, Под ветвящимся процессом с дискретным временем будем понимать последовательность случайных величин «м «„..., «„, где Р» интерпретируется как число частиц, существ~чощих в момент % !т л1АРковские игпи 127 времени Ф, а процесс гибели-размножения частиц происходит следующим образом: каждая частица независимо от других частиц и от «предысгории» процесса превращается в 1' частиц с вероятностями р!, ) =(), 1, ..., М. Будем считать, что в начальный момент времени имеется всего лишь одна частица, «»„=1.
Если в момент А было Г» частиц (с номерами 1, 2, ..., е,), то, согласно описанию, $»„представляе!ся в виде случайного числа случайных величин: Ь!!=Ч +" +Ч!» м) и! где »1)»г — число частиц, произведенных частицей с номером Разумеется, если с» = О, то и с».! = О. Считая, что все случайные величины Ч'", я ) О, 1-= 1, независимы между собой, находим ! Р(Е»»!=!»»!~Ь»=пь с» !=1»-», )= !=» ! = !»ы ! » = !») = (Ч! + ° т Ч! = !»+»11 Ф Отсюда видно, что последовательность $„, с„..., с„образует марковскую цепь.
Особый интерес представляет случай, когда каждая частица или погибает с вероятностью д, или превращается в две с вероятностью р, р+д= 1. Для этого случая легко подсчитать, что рц=Р(в»»»=) з,=!) задается формулой ) С!т»Р!~д н», 1'=О, ..., 2!, '1 О в остальных случаях. 2. БУдем обозначать чеРез $=(сы ))1, Р) одноРоднУю маРковскую цепь с векторами (строкой) начальныхвероятносгей )11=(р,) и матрицей переходных вероятностей Д=,'~рц).
Ясно, что рц=РБ,=! $.= )=...=РЯ.=1~~.,= ), Обозначим р)г =Р(с =! !В,=1) (= Р(Б „=/~$,=1)) вероятность перехода за А шагов из состояния ! в состояние / и р~!'=Рйк=() — вероятность нахождения частицы в момент времени й в точке (Ч Пусть также Д!»1 ) р!»! ) Р!»! ) р!»! ( !т !28 ГЛ !. ЭЛЕМЕНТАРНАЯ ТЕОРНЯ ВЕРОЯТНОСТЕИ Доказательство весьма просто: используя формулу полной вероятности и марковское свойство, получаем р';,'-+" = Р (Е».
! = 1 ~ с, = !) =,5'„Р (е»л! = 1 е» = а / еео = !) = а =ХР(я»» =1'Ь= )РВ = 'Ъ=!)=,'".ра!нр);.' Особо важны' следующие два частных случая уравнений (13): обратное уравнение (15) а и прямое уравнение Р!»8 =,~ ~р»а ра! (16) а (см. рис. 22 и 23). В матричной фопме прямые и обратные б»» !»У »7 л л» Рис. 22. К обратному урввненшо, Рнс. 23. К прямому уравнению. уравнения записываются соо~ветственно следующим образом: р(лл!» Р(»!, р (17)» Р!» т! — Р . Р!»! (18) Аналогично для (безусловных) вероятностей р»~! получаем, что р!»+ и — у р!Мр»п (19) ! а а»» а илп в матричной форме )()»л»!» д!»!, Рн! Покажем, что переходные вероятности р!»! удовлетворяют уравнению Колмогорова — Чэпмена рм+ и — '5" р<мрю (13) »! са ат' или в матричной форме Р!»лн Р!ц. Р!и (14) о ЕЬ МАРКОВСКИЕ ЦЕПИ В частности, )П'" м=)П~" Р (лрялаое уравнение) и )Ппапа) — (цпа! (обратное уравнение).
Поскольку Ры) =Р, ]Пью=))1, то из этих уравнений следует, что Рпао Ра Д(ап Да Тем самых) для однородных марковских цепей вероятности перехода за и шагов р)".) и вероятности рии являются элементами и l й.х степеней матриц Р и )П, в связи с чем многие свойства эзих цепей мсгкио изучать методами матричного анализа. П р и м е р. Рассмотрим однородную марковскую цепь с двумя состояниями О и ! и матрицей Р (Роа Роп) Попа Раа) Нетрудно подсчитать, что !го Р» + РопРп ° Рпп (Роо + Рп и) ) =('"' Рпо(Рпа-) Рн) Р)п+РИРип (в предположении, что ) р,„+рн — ! ) 1), Отсюда видно, что если элементы матрицы Р таковы, что (рао+рн — 1) = 1 (в частности, если все вероятности перехода ра положительны), то при п- оо |гп ) () — Рпп ) — Рооо (ОО) Раа Рн и) Рн ) — Лооп и, значит, !)гп р",' =— а — Рпо — Рн 1'пп р!"' = —. о Š— Роо — Рн Таким образом, если ~роа+рн — ! , '~1, то поведение рассматриваемой марковской цепи подчиняется следуюшей закономерности: ВлияниЕ НаЧалЬНоГо Соетояния На вЕроятнОСгь нахОждсния чаетицы в том или ином состоянии исчезает с ростом времени (р(пд сходятся и к предельным значениям и(, не заваеян(им от ( и образуюгцим распределение вероятносгей п,евО, и,.
О, по+и,=1); если к гому и (по индукции) () — Р» 2 — Р— Р ),) — Р )- Роп)+ + (Роа+Рпа ))" ( ) — Роо — () — Роо) ) ' — Роо — Рн ! — () — Рай ) Р» г )зо ГЛ. !. ЭЛЕМЕНТАРНЛЯ ТЕОРИЯ ВЕРОЯТНОСТЕИ пп'п р(л ) ) О, Ц (21) то су(цеспгвуют числа л„..., лл такие, что л/)О, ~ч',л/ — — 1 (22) и для любого ( ен Х (23) Р(Л) -+.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
