Б.А. Севастьянов - Курс теории вероятностей и математической статистики (1115332), страница 12
Текст из файла (страница 12)
Прел. положим, что время ! дискретно и принимает значения Г= О, 1, 2, ..., Т. Эволюция изучаемой системы описывается траекторией со = (ыо, вь ..., вт), где «и й если в момент ! система находится в состоянии й В описываемом случае вероятностное пространство (О, .4, Р) определяется пространством траекторий О =(ы), алгеброй .~Ф всевозможных подмножеств й и вероятностью Р, задаваемой элементарными вероятностями р(ы). События Л;(!) = (ик еп = !), ! = 1, ..., г, при каждом ! определяют разбиение аь которое порождает алгебру ' событий Фь Исходя из принятой нами в 9 !1 термина. логии, мы будем говорить, что Ф), Жь,4!м °... Б~т (!) есть последовательность случайных испытаний.
В 5 11 мы описали модель последовательности неза. висимых испытаний. В 1907 г. А. А. Марков ввел такой класс зависимых испытаний (!), который может слу. жить моделью многих случайных явлений, Этот класс впоследствии изучался очень интенсивно и привел к сильно продвинутой в настоящее время теории марковских процессов.
Простейшая модель марковского процесса — цепь Маркова — определяется следующим образом. В последовательности испытаний (1) зафиксируем какой-нибудь момент времени й Алгебру событий Ф~ назовем настоящим, алгебру л~,' ', порожденную алгебРамн Фо, Фь °, Ф~ и назовем прошлым, алгебру тл а цепи млтковл событий,Ф!+ь порожденную алгебрами,~Ф~+, ..., Ят,— будугцнлс Любое событие нз Фо ' такнге назовем иро- шлыаи из .41+1 — будуи1им, из я8~ — настоящим Напри- мер, событие (еп найдется такое й, что 1«..' Ф~ Т н = ы;,.Д принадлежит будущему, а событие (ы: для всех /г, 0 = й ( 1, аь -ь т) — прошлому. О и р е д е л е и и е 1, Последовательность испытаний (1) мы будем называть цепью Маркова, если прн любом с-ч ци1кснрованном настоящем ы,=й прошлое Ф0' н бу- дущее .Ф+1 независимы, т.
е. для любых 1 «й » «т, т ! =- 1, 2...,, Т вЂ” 1, Ле†: ля, В~.4~+1 Р(АВ! "~=й)=Р(А)ы~=ИР(В! "с=4. (2) Поскольку из определения условных вероятностей с зсл.уст, что для любых событий А, В, С с Р (ЛС) > 0 Р (Ал ! ь) ,(„1„— — Р(В !ЛС), то условие (2) равносильно условию Р (В ! и, = Ф, А) = Р (В ! еъ, = Ц. (3) 25. Переходные вероятности Вычислим вероятность того, что траектория ы =- =---(ем, ыь ..., ыт) равна (1о,1ь... (т).
Для этого восхшльзусгпся введенными выше обозначениями А;(1)- ---,(ы. ьи = 1) и теоремой умножения из ч 6. 1!меем Р,'ы=-(1,ь (ь ..., (т)) = ==- Р (А;, (О)) Ц Р (А;, (Г) ! Лс, (О) А;,(1) ... А;,, (à — 1)). (4) 1.11 условия (3) получаем для цепей Маркова Р'Л,,(Е) (Ар,(0)АО(1) ... А~с-1(г 1)) = - Р (А, (т) ! Ак, , (1 — 1)), поэтому (4) запишется проще: т Р(ы=-(/,, Уп ..., )т)) Р(А! (0)) Ц Р(лс (г)(А„(г — !)1. (б) т м. патаходныа ввтоятности Ри Рм ° ° Р1г = '! Рп Рм ° ° ° Ртг Ро Ргг ° ° ° Ргг ~ Р= Вероятность (5) записывается тогда так: т Р ( = (1„(п ..., 1,)) = р;, (О) П р... (7) с-ь Элементы матрицы переходных вероятностей обладают следующими свойствами: г рп>0 урн=1 (8) ! ! Любая квадратная матрица (6), элементы которой удовлетворяют условиям (8), называется стохистической.
Введем переходные вероятности за Г шагов: рн(1) = Р(А,(1+ з) !Ас(з)) Матрица Р(1) =!!Рп(Г) !! также будет стохастической. Переходные вероятности удовлетворяют при любых целых 1 О, з 0 уравне- нию р„0+з)= Х р, Яр.;(з) (О) Это урзвиепие выводится с помощью формулы полной вероятности рм(г'+з)= Р(А~(1+з) !А~(0))=- =- ~ Р (А г (1 + з) ! А, (0) Аа (з)) Р (Аь (з) ! А ~ (0)). В дальнейшем мы будем рассматривать однородные цепи Маркова, в которых условные вероятности Р(А (г) !А~(1 — 1))=рц, называемые переходными вероятностями, не зависят от й Таким образом, чтобы вычислить вероятность любой траектории гя в цепи Маркова, достаточно задать начальное распределение р~(0) = Р(А~(0)) и матрицу переходных вероятностей зо ГЛ.
Ь. ЦЕПИ МАРКОВА Р1~,1) — РН ! — 1о 1-о со Так как Р (Л1 (Г + в) ! А ~ (0) АА (э)) = Р (А1(! + э) $ Ао (н)) в силу марковости и Р(А1(!+в)АЛЛА(э))=Р(А1(Г)3АА(0)) в силу однородности, то отсюда получаем (9). Уравнения (9) можно записать в матричной форме Р(1+ э)= Р(!) Р(э), откуда имеем Р(!) = Р', где Р(1) = Р— матрица (61, Предполагая рн(0) = бп (бн = О, если (ч~. н ба 1,', м1о распространяем уравнения (9) на случай 1:.Зо О, , )О. Через начальные вероятности р;(0) и переходныевсРоатности Рп(!) мы можем выРазить с помощью фоР- мулы полной вероятности распределение вероятностей Р,(Г) = Р(А,(1)) при любом Е Г Р, (1) — ~ )эь (0) Рм (1).
(10) П р и м е р !. Блуждание' с поглощением. Пусть по точкам О, 1, 2, ..., 1т' прямой блуждает частица. Время 1 дискретно. Если в момент ! частица была в точке ~', то в следующий момент !+1 она независимо от ее положений в более ранние моменты времени с вероя:- постью Рн попадает в точку !. Если 1~Рп1~ задается равенствами роо = рин = 1, рь '+1 = р, Рс; 1= 1 — Р,если 1 =!(У вЂ” ! и Рн=О при (1 — Д)1, то мы полу- гаем цепь Маркова, которая описывает блуждание частицы по целым точкам отрезка !О,Ж1 с поглощением на концах, П р и м е р 2.
Блуждание с отражением. Пусть переходные вероятности рь;+ь Р;; 1 для 1 =1(йг — 1 п Ру для 1! — 1)) 1 остаются теми же самыми. Если опРЕДелить еще Роо = 1 — Р, Рм = Р, Рхн = Р, Рэ, и-о 1— — Р, то полученная цепь Маркова моделирует блужда- 1 1х пие частицы по целым точкам отрезка ( ††, А" + †) я' я) с отражением па концах.
9 26. Теорема о предельных вероятностях ТеоРема 1. Если пРи некотором Го все элел1енты Рн(ГВ) матринос Р' пололсательны, то существуют пределы (!!) 3 2е теОРемА О НРедельных ВВРОятнОст5!х 8! Предельные вероятности р1 не заеисят от начальногп состояния 1 и являются единственнытя решением системы г г ,)' кАРА1=ХР 1=1, ° ° ., т, Ех1=1, (12) й-1 1 1 Доказательство. Обозначим М1 (1) = и!ах р„(!), о!1(1) = !п1п ры (Г). 1 ! Так как т;(1)! Рь1(1)(» М5(1) при любом й, то из равенства Рн(1+ 1) =7~ Р1лрц(1) следует, что при всех 1 1(Г) ~Р1,(1+1)(М,(1). Отсюда вытекает т1(!) с-1п1(Г+ 1)"-и~м!(Г+ 1) » Мт(1).
Таким образом, при 1 — ~ ОО име!отся пределы у последовательностей лье!(Г) и М1(1). Докажем, что эти пределы совпадают. Пусть 1 и 1 таковы, что р1А(1+ Гь) =МА(1+ +4„), р1А(1+1,)=т,(1+1,). Вычитая друг из друга равенства г М»(1+ (Р) =Р1А(!+Го) = Х Ри(ГО) Ры(т) 1-1 г Е1А(1+ 1Е) =Р1Я+1ь) = Е Р51(ГР) Р1А(1). 1 1 получаем г МА(1+ 1о) — тол(1+ ГВ) = Е (Р11 (!о) — Р11 (Го)) Р1А (!).
1 1 Разобьем сумму справа ~ на сумму ~~', пол ожитель ных слагаемых и сумму ~' отрицательных слагаемых. Тогда Мь(!+Го) — о!А(г+ га) »гМА(1) )' (Ри(!о) — Р11(го)) + 1 + 1пь(1) Х (Ри(5,) — Р11(!.)). (1З) 1 Гл, а пепи мАРкоал прн 1-э оо. Так как /и!(1) ~ р/н(1)~ М!,(1), то ото!ода следует утверждение (11). Перейдем в уравнениях г р!/(1 + 1) =- 'Е ри й рц к пределу по 1-~ оо. Получаем г Р/= Е Рир// а-! Г Кроме того, Х, р/ — — 1, т.
е. предельные вероятности р/ /- 1 удовлетворяют системе (12), Предположим, что какие. либо х!... х, удовлетворяют (12). Тогда они при лю. бом 1 удовлетворяют системе х/ — — ~~'„х~р~/ (1). а. 1 (14) Это доказывается по индукции: г Г ',Е х,р /(1+1) = Е х„~: р„рц(1) = а-! а-! !-! т / т Г хар !1 р!/(1) = ~ х!р//(1) = х/. ,! а! !-! Переходя в (14) к пределу по 1-+ оо, получаем х/ ††~, х,р/ — — р/, Теорема доказана.
Ф-! Так как О = ) (рн (10) — р/! (1о)) = )'"+ + ~х', то ',Š— . Обозначим ~~~, (рс!(1о) — р/! (10?)=!1,1. Из условий теоремы следует, что все /1!/ < 1, поэтому /1 = и/ах //!/<1. !,/ Теперь из (13) имеем Ма (1 + 10) /и/, (1 + 1о) - /1 ° (Ма (1) /па (1)) О (Мь(1) — /их(1) ~/1~'"~-+ О ЗАДАЧИ Из формулы (!О) следует, что в условиях теоремы! р1(1)-». р! при (-»- оо, причем предел не зависит от пер.
воначальиого распределения р;(О). Можно проверить, что цепь Маркова, описывающач блуждание с отражением в примере 2, удовлетворяет условиям теоремы. Предельные вероятности в этом случае можно найти с помощью системы уравнений (!2). Задачи 1. В урна содгрэкптся 5 шаров, белые и черные, Испытание состоит в том, что каждый раз пт урны случайно вынимается один шар и ззамен в урну возвращается шар, но другого цвета (вместо белого — черный и наоборот). Найти матрицу переходных вероятностей !! де !! для цепи Маркова, состояниями которой является количество белых шаров в урне. Нанти вероятности перехода за два шага ре(2).
Паата прсдельпые вероятности !!и р (1) = р . С~ы 2. Модель иерелешиеанил колоды карт. Пусть имеется три карточки с номерами 1, 2, 3. Состоянием системы назовем последовательность номеров этих карточек 1»1»1». Предположим, что переме* шинанпе происходит следующим образом: с вероятностями !12 состояние 1д»1» переходит в 1»1 1» или в 1»1»1». Найти матрицу вероят.
ностей перехода. Найти предельные вероятности и!1 1,1,1. 3. Полагая в примере 1 $25 Л' 3, вычислить вероятности переходя рн(1) за 1 шагов н пределы )пп р;1(1) =р11. г-» еа 4, Пусть случайные величины йь 4, ..., 1е независимы и Р($А —— 1) и, Р(е о) ч, р+ е 1, доказать, что пары (ьь ьз) (ьэ, Ь) ° ° . (1я-ь се) образуют цепь Маркова.
Найти переходные вероятности этой цепи за 1 шагов, 1 1, 2, ... 5. Образуют ли цепь Маркова значения случайных величин П~ = тл ..»сь где $; взяты из задачи 4, если 0 < и < 1г Глава б. СЛУЧАЙНЫЕ ВЕЛИЧИНЫ (ОБЩИЙ СЛУЧАЙ) 2 27. Случайные величины и их распределения Пусть (Я, Ф, Р) — произвольное вероятностное пространство. Теперь уже случайной величиной мы будем называть не любую числовую функцию $ = $(ы). Определение 1.
Числовая функция $ $(е) от элементарного события ы ~ И называется случайной величиной, если для любого числа х (й<х)=(еи $(а) х)ензч'. (1) Смысл этого определения состоит в следующем. Поскольку не любое подмножество О является событием и все события составляют а-алгебру подмножеств Ф, то естественно рассматривать такие функции $ = $(а), для которых имеет смысл говорить о вероятностях попадания $ в достаточно простые числовые множествз, в частности, в Д = х). Свойство (1) гарантирует, что при любом х неравенство Д < х) есть событие и, следовательно, имеет смысл говорить о его вероятности.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
