3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 11
Текст из файла (страница 11)
з-о Заметим попутно„что для любого набора положительных чисел (а!, ам ...), такого, что а!)О, ~ а,(1„можно построить ! ! марковскую цепь только что рассмотренного вида, причем величины р! будут такими, что !во = а„. Действительно, положим Тз =(1 — р)р =а,, откуда получаем с!з Пусть тогда Ц, = (1 — р,) !1 — р,) ра = а, аз ! — а, — аз Продолжая аналогичным образо!м, мы получим явные выражения для величин рь причем 0 < р! <!.
Теорем а 7.1, Состояние ! возвратно или невозвратно в зависимости от того, сгс! = 1 или !ги = О. Доказательство, Положим частица, отправляясь из состояния !', 'гс!= ! возвращается в него по крайней мере У раз 1' Имеет место соотношение Янс! ~ 1,'.Ян! '= Озн! !1;„где 1,",= ~ !в!, в-! в-! в справедливости которого нетрудно убедиться, представляя событие, фигурирующее в правой части предыдущего соотношения, 3 зоч Язв 5 7. ЕШЕ О ВОЗВРАТНОСТИ Теорема, которую мы сейчас докажем, утверждает, что если некоторое состояние возвратно, то это состояние с вероятностью 1 встречается в процессе бесконечное число раз.
Пусть 1 частица, отправляясь из состояния 1, '! ! возвращается в него бесконечно часто !' 66 Гл. у Марковское цели в виде суммы несовместных событий, определяемых временем первого возвращения. Последовательно применяя последнюю формулу, получаем ()м г' (тм-1 (~ )х ям-х [т !м-1(з1 Но, очевидно, (;)!1 = );,.; следовательно, рн [~' ~М Поскольку !!т (;)М11= 9и, то 911 —— 1 или О при );1 =1 или ( ! соответственно, или, что эквивалентно, в зависимости от того, является ли состояние 1 возвратным или невозвратным.
Теорем а 7,2. Если 1' !' и оба состояния принадлежат возвратному классу, го Мы опускаем простое доказательство этого факта. Пусть частица, отправляясь из состояния 1, будет ()1) ( бесконечное число раз находиться в состоянии 1 1 Из теоремы 7.2 непосредственно вытекает Следствие 7.!. Если 1 !' и оба состояния принадлежат возвратному классу, го (,)ч) = 1. Доказательство. Нетрудно видеть, что Поскольку состояние 1 возвратно, то (',)тз — — ! по теореме 7.!. По теореме 7.2 имеем (; = 1, следовательно, (',)1) = 1. ЗАДАЧИ !.
Найти матрицы переходных вероятностей для марковских цепей, описывающих следующие процессы. (а) Рассмотрим серию бросаний монеты с вероятностью выпадения решетки, равной р. Состояние процесса после л переходов (бросаний монеты) определим как разность между числом выпадений решетки н числом выпадений герба. (б) В двух урнах размещены йс черных н у белых шаров так, что каждая содержит по сч шаров.
Состоянием системы является число белых шаров в первой урне. Задачи (в) Белую нрысу помещают в лабиринт, изображенный на рисунке. Крыса передвигаетси из ячейки в ячейку случайным образом, т. с. если ячейка имеет й выходов, то крыса выбирает каждый из них с вероятностью 1/й. В каждый момент времени крыса обязательно переходит в одну из соседних ячеек.
Состояние системы — номер ячейки, в которой находится крьюа. (а) Руа=р разность между числом выпадений решетки н числом ) выпадений герба =й после а+1 бросаний ) эта разность = 1 после л бросаний р, если й 1+1, — р. если й 1' — !. О во всех остальных случаях. Рэь не зависит от л. 3» (г) Рассмотрим производственную линию, где каждая единица выпускаемой продукции с вероятностью а идет в брак. Качество каждого отдельного изделия (годно или дефектно) предполагается не зависимым от качества других изделий. Процедура контроля качества изделий состоит в следующем.
Сначала праве- рвется каждое выпускаемое изделие. Таге продояжается до тех пор, нона не появятся 1 небракованных изделий подряд, В этом случае из каждых г последующих изделий для проверки равновероятно выбирается лишь одно. Если теперь будет обнаружено бракованное изделие, то процедура предписывает возвращение к исходному правилу: проверять каждое изделие вгредь до появления г небраковььных изделййг подряд и т. д.
Состояние Еь (й О, 1, ..., 1) означает, что при проверке согласно первой части процедуры контроля (проаеряется каждое выпускаемое изделие) последовательно появились й яебракованных изделий. Состояние же Еью означает, что проверка осуществляется согласно второй части процедуры (проверяется одно изделие из г) и появилось одно, или более, небракованное изделие. (Предполагается, что время га отсчитывается вместе с появлением каждого изделия при проверке по первому правилу и с появлением серии из г изделий — по второму.) Ответы: Гл. 2, /г!арковскне цепи (б) Р [ й белых шаров в первой урне после я+ 1 перекладываний ~ [1 белых шаров в первой урне после и перекладываний (') )3 если й=/ — 1, /=1, 2, ..., У, гУ)' 2[М)( ), если й=/, /=О, 1,..., ЛГ, ( ) 1з 1 — — ) если й /+1, /=0 1,..., У-1, М) 0 во всех остальных случаях.
Р/э не зависит от в. (г) [ пребывание в состоянии Еэ после т + 1 проверок [ пре- ~ РГл Р[ бывание в состоянии Е/ после т проверок р, если А-О, 1=0, 1, ..., 1, 1+1, ! — Р, если й / + 1, 1 = О, 1, ..., 1 или й 1 = 1 + 1, 0 во всех остальных случаях У вЂ” 1 У Р, если й 1+1, У вЂ” ! — Р+ д, если й !, М М (1 0,1,2,...,М) 1 М ~' 0 если й ! — 1, во всех остальных случаях„ Один класс эквивалентности: [О, 1, 2, ..., М). при всех т.
2. (а) М шаров размещены в двух урнах А и Б. В момент времени (1 1, 2, ...] из общего числа У шаров случайно (все выборы равновероятны) выбирается один шар и помещается с вероятностью р в урну А и с вероятностью и в урну Б. Состояние системы при каждом испытании представляется числом шаров в урне А. Определить матрицу переходных вероятностей марковской цепи, описывающей серию таких испытаний. (б) Предположим, что в момент 1 в урне А лежит й шаров.
В момент Г + 1 с вероятностью, пропорцнонэльной числу содержащихся в ней шаров, выбирается одна из урн [т. е. урна А выбирается с вероятностью й/У, а урна Б— с вероятностью (М вЂ” й)/М). В выбранную урну кладется шар, который предварительно извлекается нз урны А или из урны Б с вероятностями Р и и (р+ и 1) соответственно. Определить матрицу переходных вероятностей этой марковской цепи. (в) Предположим теперь, что урна, из которой извлекается шар, также выбирается с вероятностью, пропорциональной числу содержащихся в ней шаров [т.
е. шар извлекается из урны А с вероятностью й/М или из урны Б с вероятностью (М вЂ” й)/У и возвращается в урну А с вероятностью /г/У или в урну Б с вероятностью (М вЂ” й)/М). Найти матрицу переходных вероятностей марковской цепи, состояния которой соответствуют числу шаров в урне А. (г) Определить классы эквивалентности (классы сообщзюшихся состояний) в (а), (б) и (в). Ответы: (а) 69 Задпчп (б) есля й !+1, Лг — ! — р+ — д.
если й-й Л/ Лг (! =- 1, 2, ..., Лг — ! ) Ры= Л/ — ! — Р гу если й = г' — 1, о во всех остальных случаях, Рп = 1, если ! = 0 н 1 = У. Классы эквивалентности: (О), (Л'), (1, 2, ..., Л/ — !). (в) Р (Л,)з — + уз Л/г если й г (У вЂ” г] если й=1+! и й г — 1, 0 во всех остальных случаях. Классы эквивалентности; (О), (1, 2, ..., Лà — Ц, (Л5). 4. Каждой стохастической матрице соответствует марковская цепь, для которой онв является матрицей рднощагрвыл переходных вароятностеи. (Под 3. (а] В серии психологических экспериментов испытуелгый реагирует на воздействия 5ь 5ь, 5я одним из двух возможных способов, А~ или Аз, Каждое воздействие вызывает одну из этих реакций.
В каждом эксперименте испытуемый подвергается случайно выбираемому воздействию (все воздействия имеют одинаковую вероятность быть выбранными) и реагирует на него в зависимости от того, с какой реакцией (А~ или Аз] данное воздействие связано в настоящий момент. После проявления реакции испытуемый с веронтностью я (О < и < 1) получает поощрение независимо от предшествующей части опыта.
Если поощрение реализовалось, то воздействие остается связанным с той же реакцией, в противном случае это воздействие вызовет у испытуемого другую реакцию в следующий раз, когда оно будет выбрано. Рассмотреть марковскую цепь, состояния которой отождествляютгя с числом воздействий, связанных в данный момент с реакцией Аь и найти ее матрицу переходных вероятностей.
(б) Испытуемый 5 реагирует одним из трех возможных способов: Аз, А~ нли Аз. Реакция Аэ соответствует состоянию. в котором может произойти смена реакции. За реакцию А~ испытуемый получает поощрение с вероятностью пь Если поощрение реализуется, то в следующем энсперименте 5 реагирует тем же способом. В противном случае (его вероятность равна 1 — п~) 5 переходит в состояние смены реакции.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
