3. Основы теории случайных процессов. Карлин (1971) (3. Основы теории случайных процессов. Карлин (1971).djvu), страница 12

Аналогично вероятность получить поощрение за реакцкю Аз равна пм 5 остается в том же состоянии (реагирует прежним образом), если он получает поощрение, и переходит в состояние смены реакции в противном случае. Находясь в состоянии смены реанции, испытуемый остается в ием до следующего эксперилгента с вероятностью 1 — с или реагирует способами А~ или Аз с одинановыми вероятностями, равнылги с/2. Рассмотреть марковскую цепь, состояниями которой являются состояния испытуемого, и определить ее матрицу переходных вероятностей.

Ответы.' (а) Рм =я! Рп !ь, =((л/ — !)/лг) (! — я), Рь !, =(1/]у) (1 — я), Рп О во всех остальных случаях (й /= 1, 2,.... Лг). (б) Рэз-1 — л. Ро~ =Раз=с/2! Ргэ- — 1-яц Ры "пб Рю 1 яь Ры =из, Р Р О. Гл. 2, Марковские цели 70 «стохастической матрицей» мы понимаем матрицу Р = !!Р011, элементы которой удовлетворяют условиям 0(~ Ру(~ 1 и эг, Ру = 1 ) Однако не всякая стохастиче! ская матрица может служить в качестве матрицы двухшаговых переходных вероятностей марковской цепи. В частности, показать, что стохастическая матрица второго порядка является матрицей двухшаговых переходных вероятностей тогда и только тогда, когда сумма ее диагональных элементов больше или равна единице. 5. Пусть и!, пз, ..., и„— положительные целые числа, наибольший общий делитель которых равен тй Показать, что существует такое положительное целое число М, для которого из неравенства т > М следует существование неотрицательных целых чисел (с ) , таких, что ь ! 1-!' ь тсг = ~.

с!и . !' ! 1 (Этот результат потребуется ниже в задаче 7.) Указание: Пусть А =(л (и = с!и!+ ... + с„и, (с!) — неотрицательные целые), В Ь|п!+ ... +Ь!к (пп а...„и щА и Ьп..., Ь суть положительные или отрицательные целые Пусть ૠ— наименьшее положительное целое число в множестве В. Показать, что д' является общим делителем всех чисел множества А. Затеи показать, что с(' является наибольшим общим делителем чисел множества А. Следовательно, !4' = г!. Перенумеруем слагаемые в представлении г! = а!п! +... +а!и! так, чтобы, члены с положительными коэффициентами были записаны сначала. Тогда с( = У! — У», где У! гы А и У» щ А. Пусть М =У~~/г(.

Каждое целое число т > М может бьжь записано в виде т М+Й= Уз!с(+й (й О, 1, ...), причем й = ЬУ»/Н+ Ь, где 0 < Ь < У»!г! и 5 = 1, если !(У»М) < й < (1+ 1)У»/г( (! = О, 1, 2, ...). Таким образом, тЫ Уз+(ЬУз/!!+Ь)г)=Уз(Уз+5 — Ь)+ ЬУ! 5. Доказать теорему 4.1. Указание: Пусть Р* >О. Рп!!4»чт Р"!Р*,гр~!>О для некоторых т>0 и а> О. Поскольку Рэг,'> О, имеем Р";,гщ+т > 0; таким образом, Ы (!) является делителем числа (к+ 2з+ т) — (п+ з+ т) = з. 7.

Доказать теорему 4.2 и следствие 4.1. Указакие: В задаче 5 мы видели, что существует такое У, что если и > У, то ка!О (с л,+ ... -!-слал) Р!; Р! 8. Доказать, что для непериодической неприводимой ковечной цепи Маркова все элеменгы матрицы Р" поло!кительны для некоторого и. 9. Доказать, что если ! — невозвратное состояние, то для всех ! имеем Ч,! Рч я=! Указание: Использовать соотношение (5.9).

71 Некоторые злгмантарньге задачи 10. Пусть марковская цепь имеет г состояний. Показать, что (а) сслн состояние й достижимо из состояния А то опо мажет быть достигнуто меньше чем за г шагов; (б) если ! — возвратное состояние, то существует число а (О < сс <!), такое, что для и > г вероятность того, что первое возвращение в состояние ! произойдет после л псреходов, меньше или равна а". 11.

Рассмотрим последовательность испытаний Бернулли, исходы которых описываются случайными величинами Хь Хь Хз, ..., где Х, = 1 или О. Предположим, что Р(Х„=1(Хо Хь ..., Хи-Д>~а>0, и=1, 2,.... Доказать, что (а) Р(Хи = 1 для некоторого и) = 1, (б) Р (Х„= 1 оесконсчно много раз) =!.

НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ЗАДАЧИ переходных вероятностей 0 1 0 0 цепей 0 ! 1. Для марковских с матрицами 0 0 0 1 0 ! 0 0 1 0 0 0 ! ! — — 0 2 2 1 2 — 0 — 0 13 3 1 1 3 3 определить классы эквивалентности и периодичность различных состояний. (- — ' '( Указание. Использовать тождество ! ) ( — 1)" 2 2 ", где л ()- ' а ! а (а — !) ... (а — и + !) для всех действительных а. Ответ; Р (х) = (1 — 4рдхз) Определить производящую функцию времени возвращения 4 (продолжение), для состояния О. Ответ: Р (х) = !в )~(1 — 4рдх'). 3 (продолжение). Какова вероятность когда.

нибудь возвратиться в начало координат? 2. Рассмотрим случайное блуждание по одпоиерпой целочисленной решетке, где Р. г+> =р, Рп г, =4 для всех целых !(0<р<1, р+4=!). Определить Р!зз!. Ответ; Р'„~~ — — ~ ) р~дм; Раен =О. 3 (продолженне). Найти производящую функцию вероятностей и„= Р~~. т. е.

определить Р(к) = ~ЧР~ и„х". Гл. 2. Марковские цели 72 а. Рассмотрим повторяющиеся независимые испытания, для каждого из ко. торых возможны два исхода, У (успех) или Н (неудача), Определить распре. деление числа испытаний, требуемых для наступления события УН (т. е.

успех и следующая за ним неудача). То же самое для событий УУН и УНУ. 7. Предположим, что две правильные различимые монеты бросаются одновременно и многократно. Ведется счет числу выпадений герба и решетки для каждой монеты. Рассмотрим событие Е, заключаюгцееся в том, что при л-и бросании суммарное число выпадений герба у одной монеты равно суммарвому числу выпадений герба у другой. Установить связь между событием Е„ и временем возвращения в заданное состояние при симметричном случайном блуждании на целочисленной решетке. ЗАМЕЧАНИЯ Некоторые аспекты теории марковских цепей освещены в книге Феллера [Ц.

Книга Кемени и Снелла [2] содержит много увлекательных примеров марковских цепей, встречающихся в психологии, социологии, экономике, биологии и других областях. Наиболее полное н глубокое рассмотрение марковских цепей дано в книге Чжун Кай-лая [3[. Л НТЕРАТУРА 1.

Ф ел л е р В., Введение в теорию вероятностей и ее приложения, т. 1, «Мир», М., 1964. 2. К е ш е и у Д. О., 8 п е!1 3. Е., Г)п)!е Магйоч Сна)пз, Рг1псе1оп, !чете Легзеу, 1960. 3, Чжун Ка й-па й, Однородные цепи Маркова, «Мир», М., 1964. Глава 3 ОСНОВНЫЕ ПРЕДЕЛЬНЫЕ ТЕОРЕМЫ ДЛЯ МАРКОВСКИХ ЦЕПЕЙ И ИХ ПРИЛОЖЕНИЯ й !. ДИСКРЕТНОЕ УРАВНЕНИЕ ВОССТАНОВЛЕНИЯ Ключевым в анализе марковских цепей является результат, формулируемый в следующей теореме: Теорем а 1.!.

Пусть (аь1, (иь1, (Ькт — числовые последовательности с индексом й, принимающим значения О, -~-1, +2...,, Предположим, что аь)О, ~а„=!, к1! й !аь<со, ~да >О, ~! Ьь ! < <ьь и что наибольший оби(ии делитель индексов Ь, для которых ак > О, равен 1.

Если уравнение восстановления и„- ~~о~ а„„и„= Ь„, и=О, .+1, ч-2, ь=- ь, то Игп и„= к.+ ь-- Игп и„=О, ч.+— (1.1) В случае, если ~ 'яаь= оь, предельное соотношение остается справедливылй если положить ь =О. ва, ь=- Доказательство этой теоремы в том общем виде, в каком она сформулирована выше, выходит за рамки этой книги. Нам понадобится ее частный случай для последовательностей (акт, (икт, (ьь1, обращающихся в нуль при отрицательных значениях я, и Ьь)~ О.

Доказательство теоремы для этого случая мы дадим в $2, имеет своим решением ограниченную последовательность (и„1 действительнык чисел, то пределы Игп и„и 1пп и„существуют. Бок+- й.+-- лее того, если 74 Гл. 3 Основные предельные теоремы для марковских цепей Замечание 11. В случае, когда а,=О, Ьп=О и ин=О для й > О, уравнение восстановления принимает вид и„ = ~ а„ ни„ = Ьтн л-о и = О, 1, 2, 3 а меч ан не 1.2. (Довод в пользу названия «уравнение восстановления».) Пусть «время жизни» электрической лампочки представляет собой случайную величину с и измеряется в дискретных единицах, причем = ~ и„ пан + ~ ан = ~~.", а„ ни» + Ьен (1.2) и-о л-о и-о где ~ а„=Ь„.

и-о Обоснование соотношения (1.2) таково. Величина 1 +' и„н представляет собой среднее число замен за время а при условии, что первая лампочка перегорела в момент й (О ( й 4 а); вероятность этого события равна ато Вторая сумма есть вероятность того, что первая лампочка будет служить более чем и единиц времени. Учитывая повторяющийся характер процесса, мы получаем выражение для и„ с помощью разложения возможных реализаций по моменту первой замены. Следующая теорема, так называемая «эргодическая» теорема для данного частного случая, описывает предельное поведение вероятностей Рт~ при а — оо для всех 1 и 1 для непериодической возвратной марковской цепи. Р($=й) ам Й=О, 1, 2, ..., ан)0, ~ а» =1.