3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 17
Текст из файла (страница 17)
Рассмотрны марковскую цепь 6)) с конечным числом состояний и матрицей переходных вероятностей Р = 11 Рг! 11! ! в, порождающей три класса: (0), М (1, 2, ..., Д! — Ц и (ЛГ). Пусть первый и третий из названных классов поглощаю. щие, а второй — невозвратный, и пусть состояние й принадлежит второму классу. Определим вспомогательный процесс Й, называемый «процессом возвращения», изменив первую и последнюю строки матрицы Р таким образом, что Род = = Роз = 1, оставив все другие строки без изменения. Очевидно, что процесс везера~пения неприводим.
Доказать, что среднее время ио до того момента, когда процесс 9)) будет поглощен состояниями 0 или ЛГ, отправившись из состояния й, равно 1Дпо + пк) — 1, где по+ то есть стационарная вероятность быть в состоянии 0 или йг для процесса Й. Указакие: Воспользоваться соотношением между стационарными вероятностями я средипмн временами возвращения для состояний. 7. Рассмотрим марковскую пепь с состояниями О, 1, ..., )У и матрццей переходных вероятностей с элементами 106 Гл. 3, Основные предельные георех!и дяя марковских целей и-! Огеег: Среднее время до поглощения хг' Оь где ! ! ~~ р! ~~~ р! ~~ р!р!р !, 1 1, 2.....
й, ~ р! ~к~~ ~р! ~' р!Рср! !, ! й+1, ..., У-!. 9. Рассмотрим марковскую цепь с состояниями О, 1, ..., У и матрицей переходных вероятностей с элементами Рс! (, ) п2!(1 — и )и !, 0(~1, !~(У, где -2арл пг эа э а~О. 1-е 2а Отметим, что состояния 0 н У вЂ” поглощающие. Проверить, что ехр( — 2аХ,) является мартингалом, т. е, М(ехр( — 2оХгм) )ХД ехр( — 2аХ~), где Х~ — со. стояние процесса в момент 1 (1 = О, 1, 2, ...). Используя это свойство, похавать, что вероятность Рк(й) поглощения состоянием У равна ! — е 1 — е где й — начальное состояние. Указание. Использовать тот факт, что поглощение одним из состояний 0 или У происходит с достоверностью; доказать соотношение М(ехр(- 2аКз)) = М(ехр(- 2аК„) ) = Р (й) ехр(- 2аУ) +(1-РУ(Ф)) и воспользоваться им. 1О.
Рассмотрим следующий процесс роста конечной популяции (фиксирован- ного размера У), состоящей из индивидуумов двух типов А и а. В моменты времени 1, < 1, < 1з ... один индивидуум умирает и заменяется другим одного из возможных двух типов.
Если непосредственно перед моментом замены популяция состоит из / индивидуумов типа А и У вЂ” / индивидуумов типа а, то вероятность того, что умрет индивидуум типа А, равна /р~/В ~ и того, что умрет индивидуум типа а, равна (У вЂ” /) рэ!Ву, где В! = р,/ + р,(У вЂ” /). Логическая основа этой модели такова.
Вообще говоря, вероятность смерти в момент 1„ равна р,/(р, + р,) для индивидуума типа А и рз/(р~ + р,) для индивидуума типа а (р~/ре можпоинтерпретировать как преимушество при отборе типа А над типом а). Принимая во внимание состав популяции, естественно приписать вероятность р~//В! событию, состоящему в том, что будет заменен индивидуум типа А, и вероятность р,(У вЂ” /)/В, — замене индивидуума типа а. Предположим, что характер рождения одинаков для обоих типов: вероятность того, что будет рожден индивидуум типа А, равна /!У, и тина а — (У вЂ” !)/У. Рассмотреть мар- ковскую цепь (Х„), где Х„ есть число индивидуумов типа А в момент !„ (л 1, 2, ...), с вероятностями перехода Н~/(У !) Не (У /) ! ВУ " ! " ВУ ! ! Р/!-'!-Р!,!,-Р!,!+ь Рс/-О, ! -/(>!, !ОУ Задачи Найти вероятность того, что популяция рано и.ли поздно будет состоять только из индивидуумов тина а, при условии, что в начале популяция состояла из й индивидуумов типа А и (Ж вЂ” й) индивидуумов типа а, Указание: Показать, что уравнения, определяющие вероятности поглощения.
могут быть сведены к соответствующей системе уравнений для вероятностей поглощения в задаче о разорении игрока, где используется представление процессом случайного блуждания. Ответ: Р(популяция состоит только из индивидуумов типа а)- < (Р1/Из) (!Н/Рз) ту ь (Р /Рз) 1 — й/и! Р~ = Рз. «11. Пусть А — конечная марковская цепь и  — множество всех возможных предельных матриц для подпоследовательностей последовательности (А«, й = = 1, 2, ...), Доказать, что Я обладает следующим гвойством: если Гр Г «и О, то Г Г, ~ 0 и Г,Га ~ Я (при условии, что Г существует).
12. Пусть Р— марковская матрица третьего порядка и р (Р) = шах (Р! ти Ь,! — Рг 1. Покэзать, что р(Р) = 1 тогда и только тогда, когда Р имеет вид О, !«' ! О О О р а (р, р ) О, р + г) = 1; г, з, ! > О, г + з + Г = 1) ~г э либо получена из этой матрицы перестановкой местами строк и/или столбцов. «13. Пусть Рь Рь ..., Є— матрицы переходных вероятностей неприводи- мых непериодических марковских цепей, каждая из которых имеет по три со- стояния, и пусть Р (Р) = гпах (Р! ! — Рн !). Предположим, что для каждого !. и, lи набора целых чисел ат(! «а,. ~(й), 1= 1, 2, ..., матрица П Р также т-! представляет собой матрицу переходных вероятностей неприводнмой непериоди- ческой марковской цепи.
Доказать, что для любого е > О существует М(е) такое, что при т > М Р (П Ро <е дла любого набоРа а (! ~(а (й), 1=!. 2, ..., аь Указание: Воспользоваться интерпретацией матриц Ро как линейных отображений симплекса Л, задаваемого условиями хг + хз + хз = 1, ! > х, > О, в себя. (Показать, что такая интерпретация имеет смысл.) Показать, что (а) р(АВ) ( р(А)р(В) для .чюбой пары стохастических л~атрнц А и В; (б) если А — стохастическая матрица, то р(А) = 1 тогда и только тогда, когда А преобразует некоторую вершину снмслекса Л в одну из других вершин, а вторую вершину в точку на ребре, противоположном образу 108 Гя, 3. Основные предельные теоремы для марковских целей первой вершины, или когда А преобразует одну из вершин в вершину, а противоположное ей ребро в ребро (или на ребро), противоположное образу этой вершины. Показать, что последний случай невозможен в условиях теоремы; (в) показать, что р (Р,Р„,Ре) < ! для любых иь аз, из, для чего убедиться в том, что если это неравенство не выполняется, то ребро отображается на себя произведением матриц Ра, что противоречит исходному предположению.
14. Если г — возвратное состояние, а Хь представляет состояние марковской цепи в момент », то показать, что !нп Р(Х» чь ! при а+1~(»~(л+йг ~ Х, !)=О. и-ь ь Показать, что если г — возвратное положительное состояние, то стремление к пределу равномерно по л. 15. Обобщенная урновая схема Лойа. Из урны, содержащей а белых и Ь черных шаров, случайно извлекается шар.
Если шар оказывается белым, то его возвращают, добавив еще а белых и 6 черных шаров, а если извлеченный шар оказывается черным, его возвращают, добавив у белых н 6 черных шаров, причем а + 6 у + 6. Процесс многократно повторяется. Пусть Х„ — число извлечений белого шара после первых л испытаний. н (!) Если Р„,»=Р(Хн й) и шн(х)- Ч~~~~ Ргн»х», то показать, что имеет » а место соотношение (а - у) (ха - х) 'рл( ) (л 1) (и+ 6)+а+6 Фл-! ( ) (х [(л — !) у + а] + Ь + (л — !) 6) (л — 1) (а+ 6) + а + Ь й) Показать, что М(Х„/а) -+у/(6+ у) при л-+ со. Г казанке: Показать, что 6» и У еге (» — 1) (а+6)+ а+Ь ~й (й — ц (и+[!)+а+Ь ' » ! » ! и отсюда вывести предельное соотношение Р„(1)/л -»у/([) +у). 16.
В условиях предыдущей задачи показать, что йш Ми — ") ~ ~ ) при л-ьеь, Указание: Найти рекуррентное соотношение для чьн (1), подобно тому нак н это делается в (й). !7. При тех же условиях показать, что Х„/л -ь у/([) + П по вероигносги при л-ь со. 100 Литература НЕКОТОРЫЕ ЭЛЕМЕНТАРНЫЕ ЗАДАЧИ 1. Марковская цепь ва состояниях (О, 1, 2, 3, 4, 5) имеет матрицу переходных вероятностей вида 1 2 — — 0 3 3 0 0 0 0 0 0 0 0 0 0 0 3 1 — — 0 4 4 2 ! — — 0 3 3 0 0 — — 0 0 ! 3 4 4 1 7 — — 0 8 8 0 0 О 0 (Ь) (а) 3 — 0 8 1 1 — 0 4 8 1 4 — 0 0 4 5 1 5 0 0 ! 1 1 1 — 0 —. —. — 0 3 6 6 3 0 0 0 0 О 1 ! 1 1 1 — 0 — 0 4 4 4 4 1 ! ! 1 1 1 6 6 6 6 6 6 л-+ Выделить классы состояний н найти предельные вероятности г = О, 1, 2, 3, 4, 5.
2. Рассмотреть задачу о разорении с начальными капиталами а и Ь (а > 10, Ь з !0) у игрока ! и игрока П соответственно. Пусть р(1 — р) есть вероятность игроку ! выиграть (проиграть] единицу у игрока !! в каждой партии. Какова вероятность того, что размер капитала игрока ! достигнет величины а + Ь вЂ” 3 раньше, чеы улгеньшится до 5. ЗАМЕЧАНИЯ ЛИТЕРАТУРА 1, Тай а се Е., !п1гойисноп 1о Ше ТЬеогу о1 (йцецез, Ох(огд ()п)т.
Ргеаз, ьопйоп апд Хетт Тот!т, 1962. Содержание 3 ! — 4 является стандартным аппаратом марковских цепей н имеется в большинстве руководств по этому предмету. Примеры из $ й являются классическими для теории очередей. Последовательное изложение теории читатель найдет, например, в книге Такача !Ц. Глава 4 АЛГЕБРАИЧЕСКИЕ МЕТОДЫ ИССЛЕДОВАНИЯ МАРКОВСКИХ ЦЕПЕИ Алгебраические методы либо их сочетание с вероятностными позволяют получить многие важные результаты теории марковских цепей. Мы остановимся на ряде таких методов в настоящей главе. Для того чтобы не уходить далеко от основного предмета, мы дадим лишь краткую сводку основных результатов из теории матриц, которые потребуются нам в дальнейшем.
Более полное изложение этих результатов читатель найдет в приложении. ф Ь ПРЕДВАРИТЕЛЬНЫЕ СВЕДЕНИЯ При рассмотрении марковских цепей вычисление вероятностей перехода за п шагов занимает очень важное место. Для этой цели мы разовьем специальный аппарат, основывающийся иа теории собственных значений и собственных векторов').
(Специальные методы для исследования марковских цепей, описывающих процессы случайного блуждания, будут изложены в 5 4 — 6.) (а) Спектральное представление Пусть А — квадратная матрица порядка и. Ненулевой вектор х, удовлетворяющий соотношению Ах = Ах для некоторого комплексного числа А, называется правым собственным вектором матрицы А, принадлежащим (или соответствующим) собственному значению А. Если хА Ах, то мы назовем вектор х левым собственным вектором матрицы А.
Если правые (или же левые) собственные векторы образуют базис в и-мерном льнейном пространстве. то существуют линейно независимое семейство ~рс'>, ..., Чз<ю правых собственных векторов н линейно независимое семейство ~<'>, ... ..., тй(ю левых собственных векторов мат) ицы А, являющиеся биортогональными системами. Это значит, что <и ш '~~ — ( о если 'Ф) (Ф зР ) =— ,~,~ %~а"Руа = бм = ~ а-! ') Читателю, не знакомому с основами теории собственных значений и соб, ственных векторов матриц, рекомендуем обратиться к приложению, Э ! Предварительные введение где ьри1 = (трп,, трел), фи! =(фть ..., фе„) и ф;ь — число, комплексно сопряженное числу ф1н. В этом случае говорят, что матрица А диагонализируемая. Пусть л, о ... о ~ О Л ...
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
