3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 26
Текст из файла (страница 26)
Пусть марковская цепь возвратна. Рассмотрим систему неравенств и,>2~Рциц и,>0, 1=0, 1, .... Мы покажем сначала, что если и„, ) 0 для некоторого 1о, то и; > 0 при всех 1'. В самом деле, для любых заданных )о и й существует такое и, что Ран>0. Тогда, как и в предыдущей теореме, имеем (п1 инЪ лаРциг>Рм,ин)0. ~п) (п~ ! Таким образом, если и Ф О, то и; ) 0 при всех й Пусть теперь й произвольно, но фиксировано и положим $е = и;/ин. Тогда 1; > Х РОК! = Х Р~й+Рно (5.6) / 1 пк Ь Итерируя это неравенство, получаем ~~ > Х Рц) Х Р(3,+ Ргь|+ Рм = Г Ф и ~.е пь е Х РцР~Ъ, + Х Регргь+ Реь = П е пк и /пк и = 2' РцРА+Т+Т, где последние два члена по ранее данному определению являются вероятностями первого достижения, Опять подставляя (5.6) в полученное неравенство, получаем Х Рцр,, ~ Х Р„~, + Р„1+ щ+)(н = Пе,гФе й 5.
Регдллрные последовательности марковских цепей 165 Метод, принятый в доказательстве теоремы 3.4, состоит в переходе к обратному процессу, что позволяет свести рассмотрение 1-суперрегулярных векторных последовательностей к рассмотрению с-суперрегулярных числовых последовательностей. Этот прием сведения задач о левых регулярных объектах к задачам о правых регулярных объектах с помощью обратного процесса является довольно распространенным и продуктивным. Доказательство. Как мы уже видели, о =1, от=,Рн является решением системы (5.7). Действительно, эта последовательность удовлетворяет условиям о, ) ~ о;Ргь с О, 1, ..., !-о если в пих заменить знак ) знаком равенства, и, кроме того, о; > О при всех й Полагая Ягт = — и, с', 1' = О, 1, ..., l тг о мы получаем некоторую матрицу переходных вероятностей 0 = = ~~Ятг!!, поскольку Ям)~ О и Фс!= — ~~с,Р»= — — — 1.
Х о ог т'-о т-о К тому же, как и в теореме 3.4, ог и неприводимость матрицы Я следует из иеприводимости матрицы Р. Далее, если с, ) ~~.", с~Ргч, с = О, 1, ..., г-о с,=1, сг~)О, г'=1, 2, то Х. —,= —..~ О,— = —, рйс,Ргг( —, г=о с-о т т.е. вектор (с,/ог) является г-суперрегулярным по отношению к матрице 11. Но в силу предыдущей теоремы (с;/от) должен быть постоянным вектором. Так как со = оо = 1, то с; = оь с' = О, 1..., .
Теорема доказана. а 166 Гл. 5. Теоремь! об отношениях переходных вероятностей ЗАДАЧИ 1. Рассмотрим непрнводимую возвратную положительную марковскую цепь, начальное состояние которой Хе = !. Пусть /У„(/) — число возвращевий в состоя. ние ! за первые и переходов. Доказать, что М (/уп (/) ) 1 и.+„и рн ' где Р! — сРеднее вРемЯ возвРащениЯ в состоЯние /, т, е, Р зх,' и/" . и 1 2 (продолжение). Пусть Т (!) обозначает число переходов до т-го возвращения в состояние ! (Хе = !). Показать, что Р(Т (!) > и) Р(А!„(!) < щ), "3 (продолжение). Предположим, что зт', п~ф <оо. Т (!) является суми ! мой тп независимых одинаково распределенных с. в. со средним р! и дисперсией оь С полющыо центральной предельной теоремы н соотношения, полученного в предыдущей задаче, найти предельное распределение с, в, /у (!), должным образом нормированной, т.
е. найти такие а„> 0 и Ь„> О, что (й/„(/) — а„)/Ь„имеет предельное нормальное распределение. 4. Пусть (Х, и ) 0) — неприводнмая возвратная марковская цепь с матрицей переходных вероятностей Р 1) Ры 1) и обобщенной инвариантной мерой (о!), т. е. ~ озрг/ о/, о/>О, / О, 1, .... ОпРеделим вложенный пРоцесс (У„, п ) 0). Он определяется предыдущим, если рассматривать только те мо.
менты времени, когда Х„= 0 или 1 (т. е. У, = Х„, где па — момент первого достижения состояний 0 и.чи 1; У„= Х„, где и — момент щ-го вознращения в состояния 0 или !). Процесс (У, п ~0) является непрнводимой возвратной марковской цепью. Пусть юе, ш! обозначают стационарные вероятности вложенной марковской цепи. Показать, что ю!/юа о!/оа. Указание: Воспользоваться интерпретацией о!, данной в теоремах 3.3 и 3.4. 5. Пусть Р = 1! Р!Д и Р )!Ры(п) !!, и = 1, 2, ..., — матрицы переходных вероятностей неприводимых марковских цепей, и пусть (о!) и (о! ), и 1, 2, ...,— !пм соответствующие ннвариантные меры, нормированные таким образом, что о =не" 1 при всех и. Доказать, что если Р,!(п) -ь Р!! для всех ! и / при !и! и-+аз, то о!"1-ко для всех !'. Указание: Доказать, что !пп о!"! ш существует и удовлетворяет снстеме и-+ ~шгР!/<!и/, / О, 1, 2, ...
п!о=1. с-е Затем воспользоваться свойством единственности, установленным в теореме 5.3. 6. Доказать, что для неприводямой марковской цепи любая неотрицательная т-суперрегулярная последовательность (и(!)) обладает следующим свойством: и(Е) >/,ьи(й) при всех !' и /г, где /;ь — вероятность достижения состояния й из состояния !. Указание: См. доказательство теоремы 5.2. 167 Задачи 7. Пусть (и(1)) — конечная неотрицательная г-суперрегулярная последовательность. Положим ю (г) = и (г) — ~Ч'~ Рци (1), г Показать, что множество А всех состояний 1, для которых ю(1) ) О, совпадает с множеством невозвратных состояния.
Указание; Обобщить результат задачи 5 на рассматриваемый случай; точнее, получить строгие неравенства и воспользоваться имн. 8. В неприводнлюй марковской цепи зафнксируелг некоторое состояние, обозначим его О, Показать, что если 1;о ) а ) О для всех 1=Р О, то цепь возвратна. Указание; Показать, жо вероятность возвратизьсв в состянис О лишь конечное число раэ равна нулю (см. теоремы 7.! н 7.2 гл. 2). 9. Доказать, что непрнводнмая марновская цепь невозвратна тогда и только тогда, когда существует ограниченная 1-суперрегулярная последовательность (р(1)), такая, что И (й)) ~Н (1) Р;а для некоторого состояния й, Указание: Воспользоваться теоремами 5.3, 3.3 и 3А (достаточность)! воспользоваться соотношением (5.5) (необходимость). '1О.
Доказать следующие тождества для тройки состояний из одного и того же полож~гтсльного возвратного класса ()~й): тгь+ть.— т!1 а); (т а+та;), (а) т 1 11)ь гиль (б) ГДЕ тгл = ~я~~ Л)ггна и-! 12. Рассмотрим электрическую цепь с т граничными и л внутренними контактами; всего и; т ноптактов. Пусть 7„— ток, текущий от контакта 1 к контакту 1, и )7„— сопротивление между этими контактами, причем 1 и 1 не являются граничньти контактамн одновременно. Пусть >г, — потенциал контакта ).
Предположим, жо сопротнвлепия известны и заданы потенциалы в граничных контактах, Согласило закону Ома, имеем а по первому закону Кирхгофа (В) 11. Пусть для неприводнмой, но не обязательно возвратной марковской цепи Р = 1 н оРе; < со (г )~ !).
Показать, что последовательность оРл! является 1-суперрегулярной. 168 Гл. б. Теоремы об отношениях переходных вероятностей С помощью (!) и (В) показать, что )сс удовлетворяет соотношениям Дать интерпретацию (!1!), согласно которой мы можем рассмотреть случайное блуждание по контактам электрической цепи, считая граничные контакты погло- щающими состояниями и определив переходные вероятности в виде соответ- ствующих выражений для Йсн !3 (продолжение). Эанумеруем состояния процесса случайного блуждания так, что состояния 1, 2, ..., т соответствуют граничным контактам, а состояния т + 1, т + 2, ..., т + и — внутренним контактам.
Показать, что потенциал внутреннего контакта Ас можно представить в виде )ст+! ~Л~~ Ьщ)"а при с = 1, 2, ь ! где Ьсь — вероятность поглощения граничным контактом В, при начальном со- стоянии, соответствующем внутреннему контакту Аы 14. Пусть (Уу)1 о — действительное решение системы уравнений Я Р,ТУ)-У,- 1, 1-о и пусть М (У 1 Х = 1) обозначает среднее лл~ условии Х, = с, Доказатзь что 1 О, 1, 2, значение с.
в. У„ при начальном М(У, !Х,=1~ 1нп л =!. Упование; Воспользоваться соотношением х Р, "У вЂ” У; и, 1= О, 1, жз сл1 1-з 15 (продолжение). Доказать, что У вЂ” л является мартингалом. Хл 16. Пусть 11РО11 — матрица переходных вероятностей возвратной нулевой или невозвратной марковской цепи, и пусть (ис) — 1-регулярный положительный век- 169 Литература тор, а А — некоторое множество состояний.
Введем обозначение Р,А ~~ Р, . (л) жт (л) / ы А Показать, что если р (А) = г, ис < со, то Рслл -ь О при и -ь со. (л) СМА Указание; пусть  — конечное подмножество А, такое, что ~и~', и <в. СмА-В Показать, что Рс А В<а/ис, и воспользоваться этим фактом. (А — В обозначает (л) множество состояний, входящих в А и не входящих в В.) 17. Рассмотреть задачу о разорении игрока с й/+ 1 состояниями и матрицей переходных вероятностей, приведенной в гл. 3. Найти г-регулярные векторы относительно этой матрицы.
Ответ: и(с) аис(сз) + бис(с ), где а и Ь вЂ” произвольные числа (обозначения см. в гл, 3). 18. Пусть )(Рс/1! — матрица переходных вероятностей марковской цепи с бесконечным числом состояний. Предположим, что Р„О при / > /+ 1 и Рс,с«! > О при всех с, Зададим систему полиномов (2)(г) рекуррентными соотношениями ч)о (г) мл ! с гс/с (г) = Рс, с+)с/с+! (г)+ ~ Рс/Ц(г), с' О, 1, 2, / о Пусть Тс — время первого достижения состояния / + ! из состонния /, и пусть //(г)- ~ч'~ Р(т/=л) гл — производящая функция с. в.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
