3. Основы теории случайных процессов. Карлин (1971) (1186156), страница 41
Текст из файла (страница 41)
Время пребывания в состоянии с распределено экспоненциально с параметРом сгс, так что с веРоЯтностью ехР( — с)с() пеРехода не пРоисходит. Предположим, что первый переход произошел в интервале от т до т+ аст (веРоатность этого событиЯ Равна де ехР( — дст)с(т) и что при этом состояние приняло значение 1 ~ с. (Вероятность цп этого последнего события равна —. Вероятность возвратиться Чс в состояние с в оставшееся время 1 — т не более чем за ссс' — 1 переходов равна Рн(1 — т; У вЂ” 1). В силу формулы полной вероятности имеем Рц (1; йс) =. ехр ( — дс1)+,~))~~ — 'с ~( Р„(1 — т; лс — 1) дс ехр (- цст) с1т. смс 'о С помощью аналогичного перечисления различных возможностей получим равенство Рп(1; У) = „;~~~ Чы ( Рпс(1 — т; йс — 1) ехр( — стст) аст, ьмс о Можно показать, что 1пп Рос(1; сЧ) = Р„(1) У-Ььь (см.
ссылки в конце главы). Здесь мы вынуждены принести извинения перед читателем за то, что ввели множество понятий, важных в теории марковских процессов, и почти не изучали нх. Эти понятия содержат в себе много тонкостей и патологий, изучение которых далеко выходитза рамки этого учебника. Можно лишь надеяться, что читатель продолжит изучение этих вопросов по другим отличным книгам, рассматривающим данный предмет.
э 4. Строго морковског свовство если Х, = У, при 0 <т <з, то Ус =г и заведомо п(У,);: п(Хг). Следовательно, в силу симметрии п(Х,) = о(ут). Такая случайная величина и называется временем первого достижения состояния с. Аналогично марковским моментом является время первого достижения любого конечного множества состояний С, не содержащего Х(0) = 1с и определяемого следующим образом: ст (Х,) = 1п( (т ~ Х, ен С). Доказательство этого повторяет предыдущие рассуждения. Тривиальным марковским моментом является о = сопз1.
Читатель без труда должен построить другие примеры марковских моментов. Если ограничиться интуитивным уровнем, то марковское свойство однородных марковских процессов утверждает следующее. Если известны значения Х(вг) при 0 < вт < вс «, вв = 1« (1с > 0 фиксировано), то вероятностное распределение величин Х(гв+г1) Х(го+1г)~ Х(го+1») (0<11<г,< ... <гь) (4.1) зависит только от значения Х(гс). Более точно, вероятностное распределение величин (4.1) при условии, что известны значения Х(в) в моменты От< вг < з» «... в„= сс (или даже, в более общем случае, вся история процесса Х(в) вплоть до момента 1с (О <з < гв)), совпадает с вероятностным распределением величин Х(1,), Х(1,), ..., Х(1») при известном Х(0). Другими словами, можно найти вероятностный закон для величин (4.1), перемещая шкалу времени так, чтобы сс = О, и беря в качестве начального состояния значение Х(гв).
Интуитивно кажется правдоподобным, что то же самое соотношение должно выполняться, если заменить фиксированное значение 1, на «марковский момент» а. Более точно, предположим, что мы хотим найти вероятностное распределение величины Х(п+ т) при известном Х(п) = х, (4.2) т. е, вероятностное распределение Х(т), где т > 0 — время, прошедшее с момента и, прн известном значении Х в момент и.
В случайной величине и «учитывается» поведение процесса только до момента а включительно, но не далее, хотя само значение о не обязательно фиксировано и может изменяться от одной реализации к другой. Другими словами, это случайный момент. Кажется естественной возможность считать, что марковское свойство справедливо для случайного момента и. Отсюда тогда следовало бы, что вероятностное распределение величины (4.2) совпадает с законом распределения величины Х(1) при условии, что Х(0)=х. (4.3) вз .язв 288 Гм В. Цепи Маркова с непрерывным времене,е Этот факт не является прямым следствием марковского свойства, поскольку в первоначальной формулировке говорилось о фиксированных моментах.
Утверждение, что (4.2) и (4.3) «управляются» одним и тем же вероятностным законом, и выражает строго марковское свойство. Более точно, если для любого марковского момента а вероятностное распределение величин Х(1,+а), Х(1з+а), ..., Х(Г»+а), 1,<1е« ... 1м (4.4) при известных Х(з), з(а, и Х(а) = х совпадает с вероятностным распределением величин х (~,), х ((,), ..., х (г,) р, < ... < (,) прн известном Х(0) = х, то говорят, что процесс Маркова обладает строго марковским свойством. Существуют примеры марковских процессов, не являющихся строго марковскими. Результат такого рода, который следует из (4.4), крайне важен для вычисления различных представляющих интерес вероятностных характеристик. Действительно, один из основных приемов анализа случайных процессов и вычисления вероятностных характеристик состоит в получении рекуррентных соотношений, использующих обычно первые или последние моменты осуществления определенных событий.
Рассмотрим пример. Предположим, что мы хотим найти Рц(г), представляя рассматриваемое событие через момент первого достижения состояния /. Пусть ац — момент первого достижения состояния ), начиная из состояния й Выше было указано, что моменты первого достижения конечного множества состояний являются марковскими, в частности ац — марковский момент.
Пусть Рц(з) = Р(ац (з). Разумеется, начиная с момента ац, когда частица попадает в состояние (, вероятностное распределение ее будущей истории такое же, как если бы ац = О, а начальное состояние цепи было бы / и цепь Маркова «управлялась» бы матрицей зРм(() ~! обычным образом. Это положение справедливо лишь при условии выполнения строго марковского свойства.
Тогда верно соотношение Рц(() =- ~ Рц(( — з) НРЦ(з), (4.5) о которое является непрерывным аналогом формулы (5.9) гл. 2. Читатель может интерпретировать ЫРО(з) как функцию плотности Гц(з)с(з величины ац, когда эта плотность существует. Формула (4.5) следует из формулы полной вероятности, где НРВ(з) — вероятность того, что з < ац <«з + йз, а Рц(( — з) — переходная вероятность, т.
е. вероятность того, что если момент ац начальный Задачи 259 (частица тогда с необходимостью находится в состоянии )), то ( — з единиц времени спустя процесс будет снова в состоянии /. Можно выписать множество других соотношенийтипавосстановления, подобных (4.5) (родственных формулам (2.1), (2.2) и (2.3) гл. 5). Мы еще раз подчеркнем, что такие соотношения справедливы в общем случае лишь при выполнении строго марковского свойства. Тот факт, что длительности последовательных пребываний в данном состоянии (нли в двух фиксированных состояниях) являются независимыми случайными величинами, есть непосредственное следствие строго марковского свойства.
(Читатель должен уметь обосновать это формально.) Поскольку строго марковское свойство играет фундаментальную роль при анализе марковских процессов, мы в заключение приведем наиболее приятный результат. Любая консервативная цепь Маркова с непрерывным временем, имеющая лишь устойчивые состояния,— строго марковский процесс. Или, в более общей формулировке, марковское свойство выполняется для любого марковского момента и, такого, что Х(п) Ф оо с вероятностью 1. С практической точки зрения это означает, что почти все соотношения типа восстановления для таких процессов вполне корректны и могут использоваться безбоязненно. Доказательство приведенного выше результата, более подробное обсуждение строго марковского свойства для цепей Маркова с непрерывным временем и другие фундаментальные вопросы можно найти в книге Чжун Кай-лая (1).
ЗАДАЧИ 1. ПУсть Р (1) = [! РП Р) [[г~ о — матРица пеРеходных веРоатностей цепи Маркова с конечным множеством состояний и непрерывным временем. Показать, что г[е! [Р(1)] > 0 при всех 1 > О. р[ 2. Пусть Р— стохвстическвя матрица размера 2 Х 2, т. е. Р ! )(, где )[у Ь~' и, [1, у, Ь) О, П-Ьр.= 1. у+Ь= !. ЛОНВЗВтзч ЧтО тОГда И ТОЛЬКО тОГда СущЕ- ствует непрерывное семейство Р(Г), 1 > О, стохвстичесиих матриц 2 Х 2, таких, что Р(!) = Р, когда де1р=аЬ вЂ” ур>0 и и+Ь>!.
Указание: Использовать тот факт, что по предположению Р можно предста[! — и а!1 вить в виде е, где А имеет вид А = ~ ~ (а, Ь > 0). Ь вЂ” Ь[ 3. показать, что если Р (1) [! Рп (г) [[г 1 о удовлетворяет постулатам (в) — (г) и 1, то Р(1) непрерывна при всех Г > О. Указание: См. гл. 7, 5 8. 4. Рзссмотрим неприводиыую цепь Маркова с непрерывным временем и конечным числом состояний 1, 2, ..., М Пусть Чо, г, ] = 1, ..., У, — инфинитезимзльные параметры процесса.
Предположим, что до йм для всех г,/ 1, Гл. В. Кепи Маркова с непрерв!вным врел!енем 260 2, ..., Ф. Пусть Р!(!) — вероятность того, что процесс находится в момент ! в состоянии !. Введем функцию и Е (!) = — ~к~; Р, (!) 1п Р; (!), ! ! где х)п х 0 при х = О. Доказать, что Е(!) — неубывающая фувкция ! ) О.
Указание: Доказать сначала, что Р'!(!) = Х д;)ГР!(!) — Р;(!)3 ! ! Используя эту формулу, доказать затем, что — — у) цы) (!) — !'е(!)]~)п ° 1(!) — )пр (!)~. ВЕ (!) 1 %ч !,!Ф! 6. Пусть Х! (! > 0) — консервативная цепь Маркова с непрерывным временел!, у которой все состояния устойчивы, т. е. ~~'~ це! = дг Предположим, что ! ь! 4,! > О, !ф), и 0 < д! < ео, Показать, что процесс Х! возвратен, если существует последовательность г - (ге, гь гь...), такая, что (1) гь -+ ао при и — еа, (2) — дгге+ ~ дцг! <О, !)~1. (Возвратность означает, что в каждое со! ти ! стояние процесс возвращается бесконечное число раз, или, что то же, суммарное время пребывания в каждом состоянии бесконечно.] Указание: Использовать вложенную цепь Маркова (У ), и = О, 1, 2, ..., со стационарной матрицей переходных вероятностей Р = 11 Р!,1', где ! Ф !1 Вложенная цепь Маркова (У„) попросту фиксирует последовательность состояний, через которые проходит процесс Х! безотносительно к длительностям пребывания в различных состояниях.
Использовать теорему 4.2 гл. 3. 6. В предположениях задачи 5 показать, что Х! невозвратен, если существует ограниченная непостоянная последовательность г = (г„ гь гэ,...), такая, что — ггЧ!+ ~~'~ дг!г! О, !) 1. ! ть ! Указание: См. гл. 3, З 4. 7. Показать, что сумма двух независимых пуассоновских процессов — снова пуассоновский процесс.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
