Б.М. Гуревич - Курс лекций по теории случайных процессов (1134105), страница 9
Текст из файла (страница 9)
Процесс ξt называется марковским процессом, если при всех F− ∈ F6s и F+ ∈ F>s имеемP(F− F+ | ξs ) = P(F− | ξs ) · P(F+ | ξs ).(25)4.2.2. Примеры марковских процессовКак показывает следующее утверждение, мы уже знаем один пример марковского процесса.Утверждение 4.2. Всякий процесс с независимыми приращениями является марковским процессом. Будем доказывать, используя третье определение.
Рассмотрим f (x) := eiλx . Для левой части определения имеем при s < tM exp iλξt | F6s = M exp iλξs · exp iλ(ξt − ξs ) | F6s = exp iλξs · M exp iλ(ξt − ξs ) | F6s =| {z }|{z}F6s -измеримане зависит от F6s= exp iλξs · M exp iλ(ξt − ξs ) . (26)Но к абсолютно такому же виду можно привести правую часть определения, воспользовавшись измеримостьюexp(iλξs ) относительно σ(ξs ).
Осталось заметить, что всякую функцию можно хорошо приблизить экспонентами,поэтому для них это тоже верно. Таким образом, винеровский процесс автоматически является марковским.Задача 4.2. Доказать, что процесс Орнштейна – Уленбека не является процессом с независимыми приращениями, однако является марковским.Замечание. Можно показать, что процесс Орнштейна – Уленбека — единственный (с точностью до пропорциональности) стационарный центрированный марковский гауссовский процесс.4.3. Марковские цепиВажным классом марковских процессов являются процессы, у которых все случайные величины ξt имеютодну и ту же область значений X, которая в этом случае называется фазовым пространством, или пространством состояний.
Именно такие процессы мы и будем изучать.Будем считать, что T = [0, ∞).Определение. Цепью Маркова называется марковский процесс, у которого фазовое пространство X дискретно (то есть не более чем счётно). Естественно, что в качестве σ-алгебры на X выбирается дискретнаяσ-алгебра 2X . Для простоты мы будем считать, что X — это множество Z+ .4.3.1. Переходные вероятности марковского процессаОпределение. Пусть ξt — марковская цепь. Переходными вероятностями называются функцииpij (s, t) = P(ξt = j | ξs = i),s 6 t,i, j ∈ X.(27)В дальнейшем мы не будем писать, что s 6 t, подразумевая это. Заметим, что это довольно естественно:система движется «вперёд», но не «назад».Из этого определения сразу следуют три свойства:29304.3.2.
Конечномерные распределения марковской цепи1◦ pij (s, t) > 0.P2◦pij (s, t) = 1 при всех i ∈ X.j∈X◦3 pij (s, s) = δij .Следующее свойство чуть менее тривиально и очень важно. По внешнему виду оно напоминает правилоперемножения матриц. Если фазовое пространство X конечно, то так оно и есть.Теорема 4.3 (Уравнение Маркова).Xpij (s, t) =pik (s, u) · pkj (u, t).(28)k∈XНещадно эксплуатируя определение условной вероятности, пишем:P(ξt = j, ξs = i)=P(ξs = i)X P(ξt = j, ξs = i, ξu = k)==P(ξs = i)kXP(ξu = k, ξs = i)=P(ξt = j | ξu = k, ξs = i) ·=P(ξs = i)k : P(ξu =k, ξs =i)6=0X=P(ξt = j | ξu = k) · P(ξu = k | ξs = i) =pij (s, t) = P(ξs = j | ξs = i) =(29)k=Xkpik (t, u) · pkj (u, s),что и требовалось доказать.
Определение. Начальным распределением марковской цепи называют меру Law(ξ0 ).Совершенно ясно, что задать начальное распределение — это всё равно что задать набор чиселpi (0) := P(ξ0 = i).(30)4.3.2. Конечномерные распределения марковской цепиТеорема 4.4. Конечномерные распределения марковской цепи ξt однозначно определяются переходнымивероятностями и начальным распределением.
Пусть 0 6 t1 < . . . tn . Положим An−1 := ξt1 = j1 , . . . , ξtn−1 = jn−1 . ИмеемP(ξt1 = j1 , . . . , ξtn = jn ) = P(ξtn = jn | An−1 ) · P(An−1 ) == P(ξtn = jn | ξtn−1 = jn−1 ) · P(An−1 ) = pjn−1 ,jn (tn−1 , tn ) · P(An−1 ).(31)Таким образом, мы научились выражать n-мерное распределение через (n − 1)-мерное распределение и переходную вероятность. Рассуждая по индукции, получаем формулуP(ξt1 = j1 , .
. . , ξtn = jn ) = P(ξt1 = j1 ) · pj1 ,j2 (t1 , t2 ) · . . . · pjn−1 ,jn (tn−1 , tn ).(32)Осталось выразить через начально распределение вероятность P(ξt1 = j1 ). Это можно сделать по формулеполной вероятности:XP(ξt1 = j1 ) =pi (0)pij1 (0, t1 ).(33)iМеханическую работу по подстановке одной формулы в другую мы оставляем читателю. 4.3.3.
Переходная функция марковского процессаПусть (X, A) — измеримое пространство.Чтобы сохранять естественный порядок аргументов,мы захотим писать дифференциал в интеграле передRинтегрируемой функцией. То есть примерно так: µ(dx)f (x).Определение. Функция P (s, x, t, A), заданная для s 6 t ∈ T , x ∈ X, а A ∈ A, называется переходнойфункцией, если1◦ При фиксированных s, t, x функция P (s, x, t, ·) является мерой на (X, A).30314.3.4.
Однородные марковские процессы и цепи2◦ При фиксированных s, t, A функция P (s, ·, t, A) является (A, B)-измеримой.(1, x ∈ A,3◦ P (s, x, s, A) = δx (A) =0, x ∈/ A.◦4 Выполнено уравнение Колмогорова – Чепмена при всех s < u < t:ZP (s, x, t, A) = P (s, x, u, dy)P (u, y, t, A).(34)XОпределение. Говорят, что марковский процесс обладает переходной функцией, если существует переходная функция, для которойп.н.P(ξt ∈ A | ξs ) = P (s, ξs , t, A).(35)Ясно, что для марковских цепей переходная функция всегда существует и задаётся формулойXP (s, i, t, A) =pij (s, t).(36)j∈AВ общем случае её существование — нетривиальный факт, доказательство которого получено совсем недавно.4.3.4. Однородные марковские процессы и цепиОпределение.
Марковский процесс, имеющий переходную функцию P (s, x, t, A), называется однородным,если эта функция по времени зависит только от разности t − s.Для марковских цепей однородность означает, что переходные вероятности зависят только от разности аргументов. Введём обозначения pij (u) := pij (s, s + u).
В этих обозначениях уравнение Маркова принимает видXpij (s + t) =pik (s) · pkj (t),(37)kчто легко проверяется. Если теперь обозначить P (t) := (pij (t)), уравнение Маркова можно записать в болеекомпактной (матричной) форме:P (s + t) = P (s) · P (t).(38)Это означает, что семейство матриц {P (t)} образует коммутативную полугруппу, которая называется стохастической полугруппой матриц.Определение. Однородная марковская цепь называется стандартной, еслиlim pij (t) = δij .t→0+(39)Стандартность означает, что стохастическая полугруппа обладает единицей P (0).Теорема 4.5 (О дифференцируемости переходных вероятностей).
Если pij — это переходные функции стандартной однородной цепи Маркова, то существует правая производнаяd+ pij (t)dt= qij ,(40)t=0причём внедиагональные элементы неотрицательны и конечны, а диагональные неположительны и могутбыть бесконечными.Определение. Положим qi := −qii . Матрица Q = (qij ) называется матрицей интенсивностей.Определение. Цепь называется консервативной, если все элементы матрицы интенсивностей конечны и приэтомXqij = qi при всех i.(41)j6=iИначе говоря, в консервативной цепи сумма элементов в каждой строке матрицы интенсивностей равна нулю.Теорема 4.6 (Обратная система уравнений Колмогорова).
Для консервативной марковской цепи привсех t > 0 имеет место равенство P ′ (t) = QP (t).31324.3.4. Однородные марковские процессы и цепиРассмотрим разностное отношение: 1 Xpij (t + h) − pij (t)1 X=pik (h)pkj (t) − pij (t) =pik (h)pkj (t) + pii (h)pij (t) − pij (t) =hhhkk6=i= pij (t)гдеLij (h, t) :=pii (h) − 1+ Lij (h, t),h1Xpik (h)pkj (t).h(42)(43)k6=iИз теоремы о дифференцируемости получаем, что для всякого фиксированного N выполненоX pik (h)X pik (h) − pik (0)Xlim Lij (h, t) > limpkj (t) = limpkj (t) =qik pkj (t).h→0+h→0+h→0+hhk6=ik6NУчитывая то, что pkj (t) 6 1 иPk6=ik6N(44)k6=ik6Npik (h) = 1, получаем, что при N > ikLij (h, t) =X pik (h)X1 X X X pik (h)1 X1+6pkj (t) +pik (h) =pkj (t) +1 − pii (h) −pik (h) .
(45)hhhhhk6=ik6Nk>Nk6=ik6Nk>Nk6=ik6Nk6=ik6NВновь пользуясь теоремой, получаемlim Lij (h, t) 6h→0+Xk6=ik6Nqik pkj (t) − qii −Xqik .Пользуясь теперь тем, что qii = −qi и переходя к пределу при N → ∞, получаемXXXqik pkj (t).lim Lij (h, t) 6qik pkj (t) + qi −qik =h→0+k6=ik6=i{z|Комбинируя (44) и (47), получаем, чтоlim Lij (h, t) =h→0+0X(46)k6=ik6N}(47)k6=iqik pkj (t).(48)k6=iАналогичное равенство можно получить, рассматривая нижний предел. Теорема 4.7 (Прямая система уравнений Колмогорова).
Пусть цепь консервативна и |qij | < ∞ привсех i, j. Пустьpij (h) = qij h + αij (h), αij = o(h) равномерно по i.(49)Тогда при всех t > 0 имеет место равенство P ′ (t) = P (t)Q. Вновь рассматривая разностное отношение, получаем:pjj (h) − 1 1 Xpij (t + h) − pij (t)= pij (t)+pik (t)pkj (h).hhh(50)k6=j α (h) При фиксированном j найдём h0 такое, что ijh < ε при всех k и h ∈ (0, h0 ). ТогдаXXαkj (h) p(t)6εpik (t) < ε.ikhk6=jДалее,(51)k6=j1Xpij (t + h)1pik (t)pkj (h) 66 ,hhh(52)k6=jи тем самым установлена сходимость ряда в правой части нужного нам уравнения. Осталось перейти к пределупри h → 0+ в (50). Определение.PСостояние i называется мгновенным, если qi = ∞.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
