А.Н. Зубков - Курс лекций по теории случайных процессов, страница 7

Отсюда получаем, чтоpij (t)pij (t)> lim inf> λi pijt→0+ttlim supt→0+Суммируем по j:Xj6=iт.к.Plim inft→0+pij (t) X>λi pij = λi ,tj6=ipij = 1 (pii = 0 по условию).j6=i∗Pλ = sup λi < ∞, следовательно цепь Маркова почти наверное не уходит в бесконечность. Поэтомуpij (t) =j∈SP1, откудаpij (t) = 1 − pii (t). Отсюда, применяя первое (уже доказанное) соотношение, получаем:j6=ilim supt→0+Далее,λi =Xj6=iX pij (t)tj6=iλi pij 6Xj6=i= lim suplim inft→0+t→0+1 − pii (t)= λi .tX pij (t)pij (t)6 lim sup= λi .ttt→0+j6=iНо начало и конец цепочки совпадают, значит все неравенства обращаются в равенства.

Отсюда для любого jверхний и нижний пределы pij (t)/t совпадают и равны λi pij , откуда получается второе соотношение. Числами qi и qij можно задавать цепь Маркова. Они образуют матрицу интенсивностей переходов Q =(qij )i,j∈S (qii считается равным −qi ). Сумма элементов в каждой строке этой матрицы равна нулю.Утверждение теоремы 7.7 можно переписать в матричной форме:limt→0+P (t) − P (0)=Qt(считается, что P (0) есть единичная матрица).Теорема 7.8 (уравнения Колмогорова). В условиях предыдущей теоремы справедливы следующие равенства:1. P ′ (t) = P (t)Q (обратное уравнение Колмогорова);2. P ′ (t) = QP (t) (прямое уравнение Колмогорова).Эта система о.д.у.

имеет решение, записываемое в виде P (t) = etQ , где eA = E +∞Pk=1матрицы A.231 kk! A— экспонента По лемме 7.4 P (t + s) = P (t)P (s). Отсюда (P (0) = E): P (s + t) − P (t) = P (t)(P (s) − P (0)) = (P (s) −P (0))P (t). По теореме 7.7 получаем3 :P ′ (t) = lims→0+P (t + s) − P (t)P (t)(P (s) − P (0))P (s) − P (0)= lim= P (t) lim= P (t)Q.s→0+s→0+sssАналогично получаем, что P ′ (t) = QP (t). Далее, P ′′ (t) = (P ′ (t))′ = P ′ (t)Q = P (t)Q2 , . . . , P (k) (t) = P (t)Qk .Разлагаем P (t) в ряд Тейлора в нуле:P (t) = P (0) +∞ kXtk=1k!P(k)(0) = E +∞X(tQ)kk=1k!= etQ ,что и требовалось.

8. Мартингалы8.1. Напоминание про условные математические ожидания (в дискретном случае)Из курса теории вероятностей мы знаем про условную вероятность. Пусть есть вероятностное пространство(Ω, F , P), B, C ∈ F . Условная вероятность события C при условии события B:P(C | B) :=P(CB).P(B)Будем теперь изменять событие C при фиксированном B. Получим функцию на F — новую (условную) вероятностную меру на (Ω, F ), сосредоточенную на множестве B. По этой новой мере можно брать математическоеожидание — условное математическое ожидание при условииFсобытия B.Теперь будем менять событие B.

Пусть дано разбиение Ω =Bk . С этим распределением связана σ-алгебраk>1B = σ{Bk }, состоящая из всевозможных объединений событий Bk . Для фиксированного события C получаемнабор чисел (условных вероятностей), заиндексированный индексом k.Условная вероятность относительно B — ступенчатая функция на Ω (это случайная величина), котораяна каждом Bk равна P(C | Bk ) (заметим, что эта функция B-измерима).Пусть теперь дана дискретная случайная величинаξ ({ω : ξ = xk } = Ak ). Условное математическое ожиPдание ξ относительно B есть M(ξ | B)(ω) =xk P(A | B)(ω) (это — тоже случайная величина, измеримаяотносительно B, т.е. ступенчатая функция).FДискретная случайная величина ξ порождает разбиение Ω = Ak .

Соответствующая σ-алгебра называетсяkσ(ξ). Пишем M(η | ξ) := M(η | σ(ξ)).Разумеется, всю эту теорию можно развивать для произвольных σ-алгебр. Такие вещи обычно рассказываютв курсе математической статистики. Здесь мы просто напоминаем про у.м.о. в простейшем случае...Свойства у.м.о.:1.2.3.4.5.Если C ∈ B, то MχC ξ = M(χC M(ξ | B)) (χC — индикатор C). В частности (если C = Ω): Mξ = MM(ξ | B).Линейность: M(aξ + bη | B) = aM(ξ | B) + bM(η | B).M(χA | B) = P(A | B).Если B = σ(ξ), то M(ξ | B) = ξ.Если B1 ⊆ B2 (B2 соответствует подразбиению B1 — более грубой σ-алгебры), то M(M(ξ | B2 ) | B1 ) =M(ξ | B1 ).6.

Если B = σ(η), то M(ξη | B) = ηM(ξ | B) (множитель, измеримый относительно условия, можно выноситьиз-под знака у.м.о.).8.2. Мартингалы с дискретным временем: определение и простые свойстваВ нашем курсе других мартингалов и не будет...Определение. Пусть (Ω, F , P) — вероятностное пространство, на котором заданы последовательность случайных величин X0 , X1 , X2 , . . . и расширяющаяся последовательность (поток ) σ-алгебр F0 ⊆ F1 ⊆ F2 ⊆ · · · ⊆F . Последовательность пар {(Xn , Fn )}n∈N называется мартингалом (говорят также, что {Xn } — мартингалотносительно {Fn }), если:3 Насамом деле это всего лишь правая производная (так что в формулировке есть лукавство). Но для разложения Тейлора этогохватит. Ага, щ-щас. Этого для разложения Тейлора, конечно, не хватит, но если вспомнить, что P (s − t)P (t) = P (s) и устремить t−→ 0+, получим, что P (t) непрерывна слева.

Дифференцируемость слева тогда доказывается элементарно заменой t на −t.241. M|Xn | < ∞ для всех n;2. Xn измерима относительно Fn для всех n;3. M(Xm | Fn ) = Xn почти наверное, если m > n (характеристическое свойство мартингала).Если вместо свойства 3 написать M(Xm | Fn ) > Xn , получится субмартингал, а если M(Xm | Fn ) 6 Xn —супермартингал.Изменение знака переводит субмартингал в супермартингал (и наоборот). Поэтому иногда эти два понятияобъединяют и говорят о семи-, или полумартингалах.Утверждение 8.1.

Для дискретного времени характеристическое свойство мартингала эквивалентносвоему частному случаю: для любого n M(Xn+1 | Fn ) = Xn . M(Xm | Fn ) = M(M(Xm | Fm−1 ) | Fm ) = M(Xm−1 | Fn ). Далее по индукции. Утверждение 8.2. Для мартингала M(Xn+1 | Xn ) = Xn . M(Xn+1 | Xn ) = M(M(Xn+1 | Fn ) | σ(Xn )) = M(Xn | σ(Xn )) = Xn . 8.3. Примеры мартингалов1. Пусть ξ1 , ξ2 , . . . — независимые случайные величины. Xn = ξ1 + · · · + ξn , X0 = 0 — случайное блуждание.Fn = σ(ξ1 , .

. . , ξn ). Если Mξn = 0 для всех n, то {(Xn , Fn )} — мартингал, если 6 0 — субмартингал, если> 0 — супермартингал.2. ξ1 , ξ2 , . . . — независимые случайные величины, Fn = σ(ξ1 , . . . , ξn ), X0 = 1, Xn =nQξi . Если для всех ni=1Mξn = 1, то {(Xn , Fn )} — мартингал. Если же Mξn >= 1, то субмартингалом такая последовательность,вообще говоря, не будет. Однако если потребовать, например, ξi > 0 п.н., то Xi всё же будут образовыватьсупермартингал.3. ξ1 , ξ2 , . .

. — независимые случайные величины, Fn = σ(ξ1 , . . . , ξn ), X1 = X2 = 0, Xn = ξ1 ξ2 + ξ2 ξ3 + . . . +ξn−1 ξn . Если ∀n Mξn = 0, то (Xn , Fn ) — мартингал. Если ∀n Mξ2n = 0, то ∀i Mξi ξi+1 = 0, но {Xn , Fn }могут и не образовывать мартингал. Рассмотрим, например, P {ξ2k = −1} = P {ξ2k = 1} = 12 , Mξ2k = 0, иP {ξ2k−1 = 1} = P {ξ2k−1 = 3} = 21 , Mξ2k−1 = 2 6= 0. ТогдаM (X3 | X2 = 3) = M (ξ1 ξ2 + ξ2 ξ3 | ξ1 = 3, ξ2 = 1) = 3 + M (ξ3 ) = 5 6= 3.Таким образом, нарастающая сумма случайных величин с нулевыми математическими ожиданиями невсегда образует мартингал.4. Пусть (Ω, F , P) — вероятностное пространство, F1 ⊆ F2 ⊆ .

. . ⊆ F — поток σ-алгебр, ξ — фиксированнаяслучайная величина с Mξ < ∞. Тогда Xn ⇋ M (ξ | Fn ) — мартингал относительно {Fn }. Измеримость Xn относительно Fn очевидна, так как Xn — это у.м.о. относительно Fn . Для любыхm > n имеемM (Xm | Fn ) = M (M (ξ | Fm ) | Fn ) = M (ξ | Fn ) = Xn , т.к. Fn ⊆ Fm .В качестве примера такого мартингала рассмотрим Ω = [0, 1) с линейной мерой Лебега, ξ(ω) ≡ ω, аnпоследовательность Fn — последовательные дробления [0, 1] на 2k частей, т.е.

Fn = [ 2kn , k+12n ) | 0 6 k 6 2 − 1 .kk+1Тогда Xn (ω) = 22k+12n+1 при 2n 6 ω < 2n .5. Пусть X1 , X2 , . . . — случайные величины со значениями в конечном множестве {1, . . . , N }.Если (Xn , σ(X1 , . . . , Xn )) — мартингал, то состояния 0 и N — поглощающие, т.е. P {Xm+1 = 0 | Xm = 0} =1 = P {Xm+1 = N | Xm = N }.От противного, если P {Xm+1 > 0 | Xm = 0} > 0, тоX0 = Xm = M (Xm+1 | Xm = 0) =kP {Xm+1 = k | Xm = 0} > 0k. Случай Xm = N аналогичен. 6. Пусть ξt , t ∈ Z — независимые случайные величины, P {ξt = 1} = p, P {ξt = 0} = 1 − p,Yn ⇋ min {k > 0 | ξn−k + ξn+k > 0} .Yn не образуют мартингала относительно {σ(ξt , t 6 n)} в силу неизмеримости Yn относительно ≪будущего≫: Yn не обязательно постоянна на атомах σ-алгебры σ(ξn−1 , . . .), т.к.

зависит ещё и от ξn+1 , . . ..258.4. Предсказуемые последовательности случайных величин. Разложение ДубаОпределение. Последовательность {ξn } называется предсказуемой относительно потока σ-алгебр F0 ⊆F1 ⊆ · · · ⊆ F , если ξn измерима относительно Fn−1 .Неформально говоря, σ-алгебра Fn описывает всё, что было до момента n.Пример 4.1. ζ1 , ζ2 , . . . — последовательность случайных величин. Fn = σ(ζ1 , . . . , ζn ), n > 1. fn : Rn −→ R.ξn = fn−1 (ζ1 , . .

. , ζn−1 ) — предсказуема относительно {Fn }.Теорема 8.3 (разложение Дуба4 ). Пусть {(Xn , Fn )} — субмартингал. Тогда существуют такие мартингал {(Zn , Fn )} и последовательность случайных величин {An } такие, что: A0 = 0, {An } предсказуемаотносительно {Fn }, An неубывает с вероятностью 1; Xn = Zn + An почти наверное для всех n.

С точностью до множества меры нуль последовательности {An } и {Zn } определяются однозначно.Последовательность {An } называется компенсатором. An = 0 ⇒ Z0 = X0 — определяется однозначно. Далее применяем несколько тривиальных тождеств:Xn = X0 +n−1Xj=0(Xj+1 − Xj ) = X0 +n−1Xj=0((Xj+1 − M(Xj+1 | Fj )) + (M(Xj+1 | Fj ) − Xj )).Положим (Z0 = X0 )Zn := Z0 +n−1Xj=0(Xj+1 − M(Xj+1 | Fj )) = Zn−1 + (Xn − M(Xn | Fn−1 )иAn =n−1Xj=0(M(Xj+1 | Fj ) − Xj ).{Xn } — субмартингал, поэтому все слагаемые в An почти наверное неотрицательны ⇒ An почти наверноенеубывает (как нарастающая сумма неотрицательных случайных величин). Каждая скобка в An измеримаотносительно Fj ⇒ {An } предсказуема относительно {Fn } (An Fn−1 -измерима).Проверим, что Zn — мартингал:M(Zn | Fn−1 ) = M(Zn−1 + (Xn − M(Xn | Fn−1 )) | Fn−1 ) = M(Zn−1 | Fn−1 ) + M(Xn | Fn−1 ) − M(Xn | Fn−1 ) == Zn−1 .Единственность.