А.Н. Зубков - Курс лекций по теории случайных процессов (1134117), страница 2
Текст из файла (страница 2)
. , Sk−1 6 a, Sk > a;τ=n + 1, если S1 , . . . , Sn 6 a.Случайные величины Sk и Sn −Sk независимы и имеют симметричное распределение. Из симметрии P{Sn −Sk >0} = P{Sn − Sk 6 0} > 21 . Далее, P{Sn > a, τ = k} > P{Sn > Sk > a, τ = k} = P{τ = k, Sn − Sk > 0} = P{τ =k}P{Sn − Sk > 0} > 21 P{τ = k}, где предпоследнее равенство имеет место в силу независимости события {τ = k}от Sn − Sk .
Суммируя по k, получаем:P{Sn > a} =nXP{Sn > a, τ = k} >k=1nX1k=152P{τ = k} =1P{max Sk > a},2что и требовалось. [Доказательство леммы 2.5] По утверждению 2.31u21 − u21 − Φ(u) 6 √ e− 2 <e 2 .2uu 2π√Sn / n ∼ N (0, 1), поэтому в силу леммы 2.7√√P{M (n) > u n} 6 2P{Sn > u n} = 2PПолагая n = rk+1 и u =PM (rk+1 )>rh(rk )√2r ln ln rk , получаем:S√n > un= 2(1 − Φ(u)) <1 − u22e.uno√√= P M (rk+1 ) > rh(rk ) = P M (rk+1 ) > rk+1 2r ln ln rk <k1e−r ln ln r= √=O<√k2r ln ln r2r ln ln rk (k ln r)r1kr,а этот ряд сходится при r > 1.
√ [Доказательство леммы 2.6] Svk − Svk−1 ∼ N (0, v k − v k−1 ), ζ1 ∼ N (0, 1), ζ1 v k − v k−1 ∼ N (0, v k − v k−1 ).Далее (используем совпадение распределений и опять применяем утверждение 2.3),P( √)Svk − Svk−1ζ1 v k − v k−1c(v)h(v k )> c(v) = P> c(v) = P ζ1 > √=h(v k )h(v k )v k − v k−1no√k11= P ζ1 > 2 ln ln v k ∼ √e− ln ln v = √,π ln k k ln v2 π ln ln v kа этот ряд расходится. 3. Цепи Маркова3.1.
ОпределенияПусть ξ0 , ξ1 , . . . — последовательность случайных величин, принимающих значения в конечном множестве.Распределение этой последовательности определяется счётным семейством совместных распределений её конечных отрезков, т.е. вероятностями P (ξ0 = i0 , . . . , ξn = in ). Эти вероятности можно записать также какP {ξ0 = i0 , . . . , ξn = in } = P {ξ0 = i0 }nYk=1P {ξk = ik | ξ0 = i0 , . . . , ξk−1 = ik−1 }(∗)Если случайные величины ξi независимы в совокупности, то эта формула значительно упрощается и принимаетвидnYP {ξ0 = i0 , .
. . , ξn = in } =P {ξk = ik }k=0Цепи Маркова — это случайные последовательности, занимающие промежуточное положение между полностьюзависимыми и полностью независимыми.Определение. Цепь Маркова с конечным или счётным множеством состояний S и дискретным временем— это такая последовательность случайных величин ξ0 , ξ1 , . .
., принимающих значения в S, что∀t > 0 ∀ i0 , . . . , it+1 ∈ S(t)P {ξt+1 = it+1 | ξ0 = i0 , . . . , ξt = it } = P {ξt+1 = it+1 | ξt = it } = pit it+1 .(t)pit it+1 называются переходными вероятностями этой цепи.(t)Если pit it+1 не зависит от t, то цепь называется однородной по времени.Для цепей Маркова формула (∗) упрощается и принимает видP {ξ0 = i0 , . . . , ξt = it } = P {ξ0 = i0 }6tYk=1(k)pik−1 ik(0)Для удобства обозначим pi0 := P {ξ0 = i0 }.Распределение однородной цепи Маркова в случае S = 1, . . . , n задаётся n + n2 параметрами, а именно, началь(0)(0)ным вектором p̄(0) = (p1 , .
. . , pn ) и матрицей переходных вероятностей P = (pij ). В случае неоднородности по(t)времени можно задать счётное семейство матриц переходных вероятностей P (t) = (pij ).PОпределение. Квадратная матрица A = (aij ), такая,Pчто aij > 0 и ∀i k aik = 1, называется стохастической. Если вместо второго условия выполнено только ∀i k aik 6 1, то матрица называется полустохастической. Наконец, если как A, так и AT стохастические, то A называется дважды стохастической.Очевидно, что матрицы переходных вероятностей цепей Маркова являются стохастическими и наоборот,любая стохастическая матрица задаёт некоторую однородную по времени цепь Маркова.Замечание. Если P, Q — стохастические матрицы и определено их произведение P Q, то P Q также являетсястохастической.3.2. Примеры цепей Маркова1.
Пусть ξt — независимые целочисленнные случайные величины. Тогда St = ξ1 + . . . + ξt образуют цепьМаркова.2. η1 , . . . — независимые одинаково распределённые случайные величины со значениями в {±1}, P {ηi = 1} =p, P {ηi = −1} = q.ξt = max {ξt−1 + ηt , 0} , t ∈ NТакой процесс называется случайным блужданием с отражающим экраном в нуле.
Найдём матрицу егопереходов:P {ξt+1 = i + 1 | ξt = i} = p,(q, i > 1P {ξt+1 = i − 1 | ξt = i} =0, i = 0(0, i > 0P {ξt+1 = i | ξt = i} =q, i = 0Матрица (бесконечная) вероятностей переходов будетq p 0q 0 p0 q 0.. .. ... . .иметь вид0 ...0 . . .p . . ... . ...3.2.1. Модель Эренфестов для диффузииРассмотрим следующую модель распространения газа между двумя сосудами, в одном из которых изначально вакуум, а в другом — n частиц. Каждый момент времени будем брать случайную частицу и перемещать её вдругой сосуд.
Последовательность ξt = {число частиц в 1 сосуде в момент времени t} является цепью Маркова.n−kk=1−nnk= k − 1 | ξt = k} =nP {ξt+1 = k + 1 | ξt = k} =P {ξt+1Матрица вероятностей переходов:01n0 ...00102n...0001 − n10...001 − n2...1−0......1n............01000.. .1n03.3. Свойства матрицы переходных вероятностейРассмотрим однородную цепь Маркова ξt (S = 1, .
. . , n, P = (pij )) с дискретным временем и зададимсявопросом посчитать вероятности перехода между состояниями за m шагов, т.е. найдёмpij (m) := P {ξt+m = j | ξt = i}7Пусть P (m) = (pij (m)), pi (t) = P {ξt = i} , p̄(t) = (pi (t), i ∈ S).Лемма 3.1. Для однородной по времени цепи Маркова с матрицей переходных вероятностей P ∀m > 1имеемP (m) = P m , p̄(t + m) = p̄(t)P m .Если цепь не однородна, то имеют место аналогичные равенства:(t)(pt,m. . . P (t+m−1) ,ij ) = (P {ξt+m = j | ξt = i)}) = Pp̄(t + m) = p̄(t)P (t) .
. . P (t+m−1) . Докажем только первое равенство, остальные доказываются абсолютно аналогично. Рассуждаем поиндукции (база, случай m = 1, очевидна). ИмеемXpij (m + 1) =pik (m)pkj = P (m) P,ijk∈Sчто и требовалось. 3.4. Классификация состояний цепей МарковаПусть имеется (однородная) цепь Маркова с дискретным временем, S — множество её состояний, pij (m) —вероятность перехода между состояниями i и j за m шагов.Определение. Состояние j следует за состоянием i (i → j), если ∃m : pij (m) > 0.Если i → j, j → i, то состояния i и j называются сообщающимися (i ↔ j)).
Легко видеть, что → транзитивно,а ↔ задаёт на S отношение эквивалентности.Состояние i называется:• поглощающим, если pii = 1.• периодическим с периодом d > 1, если НОД(m : pii (m) > 0) = d.• непериодическим, если оно периодическое с периодом 1.• несущественным, если ∃j ∈ S : i → j, j 6→ i.• существенным, если оно не является несущественным.• возвратным, если оно существенно и P {∃t : ξt = i | ξ0 = i} = 1.• возвратным нулевым, если оно возвратно и pii (t) → 0(t → ∞).• возвратным положительным, если оно возвратно и lim supt→∞ pii (t) > 0.Рассмотрим теперь множество классов эквивалентности в S, задаваемых отношением ↔. На них можнозадать структуру ориентированного графа, направив ребро из K в L, когда ∃x ∈ K, y ∈ L : x → y.Определение. Финальными назовём те классы, из которых в этом графе не выходит рёбер.Определение.
Цепь Маркова, у которой все состояния образуют один класс, называется неразложимой.3.4.1. Примеры1. Периодические цепиРассмотрим цепь Маркова с тремя состояниями и матрицей переходных вероятностей0 0 1P = 1 0 0 .....0 1 0Очевидно, P 3 = E и ∀ a, k : P a+3k = P a , то есть процесс циклически переходит между 3 состояниями.Этот пример тривиален, однако по его подобию можно построить более сложный циклический процесс, аименно, пусть P1 ,P2 и P3 — стохастические матрицы (одинакового размера). Рассмотрим цепь Маркова соследующей блочной матрицей переходов:00 P10 .....P ∗ = P2 00 P3 0Если матрицы Pi задают неразложимые цепи, то в новой цепи граф классов эквивалентности будет иметьтакой же вид, что и в предыдущем примере, хотя внутри классов процесс перемещаться будет случайно.82. Несущественные состоянияРассмотрим для α, β, γ > 0 цепь с матрицей переходовα β γ 0 1 0 .....0 0 1Видно, что состояние 1 несущественно, а 2 и 3 — поглощающие.
При этомp11 (t) = αt −→ 0 (t −→ ∞)ββp12 (t) = (1 − α)t−→(t −→ ∞)β+γβ+γγγp13 (t) = (1 − α)t−→(t −→ ∞)β+γβ+γНа основе этого процесса, взяв стохастические матрицы соотвествующих размеров, можно аналогичнымобразом получить более сложный процесс с тем же графом классов эквивалентности. Он будет иметьматрицуP11 P12 P13 0 P220 00 P333.4.2.
Критерий возвратности состоянияТеорема 3.2 (Критерий возвратности состояния). Состояние j однородной цепи Маркова возвратнотогда и только тогда, когда∞Xpjj (m) = ∞.m=1Обозначим T0 = 0, Tk = min {T | T > Tk−1 , ξT = j} (считаем min ∅ = ∞).Для доказательства этой теоремы нам понадобится следующаяЛемма 3.3.
Если цепь Маркова однородна, то при условии ξ0 = j случайные величины ∆k = Tk − Tk−1 (гдеk такое, что Tk < ∞) независимы и одинаково распределены. По определению Tk Tk = t ⇒ ξt = j.P {ξt+v = it+v , v = 1, . . . , m | ξ0 = j, . . . , ξt = j} = P {ξt+v = it+v , v = 1, . . . , m | ξt = j} == P {ξv = it+v , v = 1, . . .
, m | ξ0 = j} ∀m, ∀i1 , . . . , it+m ∈ S,то есть ∀t : Tk = t распределение последовательности {ξt+1 , . . .} совпадает с распределением последовательности{ξ1 , . . .}, а это означает, что ∆k = Tk+1 − Tk распределена так же, как T1 − T0 = T1 .Независимость ∆k в совокупности следует из определения цепи Маркова. Докажем, например, независимость∆1 и ∆2 :P {∆1 = m, ∆2 = n} = P {ξ0 = j, ξ1 6= j, .
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
