Цепи Маркова (1121219), страница 9

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 9)

. + fi (1)pii(n−1) ,U(z) (= Ui (z)) =Xn>1(n)pii zn , |z| < 1,тоE i Vi =XE i 1(Xn = i) =N>0X(n)pii(1.5.11)n>0(здесь= 1, поскольку нулевая степень матрицы P 0 равна единичнойматрице I). Из (1.5.10), (1.5.11) заключаем, что верно следующее утверждение.Теорема 1.5.3. Состояние i возвратно, еслиX (n)pii = ∞,(1.5.12)n>0Xn>0U(z) = F (z) + F (z)U(z),т. е.

U(z) =(1.5.17)F (z).1 − F (z)Следовательно, предельное значение lim U(z) конечно тогда и только то-pii(0)и невозвратно, если(1.5.16)откуда следует, что еслиn>0С другой стороны,55тогда fi = lim F (z).(1.5.9)Важным параметром является среднее значение E i Vi , вычисляется по формуле∞XXP i (Vi > n) =fin .(1.5.10)E i Vi =n=0§ 1.5. Возвратность и невозвратность: определения и основные факты(n)pii < ∞,(1.5.13)z→1гда, когда lim F (z) < 1. Таким образом, неравенство (1.5.13) справедливоz→1тогда и только тогда, когда fi < 1.Завершим этот параграф следующим замечанием. Равенство (1.5.2)можно переписать в видеP i (Vi < ∞) = 1,(1.5.18)а (1.5.13) можно записать какE i V i < ∞.(1.5.19)о к а з а т е л ь с т в о. В силу соотношений (1.5.10),X Д(n)X(1.5.11) суммаpii совпадает с суммой геометрической прогрессииfin .

Эта суммаМы видим, что если с.в. Vi (общее число посещений состояния i) конечнас вероятностью единица, то она должна иметь конечное среднее; марковское (а точнее, строго марковское) свойство исключает возможностьпромежуточной ситуации, когда P i (Vi < ∞) = 1, но E i Vi = ∞.Однако если вернуться к рассмотрению с.в. Ti (время возвращенияв состояние i), то ситуация становится более тонкой. Как мы уже заметиливыше, состояние i возвратно тогда и только тогда, когда P i (Ti < ∞) = 1,т. е. время возвращения в состояние i конечно с вероятностью единица.Однако среднее время возвращения E i Ti (или, что эквивалентно, lim F 0 (z))fi (n) = P i (Ti = n) == P i (Xn = i, но Xl 6= i для l = 1, .

. . , n − 1),может быть как конечным, так и бесконечным. Это свойство подразделяетвозвратные состояния на две различные категории: положительные и нулевые; см. далее.Сообщающиеся классы для счетной ц.м.д.в. определяют таким же образом, как и в случае конечных цепей. Для удобства мы еще раз приведемопределение.n>0n>0конечна, если fi < 1 (и равна 1/ (1 − fi)), и бесконечна, если fi = 1.Теорема 1.5.3 будет неоднократно использоваться для проверки возвратности и невозвратности состояний различных цепей.Альтернативное доказательство теоремы 1.5.3 опирается на использование производящих функций случайной величины T i . ПоложимиF (z) (= Fi (z)) = EzTi =Xn>1zn fi (n),|z| < 1,z→1n > 1;(1.5.14)(1.5.15)56Глава 1.

Цепи Маркова с дискретным временемОпределение 1.5.4. Состояния i, j ∈ I принадлежат одному и тому же(n)(n0)сообщающемуся классу, если pij > 0 и pji > 0 для некоторых n, n0 > 0.(Как и в случае конечных цепей, будем обозначать через P 0 единичнуюматрицу I со строками и столбцами, которые означают состояния цепи.)Как и ранее, сообщающиеся классы задают разбиение пространства состояний I, и некоторые классы могут быть бесконечными; число таких классовтакже может быть бесконечным. Далее, как и в «конечном» случае, сообщающийся класс C называется замкнутым, если для любого i ∈ C, изусловия i → j следует, что j ∈ C. Наконец, мы будем говорить, что цепьнеприводима, если она состоит из единственного сообщающегося класса(который в случае счетной ц.м.д.в. может быть замкнут или незамкнут).Замечание 1.5.5.

Заметим, что если пространство состояний I конечно, то определение невозвратного состояния совпадает с определениемнесущественного состояния (т. e. состояния, принадлежащего незамкнутому сообщающемуся классу). Иными словами, в случае конечной цепи каждое состояние, которое формирует незамкнутый класс, являетсяневозвратным, и каждое состояние, принадлежащее замкнутому классу,возвратно. Тем не менее, как мы отметили в замечании 1.2.6, в случаесчетной ц.м.д.в. замкнутый класс может состоять только из невозвратныхсостояний, которые с «физической» точки зрения несущественны.

Этопоказывает, что в «счетном» случае понятие невозвратности более уместно,чем понятие замкнутого сообщающегося класса.Мы намерены показать теперь, что если состояния i, j принадлежатодному и тому же сообщающемуся классу, то они либо оба возвратны,либо оба невозвратны.

Иначе говоря, возвратность и невозвратность являются свойствами класса. Поэтому мы могли бы использовать следующееопределение.Определение 1.5.6. Сообщающийся класс называется возвратным(невозвратным), если все его состояния возвратны (невозвратны).Теорема 1.5.7. Состояния из одного сообщающегося класса относятся к одному и тому же типу (либо оба возвратны, либо обаневозвратны). Любой конечный замкнутый сообщающийся класс является возвратным.Д о к а з а т е л ь с т в о. Пусть C — это сообщающийся класс. Тогда для(m)любых различных состояний i, j ∈ C выполняются неравенства p ij > 0и pji(n) > 0 для некоторых m, n > 1.

Значит, для любого r > 0 выполняютсянеравенства(n+m+r)pii> pij(m) pjj(r) pji(n)(n+m+r)и pjj> pji(m) pii(r) pij(n) ,поскольку в правой части каждого неравенства учитывается лишь часть§ 1.5. Возвратность и невозвратность: определения и основные фактывозможных способов возвращения.Следовательно,(r)pjj 6pii(n+m+r)pij(m) pji(n)57,и для r > n + m справедливо неравенствоТогда оба рядаPr(r)piipjj(r) > pji(n) pii(r−n−m) pij(m) .P (r)иpjj сходятся либо расходятся одновременно.rПусть теперь C — конечный замкнутый сообщающийся класс, и j ∈ C.Тогда, если X0 = j ∈ C, то Xn ∈ C ∀ n. Следовательно, существуетсостояние i ∈ C, в котором цепь побывает бесконечно много раз:0 < P j (Vi = ∞) = P j (Ti < ∞) P i (Vi = ∞).Тогда P i (Vi = ∞) > 0, т. е.

состояние i не является невозвратным, а следовательно, оно возвратно. Таким образом, каждое состояние из класса Cвозвратно.Определение 1.5.8. Матрица вероятностей перехода P (а тогда и( , P)-ц.м.д.в.) называется возвратной (невозвратной), если каждое состояние i возвратно (соответственно невозвратно).Завершим этот параграф еще одним утверждением.Теорема 1.5.9.

Если матрица P неприводима и возвратна, токаждая случайная величина Ti (момент первого посещения состояния i) конечна с вероятностью 1, т. е. P (Ti < ∞) = 1 для любогосостояния i и любого начального распределения .Д о к а з а т е л ь с т в о. В силу марковского свойстваXP (Tj < ∞) =i P i (Tj < ∞).i(m)При заданном i выберем такое m, что pji > 0. Запишем1 = P j (Vj = ∞) 6 P j (Xn = j для некоторого n > m)(очевидно, что здесь на самом деле имеет место равенство, но нас устраивает и неравенство).

Далее,P j (Xn = j для некоторого n > m) =X (m)=pjk P j (Xn = j для некоторого n > m | Xm = k) =X (m)X (m)k=pjk P k (Tj < ∞) 6pjk = 1.kk58Глава 1. Цепи Маркова с дискретным временем(m)(m)Мы видим, что каждое слагаемое pjk P k (Tj < ∞) должно быть равно pjk ;(m)pjk(m)pjkв противном случае (т. е. еслиP k (Tj < ∞) <мы должны были бы получить 1 < 1. Следовательно,для некоторого k)P i (Tj < ∞)pji(m) = pji(m) , т. е. P i (Tj < ∞) = 1.Это верно для любого i, следовательно, и для любого начального распределения . Вдобавок это верно и для любого j.Пример 1.5.10.

Предположим, что матрица P неприводима и возвратна и что пространство состояний содержит по крайней мере два состояния.e = (peij) следующим образом:Определим новую матрицу перехода P(0,если i = j,eij =p−1(1 − pii) pij , если i 6= j.e также неприводима и возвратна.Докажите, что матрица PРешение. Если матрица P = (pij) неприводима, то pii < 1 для любого состояния i (за исключением случая, когда она состоит из одногоe описывает цепь Маркова, которая получается изсостояния). Матрица Pзаданной ц.м.д.в., если учитывать только скачки в новое состояние; очевидно, что цепь неприводима. Действительно, возьмем последовательностьнеповторяющихся состояний i = i0 , .

. . , im = j, таких что pil il+1 > 0,e если дляpil il+1 > 0. Теперь проверим возвратность матрицы P:тогда и eпервоначальной цепи pii = 0, то возвращение в состояние i для обеихцепей происходит в рамках одного и того же события, следовательно,и вероятность возвращения в состояние i будет одна и та же для обеихцепей. Если pii > 0, то в новой цепи вероятность возвращения равна1P (возвращение в i после момента времени 1 в исходной цепи) =1 − pii i1=(1 − pii),1 − piie = h тогда и только тогда, когда hP = h,что равно 1. С другой стороны, hPт.

е. решения обоих уравнений совпадают. Следовательно, минимальноеe = h, у которого hi = 1, совпадает с таким жерешение уравнения hPрешением уравнения hP = h. Следовательно, это решение тождественноравно 1, и новая цепь возвратна тогда и только тогда, когда таковойявляется первоначальная цепь.§ 1.6. Возвратность и невозвратность: случайные блуждания на кубических решетках59§ 1.6. Возвратность и невозвратность:случайные блуждания на кубических решеткахЕдинственный смысл времени в том, что все происходит не вовремя.А.

Энштейн (1879–1955), американский физик, выходец из ГерманииСлучайные блуждания на кубических решетках являются популярнымии интересными моделями счетных цепей Маркова. Здесь мы имеем делос «частицей», которая совершает скачки в моменты времени t = 1, 2, . . . изсвоего нынешнего состояния i ∈ Zd в некоторую другую точку j ∈ Zd с вероятностью pij независимо от прошлой траектории. Мы уделим внимание,главным образом, однородным случайным блужданиям «по ближайшимсоседям», для которых вероятности pij положительны только тогда, когдаi и j являются соседними точками, и эти вероятности зависят лишь отнаправления от i к j (т.

Характеристики

Список файлов лекций