Лекция по цепям Маркова (1134070), страница 3

Просмтор этого файла доступен только зарегистрированным пользователям. Но у нас супер быстрая регистрация: достаточно только электронной почты!

Текст из файла (страница 3)

Пусть S1 = m=1(am − a).В силу того что 1/n → 0 при n → ∞, найдется номер N1 , для которого 1/n < ε/2S1при всех n > N1 . Заметим, что N1 зависит только от S1 и ε. Далее, величина S1определяется только номером m0 (и, разумеется, последовательностью {am }n=1,∞ ,но ее мы считаем фиксированной), а номер m0 зависит только от ε. Таким образом,N1 = N1 (ε).Теперь мы должны взять номера n, при которых оба слагаемых в правой части (1.27) малы. Положим N = max(N1 , m0 ). Поскольку N1 и m0 зависят только отε, мы имеем N = N (ε) Тогда для n > N (ε) S1 a1 + · · · + anS26−a+6 ε.nnnЛемма доказана.10(n)Теорема 1.2.

Пусть P (ξm = xj ) → pj при m → ∞, тогда M τj /n → pj .Доказательство. Положим в лемме 2 am = P (ξm = xj ) и a = pj = lim am .m→∞Из (1.26) получаем(n)nτj1 XP (ξm = xj ) = lim P (ξm = xj ) = pj .lim M= limm→∞n→∞n→∞ nnm=1(1.28)Теорема доказана.Можно показать, что если цепь Маркова имеет строго положительные финальные вероятности, то(n)τjP−→ pj ,(1.29)n→∞nв этом соотношении имеется в виду сходимость последовательности случайных ве(n)личин τj , n = 1, 2 .

. . , по вероятности.Рассмотрим физическую интепретацию полученных результатов. Предположим,что мы имеем множество (ансамбль) систем, динамика которых происходит по правилам цепи Маркова и определяется матрицей переходных вероятностей. Будемсчитать, что текущий момент времени достаточно удален от начального, и распределение уже пришло к стационарному: P (ξn = xj ) = pj для каждой из систем.Тогда в частотной интерпретации вероятность pj примерно равна доле систем, находящихся в данный момент времени в состоянии xj .Утверждения (1.28) и (1.29) говорят о том, что доля времени, которое одна фиксированная динамическая система пребывает в состоянии xj в процессе своей динамики, приблизительно равна среднему количеству систем в ансамбле, пребывающих в этом состоянии в один фиксированный момент времени.

Это свойствов физике называют эргодичностью, и мы приходим к следующему определению.Если предельные вероятности существуют и отличны от нуля, то цепь Маркованазывается эргодической.Пример 1.1. Пусть 2s частиц, из которых s черных и s белых, размещены по sштук в два сосуда А и Б. В каждый момент времени t = 2, 3, . . . в каждом сосуденаугад выбирают по одной частице, после чего выбранные частицы меняют местами.Будем говорить, что ξn = i, если после обмена в момент времени t = n в сосуде Аоказалось ровно i белых частиц, n = 1, 2, . . ., i = 0, 1, . .

. , s. Найдем вероятностиперехода за один шаг в данной цепи Маркова.Пусть в момент времени t = n система находится в состоянии i. Тогда в сосуде Анаходятся i белых частиц и n − i черных частиц, а в сосуде Б наоборот — n − i белыхи i черных частиц. Найдем вероятности тех возможных состояний, которые могутиметь место после обмена частицами.1. Если мы обменяли белую частицу из сосуда А на черную частицу из сосуда Б,то в сосуде A окажется i − 1 белых частиц.

При этом вероятность вынуть белуючастицу из сосуда А равна i/s, а вероятность вынуть черную частицу из сосуда Бравна i/s. Таким образом, вероятность обмена белой частицы на черную равна(i/s) · (i/s).112. Вероятность обмена черной частицы из сосуда А на белую частицу из сосуда Б,есть (1−i/s)·(1−i/s), при этом после обмена в сосуде А окажется i+1 белых частиц.3. Обмен частицами одного цвета (либо белого, либо черного) происходит, очевидно, с вероятностью (i/s) · (1 − i/s) + (1 − i/s) · (i/s), при этом число i белых частицв сосуде А остается неизменным.Формируем матрицу перехода. Для любых 0 6 i, j 6 s(i/s)2 ,j = i − 1,(1 − i/s)2 ,j = i + 1,.πij =2(i/s)(1−i/s),j=i,0,|j − i| > 1.Рассмотренный пример представляет модель смешивания двух несжимаемых жидкостей (модель Бернулли–Лапласа).Пример 1.2.

Показать, что в цепи Маркова события ξn−1 = xi и ξn+1 = xkнезависимы при условии, что произошло событие ξn = xj , т. е.P (ξn+1 = xk , ξn−1 = xi | ξn = xj ) = P (ξn+1 = xk | ξn = xj ) · P (ξn−1 = xi | ξn = xj ).Решение. Запишем цепочку простейших соотношенийP (ξn+1 = xk , ξn = xj , ξn−1 = xi )=P (ξn = xj )= xk | ξn = xj , ξn−1 = xi )P (ξn = xj | ξn−1 = xi )P (ξn = xj )=P (ξn = xj )P (ξn+1 = xk , ξn−1 = xi | ξn = xj ) ==P (ξn+1= P (ξn+1 = xk | ξn = xj )P (ξn−1 = xi | ξn = xj ).Говорят, что при фиксированном настоящем (т.

е. при фиксированном состоянии наn-м шаге) прошлое, (n−1)-й шаг, и будущее, (n+1)-й шаг, цепи Маркова независимы.Полезно сопоставить это факт с общей статистической зависимостью шагов цепиМаркова, если мы не фиксируем «настоящее» (см. замечание 1.2).12.

Характеристики

Список файлов лекций