1625915143-9358bde957c0693ae60a95b83ad382f6 (843873), страница 21
Текст из файла (страница 21)
Покажем, что в этом случае Pj (z) → ∞ при z % 1.Действительно,PN для любого как угодно большого числа M можно найтиP∞ число Nтакое, что n=1 pjj (n) ≥ 2M . Это следует из расходимости ряда Pj = n=1 pjj (n).Для положительных чисел z, достаточно близких к 1, будет выполняться z N ≥ 1/2иNNXXnPj (z) ≥pjj (n)z ≥pjj (n)z N ≥ M.n=1n=1Итак, раз Pj (z) → ∞, то Qj (z) → 1, это следует из первого равенства в (5). Посколькуфукнкция Qj (z) непрерывна в точке z = 1, то при z → 1Qj (z) → Qj (1) = Qj = 1,то есть состояние возвратно.100Обратно, пусть Qj = 1. Тогда опять в силу непрерывности Qj (z) → Qj (1) = 1при z → 1, а значит Pj (z) → ∞ — это следует из второго равенства в (5). Отсюдаследует, что Pj = ∞, поскольку в противном случае рядPj (z) =∞Xpjj (n)z nn=1сходился бы при |z| ≤ 1 и был бы непрерывной функцией в точке z = 1, то есть былобы Pj (z) → Pj (1) < ∞, что невозможно.Pj.
Теорема доказана.Если Pj < ∞, то при z = 1 получаем из (5) Qj =1 + PjОпределение. Состояния Ei и Ej называются сообщающимися, если pij (m) > 0и pji (k) > 0 при некоторых m ≥ 1 и k ≥ 1.Теорема солидарности. Сообщающиеся состояния одновременно оба возвратны или оба невозвратны.Доказательство. Пусть для состояний Ei и Ej выполняется pij (m) > 0 и pji (k) > 0при некоторых m ≥ 1 и k ≥ 1.
Тогда при n ≥ 1pii (n + m + k) ≥ pij (m)pjj (n)pji (k), pjj (n + m + k) ≥ pji (k)pii (n)pij (m),PP∞поэтому ряды ∞n=1 pii (n) иn=1 pjj (n) сходятся или расходятся одновременно.10.3.Эргодическая теоремаМы видели, что цепи Маркова могут рассматриваться в качестве математическихмоделей, которые описывают эволюцию во времени того или иного объекта. Дляприложений очень важно бывает выяснить условия, при которых объект с течениемвремени впадает в стационарный режим, то есть он по-прежнему может находитьсяв разных состояниях, но вероятности P(Xn = j) перестают зависеть от n.
Теоремы,устанавливающие условия сходимости к стационарному режиму, обычно называютэргодическими. Мы рассмотрим одну из них.Теорема (эргодическая). Пусть цепь Маркова имеет конечное число r состояний, и при некотором n0 ≥ 1 все элементы pij (n0 ) матрицы Pn0 положительны.Тогда существуют пределыlim pij (n) = pj ,i, j = 1, . . . , r.n→∞Предельные вероятности pj не зависят от начального состояния i и являютсяединственным решением системыrXpk pkj = pj ,j = 1, . . . , r,rXpj = 1.(6)j=1k=1Замечание.
Если выполнены условия теоремы, то поведение цепи с течениемвремени действительно стабилизируется: для каждого j = 1, . . . , rπjn= P(Xn = j) =rXπi0pij (n) →rXi=1i=1101πi0 pj = pj .По этой причине совокупность вероятностей {p1 , . . . , pr } называется стационарным распределением цепи. Если его взять в качестве начального распределения, тоесть положить πj0 = pj , j = 1, . . .
, r, то из (6) будет следовать, что вектор вероятностей π 1 совпадает с π 0 , а значит и с π n при всех n ≥ 1. Это соответствует тому, чтос самого начала цепь будет находиться в стационарном режиме.Доказательство. ОбозначимMk (n) = max pik (n),mk (n) = min pik (n).iiПоскольку mk (n) ≤ pik (n) ≤ Mk (n) для всех i, то из соотношенийpik (n + 1) =rXpil plk (n),mk (n)rXl=1pil ≤l=1rXpil plk (n) ≤ Mk (n)l=1rXpill=1следует, что mk (n) ≤ pik (n + 1) ≤ Mk (n) при всех i.
Отсюда заключаем, чтоmk (n) ≤ mk (n + 1) ≤ Mk (n + 1) ≤ Mk (n).Таким образом, существуют пределы последовательностей mk (n) и Mk (n)при n → ∞. Докажем, что эти пределы совпадают.Пусть индексы i и j таковы, чтоpik (n + n0 ) = Mk (n + n0 ),pjk (n + n0 ) = mk (n + n0 ).Из равенства Pn+n0 = Pn0 Pn следуетMk (n + n0 ) = pik (n + n0 ) =rXpil (n0 )plk (n),l=1mk (n + n0 ) = pjk (n + n0 ) =rXpjl (n0 )plk (n).l=1Вычитая одно равенство из другого, получимMk (n + n0 ) − mk (n + n0 ) =rX(pil (n0 ) − pjl (n0 ))plk (n).l=1Пусть A = {l : pil (n0 ) − pjl (n0 ) ≥ 0}, B = {l : pil (n0 ) − pjl (n0 ) < 0}.
Очевидно,множество A не пусто. ТогдаXXMk (n + n0 ) − mk (n + n0 ) =(pil (n0 ) − pjl (n0 ))plk (n) +(pil (n0 ) − pjl (n0 ))plk (n)≤ Mk (n)Xl∈A(pil (n0 ) − pjl (n0 )) + mk (n)l∈A= (Mk (n) − mk (n))XXl∈B(pil (n0 ) − pjl (n0 ))l∈B(pil (n0 ) − pjl (n0 )).l∈AЗдесь мы воспользовались тем, чтоXX(pil (n0 ) − pjl (n0 )) = −(pil (n0 ) − pjl (n0 )),l∈Bl∈A102посколькуrX(pil (n0 ) − pjl (n0 )) = 0 =l=1X(pil (n0 ) − pjl (n0 )) +l∈Bl∈AОбозначимdij =X(pil (n0 ) − pjl (n0 )).X(pil (n0 ) − pjl (n0 )).l∈AИз условия теоремы следует, что dij < 1 при всех i, j, поэтому d = max dij < 1.i,jТаким образом, мы приходим к неравенству: для всякого n ≥ 1Mk (n + n0 ) − mk (n + n0 ) ≤ d(Mk (n) − mk (n)).Теперь будем устремлять n к бесконечности.
Каждое число n можно представить ввиде n = sn0 + u, здесь s = [n/n0 ], 0 ≤ u < n0 , и s → ∞, если n → ∞. Поэтому0 ≤ Mk (n) − mk (n) ≤ Mk (sn0 ) − mk (sn0 ) ≤ d(Mk ((s − 1)n0 ) − mk ((s − 1)n0 ))≤ . . . ≤ ds−1 (Mk (n0 ) − mk (n0 )) ≤ ds−1 → 0при n → ∞.Напомним, что mk (n) ≤ pik (n) ≤ Mk (n), значит, при всех i вероятности pik (n)сходятся к одному и тому же пределу pk при n → ∞.Далее, переходя в равенствеpij (n + 1) =rXpik (n)pkjk=1к пределу при n → ∞, получимpj =rXpk pkj .k=1PrPКроме того, j=1 pij (n) = 1. Переходя к пределу при n → ∞ получаем rj=1 pj = 1.Нам осталось доказать, что числа {p1 , .
. . , pr } являются единственным решением указанной системы уравнений.Предположим,что нашелся другой вектор x =PP(x1 , . . . , xr ), для которогоxj = 1 и xj = rk=1 xk pkj , j = 1, . . . , r. Последнее означает, что x = xP = xP2 = . . . = xPn для любого n ≥ 1. В покоординатной записи этовыглядит так:rXxj =xk pkj (n).k=1Переходя в этом равенстве к пределу при n → ∞, получимxj =rXxk pj = pj .k=1Теорема доказана.Если задана матрица P вероятностей перехода, то для проверки условия теоремы нужно искать показатель степени n0 , при котором все элементы матрицы Pn0отличны от нуля. Возведение матрицы в степень является весьма трудоемкой операцией. Ее можно избежать, если воспользоваться простой графической иллюстрацией.103По матрице P можно построить диаграмму, в которой состояния изображаются отдельными точками, а наличие положительной вероятности перехода из состояния всостояние показывается стрелочкой.
Пусть, к примеру, r = 4,1/2 1/2 00 0010 P= 1/3 0 1/3 1/3 .0010Построим диаграмму.1 d®¾Hjd 2dys Nd ¼43Нетрудно видеть, что из каждого состояния за 3 шага можно с положительной вероятностью перейти в любое из четырех состояний, то есть условие теоремы выполняется для n0 = 3.11.Ветвящиеся процессыРассмотрим несколько примеров ветвящихся процессов.1. Цепная реакция. Пусть имеется частица, которая в определенный момент времени распадается на некоторое случайное число новых частиц, каждая из которых,в свою очередь, ведет себя так же.2.
Распространение эпидемии. Больной заражает некоторое случайное число других людей, каждый из которых также является источником инфекции и заражаетдругих людей.3. Развитие биологической популяции, состоящей, к примеру, из одноклеточных,которые размножаются по определенному закону.В этом разделе мы рассмотрим одну из простейших математических моделейветвящихся процессов.Предположим, что в момент времени n = 0 имеется всего одна частица (отнесем ее к нулевому поколению), которая в некоторый момент времени в результатеактаP∞ деления переходит в k частиц того же типа с вероятностью pk , k = 0, 1, . .
.,k=0 pk = 1. Полученные частицы образуют первое поколение. Каждая из частицэтого поколения ведет себя точно так же, независимо от предыстории и судьбы других частиц. В результате мы получаем второе поколение, и т.д.b¡¢@A¡b b¢ Ab@b¤ ¤¤C @ACQQ¤¤¤Cb b¤ b¤b¤ Cb CCAbA@b@QbQ b©¢@BA@©¡¢ A B¡¢ A B¢ B@A@104n=0n=1n=2Будем считать для простоты, что каждая частица живет единицу времени. Обозначим Yn число частиц в n-м поколении, n = 0, 1, . . ., Y0 = 1.Пусть имеются независимые последовательности независимых случайных вели(1)(2)чин {Xn }, {Xn }, .
. ., n ≥ 1, где при всех j и nP(Xn(j) = k) = pk ,k = 0, 1, . . . .(j)(j)Смысл их введения состоит в следующем: случайные величины X1 , X2 , . . . равнычислу потомков частиц из (j − 1)-го поколения, эти потомки формируют j-е поколение. Последовательность Yn можно представить в видеY0 = 1,(1)Y1 = X 1 ,(2)(2)Y2 = X1 + . . .
+ XY1 ,..................(n)(n)Yn = X1 + . . . + XYn−1 .Таким образом, мы построили модель простейшего ветвящегося случайного процесса(в литературе такие модели получили название процессов Гальтона-Ватсона). Последовательность Yn является цепью Маркова, однако матрица переходных вероятностей для нее трудна для вычислений, поэтому для исследования ветвящихся процессов разработаны свои собственные методы. Обычно интересуются распределениемчисла частиц в n-м поколении, его предельным поведением при n → ∞, вероятностью вырождения процесса в какой-то момент времени.Весьма удобным инструментом исследования ветвящихся процессов являютсяпроизводящие функции.Пусть∞X(1)(1)z k P(X1 = k), |z| ≤ 1,g(z) = E z X1 =k=0— производящая функция потомства одной частицы (не важно, какой именно; слу(j)чайные величины Xn одинаково распределены) и пусть gn (z) означает n-ю итерациюфункции g(z), то естьg1 (z) = g(z), g2 (z) = g(g(z)), . .
. ,gn (z) = g(gn−1 (z)) = gn−1 (g(z)).Следующая теорема устанавливает вид производящей функции числа частиц вn-м поколении.Теорема. Для любого n ≥ 1E z Yn =∞Xz k P(Yn = k) = gn (z).k=0Доказательство. Воспользуемся методом математической индукции.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
