Цепи Маркова (1121219), страница 74
Текст из файла (страница 74)
При предположении о том, что цепь (X m) неприводима и апериодична, энтропия положительна, а математическое ожидание в правойчасти равенства (3.3.48) отрицательно для функции g(i, j) = ln p ij .n1 Pg(Xk−1 , Xk) индикаторов 1(Xk−1 =Другой пример — это суммаn k=1= i, Xk = j) из формулы (3.3.16 б). Но функция g может зависеть отодной случайной величины: например, для I ⊂ R и g(i, j) = j нетруднозаметить, что Gk = Xk , где Xk — значение цепи в момент k. Уравнения(3.3.47) и (3.3.48) в этом случае превращаются в усиленный з.б.ч.
дляц.м.д.в. (Xm , 0 6 m 6 n):ii,j∈DСуммирование в правой части равенства (3.3.48) можно распространить на все i, j ∈ I со стандартным соглашением о том, что p ij ln(pij) = 0,если pij = 0. ВеличинаxnЗавершим этот параграф результатом, который показывает, что логарифмы функций правдоподобия тоже подчиняются з.б.ч.. Предположим,что выполнено следующее условие:Условие 3.3.8.
Если pij = 0 для некоторых состояний i, j ∈ I, тоэто равенство имеет место для любых ∈ Θ. В этом случае, если длязаданного x (приведенная) функция правдоподобия l(x, ) оказалась положительной для некоторого значения ∈ Θ, то она остается положительнойдля всех ∈ Θ. Тогда множество векторов x, для которых l(x, ) = 0,можно отбросить раз и навсегда.
Ведь оно появляется лишь с вероятностью 0 относительно распределения ц.м.д.в. P для любого∈ Θ.Оставшееся множество пар (i, j), для которых pij > 0, ∈ Θ, обозначимD; предположим также, что для любых (i, j) ∈ D переходные вероятностиpij непрерывно дифференцируемы по ∈ Θ.Теорема 3.3.9. Предположим, что матрица перехода P=∈ Θ, удовлетворяет условию (3.3.1).
Тогда для= (pij , i, j ∈ I),∈ Θ и любого начального распределенияпри n → ∞любогоимеет место следующая сходимость с P , -вероятностью 1:1Xп.н.l (X) −→ E eq [ln(pX0 X1 )] =(3.3.47)i pij ln(pij).471470n(i,j) ∈DЗдесь и далее P , обозначает вероятностное распределение ц.м.д.в.с начальным распределением и переходной матрицей P , а E eq обозначает математическое ожидание относительно инвариантноймеры . Более того, подобный факт имеет место для произвольнойnXп.н.1XXk −→ E eq [X1 ] =xnk=1x∈Ixпри n → ∞.(3.3.49)Следует заметить, что в общем случае последовательность случайныхвеличин Gk = g(Xk−1 , Xk) не образует марковской цепи или марковскойцепи высшего порядка.
Однако она является функцией ц.м.д.в. (X m) с экспоненциальным убыванием корреляций: это свойство играет ключевуюроль в доказательстве. Мы не приводим здесь доказательства теоремы3.3.9, так как оно повторяет рассуждения, приведенные выше.472Глава 3. Статистика цепей Маркова с дискретным временем§ 3.4. Функции правдоподобия, II. Формула УиттлаПридирчивы в вычислениях,В своем искусстве сильны,Да будут всегда статистикиБлистательны и умны!Студенческий фольклор§ 3.4. Функции правдоподобия, II.
Формула Уиттла473за исключением начального и конечного состояния, число переходов из любого заданного состояния равно числу переходов в это состояние. Однакоесли начальное и конечное состояния различны, выходов из начальногосостояния на единицу больше, чем входов в него, а выходов из конечногосостояния на единицу меньше, чем входов в него.
Если цепь возвращаетсяв начальное состояние, то число выходов из любого состояния равно числувходов в него.Общий подход к построению оценок максимального правдоподобияпереходных вероятностей ц.м.д.в. основан на так называемой формуле Уиттла, которая и составляет предмет изучения данного параграфа.Во избежание путаницы нам придется частично поменять обозначения,используемые до сих пор. Мы будем придерживаться терминологии, введенной в ранних работах, касающихся предмета нашего рассмотрения. x0Пусть x = ...
∈ In+1 — выборка из ц.м.д.в. (Xm) с конечным числомxnсостояний, матрицей перехода P = (pij) и начальным распределением == ( i).Пусть fij (x) — это число переходов i → j в выборке x, т. е. числомоментов времени m, 0 6 m < n, для которых xm = i и xm+1 == j. (В Pпредыдущих параграфахэта величина обозначалась n ij .) ПоложимPfi+ =fij и f+i (x) =fji (x); значения fi+ и f+i задают количестваjjвходов в состояние i и выходов из него в этой выборке x. Таким образом,получаем матричнозначную функцию x 7→ F (x) = (fij (x)). Матрица F (x)называется матрицей подсчета переходов (для заданной выборки x).Для случайной выборки X получаем случайную матрицу F (X) = (f ij (X)).Полезно также усвоить и обратную точку зрения.Определение 3.4.1.
Пусть x, y ∈ I — пара различных состояний (x 6=6= y). Пусть F = (fij , i, j ∈ I) — матрица с неотрицательными целыми элементами. Говорят, что F задает n-шаговую матрицу подсчета переходовsPдля начального состояния x и конечного состояния y, если а)fij = ni,j=1PPfij , f+i =fji ,и б) в предыдущих обозначениях fi+ =jjfi+ − f+i = 0, для любого i ∈ I, кроме i = x и i = y,где fx+ − f+x = 1 и fy+ − f+y = −1.Рис. 3.4Пример 3.4.2. Зафиксируем x ∈ I. Пусть матрица F = (fij , i, j ∈ I)с неотрицательными целочисленными элементами удовлетворяет соотношениям(3.4.2)fi+ − f+i = ix − iy , i = 1, .
. . , s,для некоторого заданного y = 1, . . . , s. Докажите, что y — единственнаяточка из I, для которой имеет место соотношение (3.4.2).Решение. Проведем доказательство от противного. Предположим, чтодва состояния y и w удовлетворяют соотношению (3.4.2).
Если x 6= y, тоfy+ − f+y =yx−yy= −1 и fy+ − f+y =Для x = y это определение нужно слегка подправить: f i+ − f+i == 0 ∀ i ∈ I, и, кроме того, fx+ > 1 и f+x > 1. См. рис. 3.4. Таким образом,−yw=−yw ,откуда следует равенство y = w. Если x = y, тоfi+ − f+i =ix−ix= 0 и fi+ − f+i =ix−iw ,i = 1, . . . , s.Таким образом,ix(3.4.1)yx=iw ,и w = x = y.Теперь мы хотим подсчитать число траекторий, совместимых с заданнойматрицей подсчета переходов.474Глава 3. Статистика цепей Маркова с дискретным временемПример 3.4.3.
Пусть I = {1, 2, 3}. Рассмотрим матрицу!F=0 1 10 0 11 0 0P (X0 = x0 , . . . , Xn = xn) =x0f(n)(F) =Nxyfi+ ! !Qϕ−(x,y) .fij !i(3.4.3)ij−−Здесь ϕ−(x,y) обозначает (x, y) — кофактор в матрице F = (fij ), которыйопределяется следующим образом:x+yϕ−(det(fij−) i6=x,j6=y),(x,y) = (−1)(3.4.4 а)где элементы fij− матрицы F − равныfij−=(ij− fij /fi+ ,ij ,если fi+ > 0,если fi+ = 0,i, j = 1, . . . , s.(n)P (Xn = y, F (X) = F | X0 = x) = pxyY(n)x pxy(n)откуда следует, что матрица подсчета переходов F (X), сама по себе илисовместно с начальным состоянием x0 , образует достаточную статистику.Чтобы найти распределение статистики F (X) (т.
е. совместное распределение элементов fij (X)), нам нужно подсчитать число выборок x с траекториями, совместимыми с заданной n-шаговой матрицей подсчета переходов F.С этой целью для заданных x, y ∈ I рассмотрим F = (fij) — n-шаговую(n)матрицу подсчета переходов с x0 = x и xn = y и обозначим через Nxy (F)число таких выборок x ∈ I n+1 , что F = F (x). Прямые (хотя и громоздкие)комбинаторные подсчеты, выполненные далее, приводят к формуле(3.4.4 б)Уравнение (3.4.3) означает, что для заданной n-шаговой матрицы подсчета переходов F = (fij) с x0 = x, xn = y условная вероятность того, чтоfij !ijf i+ !iϕ−(x,y) ,YY pfijij fij !ijf i+ !ii,j∈IQY pfijij (3.4.5 а)подобным образом выглядит и условная вероятностьP (X0 = x, Xn = y, F (X) = F) =pijij ,f i+ !iа безусловная вероятность равнаfpijij ,i,j∈IYYP (F (X) = F | X0 = x, Xn = y)Она задает четырехшаговую матрицу подсчета переходов с начальнымсостоянием 1 и конечным состоянием 3.Напомним, что распределение вероятностей ц.м.д.в.
(X m) имеет видP (X1 = x1 , . . . , Xn = xn | X0 = x0) =475F (X) = F при условии X0 = x и Xn = y равна.sY§ 3.4. Функции правдоподобия, II. Формула Уиттлаϕ−(x,y) ,Y pfijij ijfij !ϕ−(x,y) .(3.4.5 б)(3.4.5 в)Здесь pxy обозначает n-шаговую переходную вероятность из x в y. Уравнения (3.4.5 а–в) называются формулами Уиттла.Пример 3.4.4. Для матрицы F из примера 3.4.3 формула Уиттла даетрезультат(4)N13 = 2! det(4)(4)−1/2 −1/2= 2.1−1С другой стороны, N23 = N33 = 0, потому что матрица подсчета переходовF несовместима ни с парой (2, 3), ни с парой (3, 3).
Значит, к этим парамформулу Уиттла применять нельзя.Это приводит нас к такому определению.Определение 3.4.5. Пусть x, y ∈ I — заданные состояния (не обязательно различные), а n — натуральное число. Обозначим через B (n, x, y)множество матриц F = (fij) с целочисленнымиP элементами fij , i, j ∈ I,удовлетворяющих следующим условиям: а)fij = n, б) fi+ − f+i =i,j∈I= ix − iy , i ∈ I; при этом если x = y, то fx+ > 1 и f+x > 1. Иными словами,матрицы F ∈ B (n, x, y) — это n-шаговые матрицыS подсчета переходов приx0 = x и xn = y.
Далее, положим B (n, x) =B (n, x, y), что дает всеy∈In-шаговые матрицы подсчета переходов при x0 = x. (Заметим, что призаданном x множества B (n, x, y) не пересекаются для различных y ∈ I.)Теперь пусть P = (pij , i, j ∈ I) — переходная матрица. РаспределениеУиттла с параметрами (P, n, x, y) — это вероятностное распределение наB (n, x, y), которое приписывает матрице F ∈ B (n, x, y) вероятность(F) =Yif i+ !Y pfijij ijfij !ϕ−(x,y) .(3.4.6 а)476Глава 3. Статистика цепей Маркова с дискретным временемДалее, распределение Уиттла с параметрами (P, n, x) образует вероятностное распределение на B (n, x), которое приписывает матрицеF ∈ B (n, x, y) вероятностьYY pfijij § 3.4.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
