Цепи Маркова (1121219), страница 71
Текст из файла (страница 71)
Пусть Amn —это событие, на котором |Ui − V | 6 1/m ∀ i > n. По определениюmm): Amсобытия Amn возрастают с ростом n (при фиксированном Sn ⊆ An+1 .mmmmСледовательно, P (An ) 6 P (An+1). Объединение A =An представn>1ляет собой событие, на котором |Un − V | 6 1/m при всех достаточнобольших n, и P (Am) = lim P (Amn ). Следовательно, для любых m > 1n→∞mи > 0 существует такое n0 (m, ), что P (Am \ Amn0 (m, ) ) < /2 .
Тогда мыположимT mA =An0 (m, ) .m>1Если x ∈ A , то по определению |Ui (x) − V (x) | 6 1/m ∀ m > 1при i > n0 (m, ), т. е. |Un − V | сходится к 0 равномерно на A . Далее,P (Am) = 1, поскольку Un → V почти наверное (это условие впервые используется в этом доказательстве). Следовательно, для дополненияmcBmn0 (m, ) = (An0 (m, ) ) можно записатьmmP (Bmn0 (m, ) ) = P (A \ An0 (m, ) ) <n>mубывают по вероятностис возрастанием m: Bm+1 ⊆ Bm . Следовательно,Tпересечение B =Bm должно иметь вероятность P (B) = 0, так какmP (B) 6 P (Bm) для любого m.
Это пересечение состоит из точек, принадлежащих бесконечному числу событий Ac1/n2 , следовательно, дополнениеBc образуют точки, принадлежащие лишь конечному числу событий A c1/n2 .Иными словами, Bc состоит из точек, принадлежащих A1/n2 при всех достаточно больших n. Таким образом, для любой точки x из B c справедливонеравенство|Un (x) − V (x) | 61для всех n, начиная с некоторого n0 (x).n24532m.Но нам необходимо оценить P (A ), а нетрудно заметить, что для дополнения B = Ac имеет место оценкаP (B ) = P Sm>1Bmn0 (m,)6Pm>1P (Am \ Amn0 (m, ) ) <Pm>12m= .Этим доказательство теоремы завершается.Теорема Егорова проясняет соотношение между сходимостями по вероятности и почти наверное. А именно, из этой теоремы следует, что если{Un } сходится к V почти наверное, то эта последовательностьсходится к тому же пределу и по вероятности. Для доказательстварассмотрим то множество B вероятности 0, на котором сходимости нет.454Глава 3.
Статистика цепей Маркова с дискретным временемДля заданного> 0 положимk>nR( ) =n>1для некоторого k > n,Cn ( ) = событие, состоящее в том, что |Uk − V | >для бесконечно многих k.Тогда имеют место следующие соотношения:а) R( ) ⊆ B, следовательно, P (R( )) = 0;б) P (R( )) = lim P (Cn ( )), поскольку Cn+1 ( ) ⊆ Cn ( ); значит,n→∞P (Cn ( )) → 0;в) Bn ( ) ⊆ Cn ( ), откуда следует, что P (Bn ( )) → 0 при n → ∞, а этои означает сходимость по вероятности.Обратная импликация, однако, места не имеет; см. примеры 3.3.4и 3.3.5.Пример 3.3.4.
Следующий достаточно популярный класс примеровдемонстрирует нам, что последовательность с.в., сходящаяся по вероятности, не обязательно сходится почти наверное. Рассмотрим единичныйполуинтервал [0, 1) с равномерным распределением и положим1, если i − 1 6 x < i ,kkгде i = 1, . . . , k, k = 1, 2, . . .Uk,i =0 в противном случае,Далее, рассмотрим последовательностьU1,1 , U2,1 , U2,2 , U3,1 , U3,2 , U3,3 , U4,1 , . . .Эта последовательность сходится к 0 по вероятности, так какP (|Uk,i | > ε) = P (Uk,i = 1) =455двух бросков возможны четыре исхода: 11, 10, 01 и 00, после трех — восемьи т.
д. Теперь положимBk ( ) = событие, состоящее в том, что |Uk − V | > ,SCn ( ) =Bk ( ) = событие, состоящее в том, что |Uk − V | >T§ 3.3. Состоятельность оценок. Различные виды сходимости1→ 0 при k → ∞ ∀ 0 < ε < 1.kОднако данная последовательность не сходится к 0 почти наверное.Действительно, она не сходится к 0 ни в одной заданной точке x, и, значит,и речи о сходимости почти наверное быть не может.
В самом деле, длялюбого x ∈ [0, 1) и любого k > 1 существует такое i, что U k,i (x) = 1.Этот пример допускает интересную и далеко идущую интерпретацию.Рассмотрим последовательные подбрасывания симметричной монеты: после первого броска возможны два исхода: 1 (гербы) и 0 (решетки), после≡ 1,= 1(первый бросок привел к 1),= 1( первый бросок привел к 0),= 1( 2 первых броска привели к 11),= 1(2 первых броска привели к 10),= 1(2 первых броска привели к 01),Y7 = 1(2 первых броска привели к 00),Y8 = 1(3 первых броска привели к 111),Y9 = 1(3 первых броска привели к 110)Y1Y2Y3Y4Y5Y6и т.
д. Иными словами, мы а) перечисляем все возможные исходы произвольного (но конечного) числа бросков в определенном порядке, а затем б)полагаем Yn равным индикатору исхода с порядковым номером n. Порядокномеров выберем следующим образом. Упорядочим исходы n бросков (т. е.цепочки из 1 и 0 длины n) перед исходами n + 1 бросков.
При фиксированной длине n расположим исходы n бросков (цепочек из 1 и 0 длины n)в лексикографическом порядке, начиная с 11 . . . 11, затем следует 11 . . . 10,затем 11 . . . 01 и т. д.Таким образом, общий член последовательности, Y n задает индикаторисхода с номером (n − 2m(n) + 1) последовательности из [log2 n] бросков,где m(n) = [log2 n] обозначает целую часть log2 n. Иными словами, мыразбиваем множество натуральных чисел n = 1, 2, . . .
на непересекающиеся «блоки», где m-й блок начинается числом 2m и заканчивается числом2m+1 − 1 (оба числа входят в этот блок), m = 1, 2, . . . Затем сопоставляем номеру n из m-го блока (n − 2m + 1)-ю двоичную цепочку длиныm и полагаем Yn равным индикатору в точности одного сопоставленногоисхода. При этом последовательность (Yn) сходится к 0 по вероятности.Действительно,P (|Yn | > ε) = P (Yn = 1) =1→ 0 при n → ∞ ∀ ε > 0.2 [log2 n]В то же время, последовательность Yn не сходится к 0 почти наверное.
В самом деле, можно формально рассматривать Y n как функциюрезультата (исхода) бесконечного числа бросков, зависящую только отпервых m(n) = [log2 n] бросков. Результат бесконечного числа бросковбудет, в свою очередь, бесконечной цепочкой из единиц и нулей, и этиnP (|Xn | > ε) = pn → 0.
Однако в силу леммы Бореля—Кантелли Xn несходится к 0 почти наверное.Используем эти факты при анализе оценок максимального правдоподобия. Напомним, что ОМЛ ∗ = ∗n (x) определяется как значение, при∈ Θ, достигают максимумакотором функция L(x, ) или l(x, ), где(см. формулу (3.2.5)).
На самом деле мы будем, что равносильно, искатьмаксимум соответствующих логарифмов функции правдоподобия L (x, ) == ln L(x, ) или l(x, ) = ln l(x, ):∈ Θ] или b∗ = argmax[l(x, ),b∗ = argmax[L (x, ),= 0 и 0j ≡ 1 для всех j > j0 . Но эта двусмысленность не повлияет наконструкцию в целом, поскольку любая отдельно взятая точка имеет меруЛебега 0. 1Графически, берем ступенчатую функцию (т. е.
одну ступеньку) 0, m2длины 1/2m , затем передвигаем интервал вправо с шагом 1/2m , пока онне займет крайнее правое положение (понадобится в точности 2 m передвижений), а затем делим длину интервала пополам и продолжаем ту жепроцедуру.Так или иначе, на этой картинке сходимость почти наверное означает,что всюду, кроме множества лебеговой меры 0, выполняется равенствоYn (x) = 0 для всех достаточно больших n. Но на самом деле имеет место0j0pn = P (Xn = 1) = 1 − P (Xn = 0),Pи предположим, что pn → 0, ноpn = ∞.
Тогда, как и ранее,j>1k+1Желая сделать наши рассуждения более точными и корректными, мыдолжны добавить к единичному отрезку счетное число точек, посколькувозникает проблема с диадическими числами x ∈ (0, 1) вида x = 1 /2,или x = 3/4, или в общем случае x = k/2m , где 1 6 k 6 2m − 1, m == 1, 2, . . .
(т. е. в точности с теми точками, где возникают вертикальныеотрезки на построенном графике). А именно, если x — диадическое число,то существует такое j0 , что j0 = 1, но j ≡ 0 для всех j >Pj0 . Однако0 jтакие x могут также быть представлены в виде суммы =j /2 , гдеРис. 3.2между точками (n − m(n))2−m(n) и (n − m(n) + 1)2−m(n) , и Yn (x) = 0 дляx ∈ [0, 1] , находящихся вне этого отрезка.
См. рис. 3.2.kлюбого m число x рано или поздно попадет в интервал, mдлины2m22 −m .Подбрасывания монеты — это пример ц.м.д.в. с двумя состояниямии всеми переходными вероятностями, равными 1 /2; поэтому можно обозначить меру Лебега на [0, 1] символом P 1/2,1/2 . Но подобная конструкцияработает, если рассмотреть ц.м.д.в. общего вида с двумя состояниями(Xn), находящуюся в равновесии, с переходной матрицей (3.1.9), где 0 << p, q < 1. Разница будет в том, что если p 6= 1/2 6= q, то вместо«замечательного» равномерного распределения на единичном отрезке мыпридем к «сингулярной» мере P p,q , порожденной ц.м.д.в. Здесь «сингулярность» означает, что существует такое разбиение единичного отрезкана непересекающиеся множества A и B (т.
е. представление [0, 1] = A ∪ B,A ∪ B = ∅), что обе вероятности P 1/2,1/2 (B) и P p,q (A) нулевые. Эту картинунельзя упростить, предполагая, что p + q = 1 (тот случай, когда (X n)образует последовательность н.о.р.с.в.). В самом деле, меры P p,q и P p0 ,q0становятся взаимно сингулярными в смысле, указанном выше, как только(p, q) 6= (p0 , q0). Заметим, однако, что меры Pp,q на [0, 1] имеют не меньше«физического» смысла, чем мера Лебега P 1/2,1/2 : они возникают во многихситуациях, как в теории, так и в приложениях.Пример 3.3.5.
Более короткий, но, пожалуй, менее поучительный пример того, что из сходимости по вероятности не следует сходимость почти наверное, возникает в связи с последовательностью независимых, нонеодинаково распределенных с.в. X1 , X2 , .
. . Пустьj>1457противоположный факт: если x ∈ [0, 1] не диадическое число, то Y n (x) = 1для (некоторых) неограниченно больших n. Так получается потому,что дляцепочки (а их континуум) заполняют единичный отрезок [0, 1] , снабженный равномерным вероятностным распределением (т. е. мерой Лебега на[0, 1]). Соответствие x ↔ ( 1 2 . . .) между точкой x ∈ [0, 1] и двоичной последовательностью ( 1 2 . . .), j = 0 или 1, устанавливается спомощьюпредставления (или двоичного разложения) числа x:P двоичногоj−m(n).ТогдаY2x=/jn (x) = 1 для x, находящихся на отрезке длины 2§ 3.3.
Состоятельность оценок. Различные виды сходимостиГлава 3. Статистика цепей Маркова с дискретным временем456∈ Θ] .(3.3.11)Далее в этом параграфе под Θ будем понимать произвольную областьв RM , где RM — множество размерности не более s2 − 1 (ср. с формулой458Глава 3. Статистика цепей Маркова с дискретным временем(3.1.5)). В частности, будем рассматривать случай, когда Θ = R, где R —множество размерности s2 − 1, как в формуле (3.1.5), или Θ = P , где P —множество размерности s2 − s, как в формуле (3.1.7). Предположим, чтовероятности pij зависят от ∈ Θ гладким образом, и рассмотрим уравнения 1 ∂∂=x0pxk−1 xk =∂x0X+nij (x)i,jи1 ∂p =0pij ∂ ijpxk−1 xkk=1∂1n X∂x0+x0 1 ∂∂L (x, ) =∂(3.3.12)§ 3.3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
