Цепи Маркова (1121219), страница 70
Текст из файла (страница 70)
P. 29–35.16k6n X > ε = P 1Xk − nn16k6n>ε 62 X 1 X16 2 2 EXk − n= 2 2 VarXk =n εn ε16k6n=16k6n 1 Xn 2 ε216k6n∈ Θ (и X1Xk −P nдля суммы н.о.р.с.в. X1 , X2 , . . . с конечным средним = EXk и конечнойдисперсией Var Xk = 2 . Это следует из неравенства Чебышёва:Возникает тонкий вопрос, связанный с этим пределом. Выборка X n = X0.. =является случайной, и ее распределение P зависит от.Xnn1XPXk −→n(3.3.1)lim bn (Xn) = .n→∞3 См.lim P (|Un − V | < ε) = 1.n→∞Этот параграф посвящен вопросу, который определенно носит болеевероятностный, чем статистический характер и который будет появлятьсяв последующих томах.
Однако мы полагаем, что соответствующие понятияследует ввести уже сейчас. Одно из хороших свойств о.м.п., уже упоминавшееся прежде, это состоятельность. Оценка bn (xn) параметра называетсясостоятельной, если она сходится к «истинному» значению параметрапри неограниченном возрастании выборки:Var Xk =2nε 2.(3.3.3)16k6n=E16k6n(Xk − )2= Var Xk =Xj∈I(j − ) 2 j .2eqгдеXj∈Iji∈IXi2eq ,и+i∈IXj∈I=Xj∈Ij∈I(j − ) 2(j − ) 2(k)i pijXXi[ ji∈Ii ij (k)6i∈I+2eqij (k)]=+ s(1 − ) k−1 A21 ,A1 = max[|j − | : j ∈ I] .где(j − ) 2X=j∈I(j − )2j∈IXВ общем случае эта величина также имеет порядок O(n).
В самом деле,XXE (Xk − ) 2 =(j − ) 2 P (Xk = j) =(j − ) 2 ( Pk) j == A21 sXk>1Тогда(1 − ) k−1 =A21 s=21Обозначим.Σ1 6 21 n + .Рассмотрим вторую сумму:XΣ2 =1(k1 6= k2) E [(Xk1 − ) (Xk2 − )] =(3.3.8)16k1 ,k2 6n=2X X16k6n l>11(1 6 k + l 6 n) E [(Xk − ) (Xk+l − )] . XXk − n22eq ,Σ1 = nи E (Xk − ) 2 не зависит от k=E Xи достаточно проверить, что математическое ожидание в правой части неине зависят от n (в случаепревосходит 2 n + , где постоянныен.о.р.с.в. мы получаем равенство, и = ).ЗапишемЕсли цепь находится в равновесии, тои равно дисперсии Xk . Тогда(3.3.6)16k6n(3.3.7)16k6n 2 X1>ε 6EX−n,kn 2 ε21(k1 6= k2) (Xk1 − ) (Xk2 − ) .16k6n X1Xk −P nПервую сумму можно представить в видеXΣ1 =E (Xk − ) 2 .(3.3.5)см. соотношение (1.9.14) в теореме 1.9.3.Это, конечно, охватывает случай н.о.р.с.в.
(когда матрица P простосостоит из повторяющихся строк, совпадающих с ), но не сводится толькок этому случаю.Как и ранее, в силу неравенства Чебышёва получаем16k1 ,k2 6nn−1;ij (n) | 6 (1 − )Xij (n), где |j++E=pij(n) =16k6n= ( i) — инвариантное распределение для рассматриваемой цепи.гдеЕсли предположить, что ц.м.д.в. неприводима и апериодична, то инвариантное распределение единственно и цепь приближается к нему с возрастанием времени: P (Xn = j | X0 = i) = pij(n) → j и P (Xn = j) = ( Pn) j → jпри n → ∞ для любых i, j ∈ I и любого вектора начальных вероятностей .Более того, сходимость происходит с геометрической (экспоненциальной)скоростью:16k6nj∈I16k6nпредположения должны охватывать случай, когда (X n) являются н.о.р.с.в.,но не ограничиваться только им.Решение.
Выглядит заманчивым провести аналогичные рассужденияи для случая, когда (Xm) является ц.м.д.в. Предположим, что цепь имеетконечное пространство состояний I, #I = s, матрицу перехода P = (p ij)= ( i). Что же нам взять в качестве ?и начальное распределениеявляется среднее значениеЕстественным кандидатом для постояннойE (Xk) в равновесии:X= eq =j j,(3.3.4)449и разложим X2 XE(Xk − ) = E(Xk − ) 2 +Пример 3.3.2.
Пусть (Xm) — ц.м.д.в. При соответствующихпредпоPложениях сформулируйте и докажите слабый з.б.ч. дляXk . Ваши§ 3.3. Состоятельность оценок. Различные виды сходимостиГлава 3. Статистика цепей Маркова с дискретным временем448450Глава 3. Статистика цепей Маркова с дискретным временемОбщий член представляется в виде=Pj∈Ij∈Ij j−jXi,j∈Ij+ij (l)]=(i − ) (j − ) ( Pk) i+(j − )jXij (l).= 0 в силу выбора .
Таким образом,| E [(Xk − ) (Xk+l − )] | 6 A21 (1 − ) l−1 ,j∈I(j − )i,j∈I(i − ) (j − ) ( Pk) i [PXЗаметим, чтоi∈I(i − ) ( Pk) i(l)X=i,j∈I(i − ) (j − ) P (Xk = i, Xk+l = j) =(i − ) (j − ) ( Pk) i pij =X=i,j∈IXE [(Xk − ) (Xk+l − )] =l>1| E [(Xk − ) (Xk+l − )] | 6 n 22 ,(3.3.9)= 2A21 s/ . Следовательно,16k6n21+22)n+ ,6(Xk − n2E X22Xгде|Σ2 | 6 2nичто и требовалось показать.
Числа 1 , 2 и были определены выше. Это PPXk n −→ .и устанавливает слабый з.б.ч.16k6nОпределение 3.3.3. Случайные величины Un сходятся почти наверное, или с вероятностью 1, при n → ∞ к постоянной v, еслиP lim Un = v = P lim |Un − v| = 0 = 1.(3.3.10 а)n→∞n→∞Иными словами, множество, где сходимость Un → v не имеет место, имеетвероятность нуль.Как и ранее, это определение немедленно распространяется на общийслучай сходимости к случайной величине. А именно, U n сходится почтинаверное к случайной величине V, еслиP lim Un = V = P lim |Un − V | = 0 = 1.(3.3.10 б)n→∞n→∞п.н.п.н.Сходимость почти наверное (п.н.) обозначают так: U n −→ v и Un −→ V.§ 3.3.
Состоятельность оценок. Различные виды сходимости451Очевидный пример, когда нет сходимости всюду, а имеет место толькосходимость почти наверное, это последовательность функций U n (x) == (−x) n , где x — точка единичного отрезка [0, 1] , т. е. 0 6 x 6 1. Еслиn → ∞, то Un (x) → 0 при 0 6 x < 1, но не при x = 1. Таким образом,если мы рассмотрим равномерное распределение на единичном отрезке,то сходимость Un → 0 имеет место с вероятностью 1, но не имеет местосходимость всюду. Ясно, что равномерное распределение можно заменитьлюбым другим вероятностным распределением на [0, 1] при условии, чтооно имеет плотность f(x), 0 6 x 6 1.В сущности, если вероятностное распределение P сосредоточено наконечном или счетном множестве исходов, в понятии сходимости п.н.
нетнеобходимости. В этом случае мы с самого начала можем предположить,что все рассматриваемые исходы имеют строго положительные вероятности, и сходимость п.н. сводится к сходимости всюду. Сходимость п.н.начинает играть важную роль, когда множество исходов представляет собой континуум, хотя и рассматриваемые величины U n могут приниматьконечное число значений (например, только 0 и 1). С этой точки зренияпример единичного отрезка с равномерным распределением оказываетсяособенно удобным. Это распределение соответствует знаменитой мере Лебега на [0, 1] — объекту пристального внимания в теории меры.Эта книга не предполагает знание курса теории меры, хотя, конечноже, такие знания, даже и не в полном объеме, определенно помогли бычитателю.
Иными словами, мы избегаем явных ссылок на такие понятия, как измеримость и интегрируемость. Взамен мы объявляем, что все«абстрактные» события и случайные величины, которые мы рассматриваем, измеримы (относительно меры Лебега), а также измеримы и ихдополнения и их (счетные) объединения и пересечения. Более того, мыне будем упоминать об этом в дальнейшем (так же как и не делали этогоранее). Приведем без доказательства полезную теорему Лузина: Измеримая функция (на [0, 1]) может быть превращена в непрерывнуюизменением ее значений на множестве точек, имеющем как угодно малую вероятность. В частности, измеримое подмножество(отрезка [0, 1]) — это такое множество, индикаторная функциякоторого может быть превращена в непрерывную функцию посредством изменения ее значений на множестве точек сколь угодномалой вероятности.
(Николай Николаевич Лузин был лидером московской школы вещественного анализа в 1910–1930 гг., где начинали своюкарьеру многие выдающиеся математики, включая Колмогорова.)На наглядном уровне понятие сходимости п.н., возможно, трудно понять сразу. Это вызвано тем, что это понятие аппелирует к двум неявноопределяемым объектам: последовательности с.в. (U n), которая не всегда452Глава 3.
Статистика цепей Маркова с дискретным временемявно задается, и событию нулевой вероятности, на котором сходимостьUn → v или Un → V не выполняется. Здесь оказывается полезнойследующая теорема Дмитрия Федоровича Егорова (еще одного патриарха московской математической школы в 1900 –1920 гг.): Сходимостьп.н. Un → V имеет место тогда и только тогда, когда для лю> 0 существует такое событие A с вероятностью небыхменьшей,чем 1 − , что Un − V сходится к 0 равномерно на A :sup [Un (x) − V (x) : x ∈ A ] → 0 при n → ∞.Жизнь Д.
Ф. Егорова закончилась закончилась трагически. В 1930 г. он был уволенс должности директора института математики Московского государственного университета.Вскоре после этого Егоров был арестован советскими властями и провел несколько месяцевв тюрьме в ужасных условиях. (Он часто проявлял свою оппозиционность официальнойидеологии и был активным членом движения духовного меньшинства в русском православии,которое не ладило с властями в те времена свирепой антирелигиозной пропаганды.) Егоров,к счастью, получил относительно мягкий приговор: он был сослан в Казань, город на Волгев 797 км к востоку от Москвы.
Казань была тогда (как и сейчас) столицей Татарскойреспублики и славилась своим университетом, где в XIX столетии Лобачевский преподавалгеометрию, а Ленин изучал право (и был исключен из университета после студенческих волнений). Однако Егоров продолжал свои протесты против властей и умер в 1931 г. результатеголодовки, которая усугубила уже имеющиеся серьезные проблемы со здоровьем. Местнымэнтузиастам математики все же удалось похоронить Егорова на центральном кладбище,рядом с Лобачевским.Мы приведем краткое доказательство теоремы Егорова.
Начнем с доказательства достаточности: предположим, что указанное выше свойствовыполняется для любого> 0, и возьмем последовательность n == 1/n2 . Тогда дополнение Ac1/n2 к событию A1/n2 имеет вероятностьS cA1/n2 имеет веP (Ac1/n2 ) 6 1/n2 . Следовательно, объединение Bm =n>mP1/n2 → 0 при m → ∞. Кроме того, события Bmроятность P (Bm) 6§ 3.3. Состоятельность оценок. Различные виды сходимостиСледовательно, на Bc имеемlim Un = V.n→∞Однако Bc имеет вероятность 1 − P (B) = 1, поэтому сходимость U n → Vимеет место почти наверное.Доказательство необходимости более тонкое; оно отражает сущностьсходимости п.н. Предположим, что Un → V почти наверное.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
