Цепи Маркова (1121219), страница 66
Текст из файла (страница 66)
Крометого, Rt ограничена сверху: Rt 6 N, т. е. Rt % R∞ почти наверное.Лемма 2.12.32. Если e (s,i) > (s,i) ∀ (s, i), тоe ∞ > r) > P (R∞ > r) ∀ r > 0.P (RД о к а з а т е л ь с т в о. Рассмотрим цепь скачков на Z + × Z+ (четвертьрешетки на плоскости) с траекторией, подобной той, что показана на рис.2.86.Здесь с вероятностью (s,i) / ( (s,i) + i) частица совершает скачок наединицу вверх и на единицу вправо.
С вероятностью i / ( (s,i) + i) онасовершает скачок на единицу вниз.а) Докажите вышеприведенное утверждение.б) Как долго в среднем придется ждать появления набора 000100в случайной бинарной последовательности?Решение. а) Рассмотрим ц.м.д.в. (Yn) на пространстве {0, 1, . . .}Дальнейшие результаты, относящиеся к подобным задачам, см. в статье: Blom G. , Thorburn D. How many random digits are required until givensequences are obtained? // Journ. Appl. Probab. 1982. V. 19. P.
518–531.Задача 2.12.31. Рассмотрим модель эпидемии (St , It , Rt) t>0 в большойпопуляции объема N = St + It + Rt , где St — число особей, восприимчивыхк инфекции, It — число инфицированных, а Rt — число тех, кто выздоровел или умер. Предположим, что процесс (St , It) t>0 эволюционирует какц.м.н.в., ненулевые вероятности перехода которой задаются соотношениямиq (s,i) (s−1,i+1) = (s,i) > 0 при s > 1, i > 1,q (s,i) (s,i−1) = i > 0 при s > 1, i > 1,1.E [S1 ]1(1 + q3 p + q4 p).q5 plim P (An) =n→∞E [S1 ] =Это значит, что An = {n — момент восстановления}. Предположим,что НОД (k : pk > 0) = 1. Тогдаоткуда получаем E [S1 ] = 70. В общем случае, когда 1 появляется с вероятностью p, а 0 — с вероятностью q, получаемXn = k, если Jk 6 n < Jk+1 , An = {n = Jk для некоторого k}, n = 0, 1, .
. .423и§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемГлава 2. Цепи Маркова с непрерывным временем422§ 2.12. Вопросы к теории цепей Маркова с непрерывным временемб) Если>и ε,425> 0 выбраны так, что (1 − ε) (1 − ) = , тоГлава 2. Цепи Маркова с непрерывным временем424P (R∞ > εN) >∀ N.Д о к а з а т е л ь с т в о. а) Предположим, что 6 .
В лемме 2.12.32выберем e (s,i) = i > si/N. Ц.м.н.в. (eIt) является процессом рожденияи гибели на {0, . . . , N} с интенсивностью, представленной на рис. 2.87.Рис. 2.88Таким образом, цепь скачков, соответствующая { e (s,i) }, представляетсобой случайное блуждание с отрицательным сносом.
ТогдаРис. 2.86e t > N(1 − ε) ц.м.н.в. (eIt) представляет собой процессТогда при условии Sрождения и гибели, с траекториями, представленными на рис. 2.88, где= (1 − ε). Следовательно,e ∞ 6 εN) 6P (R∞ 6 εN) 6 P (Re ∞ > (1 − ε)N, число смертей 6 εN) 6 P 1 (попасть в 0) = /6 P (SNРис. 2.89означает, что инфицированная особь контактирует с любой другой с интенсивностью и выздоравливает или умирает с интенсивностью .в)Теорема 2.12.33.
а) Если 6 , тоТаким образом,P (R∞ > εN) > 1 −P (R∞ > εN) → 0 при N → ∞ ∀ ε > 0.> 0.si.NМы можем запустить одновременно две цепи, соответствующие { (s,i) }и {e (s,i) }, используя U(0, 1)-н.о.р.с.в. для определения переходов, какпоказано на рис.
2.87. (Это еще один пример склеивания случайных процессов.)Тогда цепь, соответствующая {e (s,i) }, всегда совершает скачок влевои вправо, когда такие скачки совершает исходная цепь. Следовательно,траектории этой цепи лежат выше траектории исходной цепи. ПосколькуeI∞ = I∞ = 0, предельное состояние удовлетворяет неравенству Re ∞ > R∞ .Отсюда следует утверждение леммы.б) Выборs,i =i(s,i) = iNдля некоторых ε,Рис. 2.87б) Теперь предположим, что (1 − ε) (1 − ) =Положимnoe (s,i) = min s , 1 − ε i 6e ∞ > εN) 6P (R∞ > εN) 6 P (R6 P (число скачков вправо > εN) → 0 при N → ∞ ∀ ε > 0.=(1 − ε) − (1 − ε) (1 − )= .(1 − ε)∀ N.426Глава 2.
Цепи Маркова с непрерывным временемА теперь краткое резюме неевклидовой геометрии,ее физических приложений и специальной теорииотносительности Эйнштейна, и все в одной фразе.Глава 3A half of a cottage plus a half of a fish plus a halfof a shepherd’s plus a half of a steak and kidneywill not make a full turn, but four pints might18 .Статистика цепей Марковас дискретным временем(Из серии «Так говорил суперлектор».)§ 3.1. ВведениеWhere are the weapons of math distraction?1(Из серии «Кое-что из политики».)В этой главе мы представим некоторые важные факты, относящиесяк статистике цепей Маркова с дискретным временем (ц.м.д.в.) и с конечным множеством состояний.
Пусть в результате наблюдений ц.м.д.в. (X m)с неизвестным распределением, в n + 1 последовательный момент времени0, . . . , n получена выборка x0x = xn = ... ∈ In+1 .(3.1.1)xnОсновной вопрос, который у нас возникает: что можно сказать о распределении этой цепи? Обычно нашей целью является параметрическоеоценивание, когда распределение цепи P зависит от (скалярного илимногомерного) параметра , значения которого принадлежат заданному(дискретному или непрерывному) множеству Θ (в непрерывном случае этоподмножество прямой R или подмножество евклидова пространства болеевысокой размерности).
Более точно, в случае ц.м.д.в. матрица вероятностейперехода P (а в некоторых случаях и вектор начального распределения) зависит от , т. е. вероятности перехода pij , и начальные вероятности jявляются функциями от ∈ Θ. Для определенности предположим, что (конечное) пространство состояний I цепи фиксировано, и s = |I| обозначаетсовпадает с инвариантным распределением ,число состояний. Частотак что P описывает цепь в состоянии равновесия. Для простоты мы будемчасто полагать, что матрица P неприводима и апериодична при любомслов: по-английски pie — пирог, что созвучно с .18 Игра1 Ср.с газетным заголовком «Where are the weapons of mass destruction?»что соответствует цепи, стартующей из состояния x 0 .
Здесь X (= X (n) )обозначает случайную выборку для цепи (Xm), наблюдаемой в моментывремени от 0 до n: X0X = ... .Таким образом, функция правдоподобия (3.1.2) соответствует распределению вероятностей P ц.м.д.в. с вектором начальных вероятностей , тогдакак функция (3.1.3) задает условную вероятность P (X1 = x1 , . . . , Xn == xn | X0 = x0). Как и ранее, мы будем часто предполагать, что в случаефункции правдоподобия (3.1.2), цепь находится в состоянии равновесия,совпадает с инвариантным распределением , для которого=т. е.= P .Запишем отношение правдоподобия в виде1)l (x,или X0)lX (x,1)0).Лемма Неймана—Пирсона утверждает, что для любого k > 0 критерийc критической областью) > kfX (x,10)}является наиболее мощным среди всех критериев с нулевой гипотезой H 0 := 0 и альтернативой H1 : = 1 и имеет уровеньX 0P (x).k =.Ck = {x : fX (x,Таким образом, для любого критерия C ∗ , имеющего уровеньX 0∗=P (x) 6 k ,x∈Ck)0)Здесь fX (x, ) обозначает вероятностный вес (или правдоподобие), приписываемый выборке x.
Будем рассматривать два вида функций правдоподобия:fX (x, ) = LX (x, ) (полное правдоподобие)1LX (x,LX (x,fX (x,fX (x,(3.1.4)Xn429∈ Θ, так что цепь имеет единственное инвариантное распределение ,= P , к которому она сходится геометрически быстро при любомгденачальном распределении вероятностей (см. § 1.9, в частности теоремы1.9.2 и 1.9.3). В этом случае введем специальное обозначение P IA (см.уравнение (3.1.10)). Предположение о неприводимости и апериодичностиоказывается особенно полезным при рассмотрении больших выборок (когда n → ∞).Как и в случае выборок из независимых наблюдений, мы хотим оценить на основании x, т. е. найти функцию b (x) (или последовательностьфункций bn (xn)), называемую оценкой, которая является хорошим приближением для . При этом хотелось бы иметь возможность улучшатьточность аппроксимации при возрастании n к бесконечности.
Однаков случаях, когда мы вынуждены ограничиться выборками «малого» или«умеренного» объема, асимптотические методы следует заменять болееподходящими.Например, используя методы проверки гипотез, мы оцениваем справедливость суждения о том, что принимает конкретное значение 0 (илиблизкое к нему), где 0 выбрано из множества Θ на основании, скажем,некоторой дополнительной информации. Так задается простая нулеваягипотеза H0 : = 0 . В простейшем случае мы сравниваем ее с простой альтернативой H1 : = 1 , где 1 — другое значение, выбранноеиз Θ. Весьма удобным оказывается то, что лемма Неймана —Пирсонаприменима в случае ц.м.д.в. и мы можем рассматривать отношение правдоподобия§ 3.1. ВведениеГлава 3. Статистика цепей Маркова с дискретным временем428. . .
pxn−1 xn ,(3.1.2)x∈C ∗что соответствует цепи с начальным распределением,иlX (x, ) = P (X1 = x1 , . . . , Xn = xn | X0 = x0) = px0 x1 . . . pxn−1 xn ,(3.1.3)x∈CkОтметим нечувствительность леммы Неймана—Пирсона к природе параметра (параметров) . Например, может отождествляться с матрицейпереходных вероятностей P = (pij); см. соотношение (3.1.7). В этой ситуации проверяют нулевую гипотезу H0 : цепь имеет заданную матрицуx 0 px 0 x 1LX (x, ) = P (X0 = x0 , . . . , Xn = xn) =не превосходит k , гдеX 1X 1∗=P (x),P (x).k =Более точно,∗его мощностьfX (x, ) = lX (x, ) (приведенное правдоподобие).x∈C ∗и430Глава 3.
Статистика цепей Маркова с дискретным временем§ 3.1. Введение431переходных вероятностей P 0 против альтернативы H1 : цепь имеет другуюматрицу перехода P1 .В более общей ситуации, при простой нулевой гипотезе: = 0 , носложной альтернативной гипотезе (например, ∈ Θ0 ⊂ Θ, где 0 ∈ Θ0),мы можем надеяться, что окажется полезным критерий обобщенного отношения правдоподобия, который принадлежит категории критериевсогласия. В этом случае рассматривают отношениеmax[fX (x, ϑ) : ϑ ∈ Θ0 ]fX (x, 0)max ln [fX (x, ϑ) : ϑ ∈ Θ0 ] − ln fX (x,и отвергают нулевую гипотезу, когда это отношение становится большим,или, что эквивалентно, переходя к логарифмам, рассматривают разность0).Рис. 3.1sPk=1k=sPk=1Чтобы прийти к верному заключению, нам хотелось бы знать распределение этой статистики; в томе 1 содержится утверждение о том, чтов случае выборок с н.о.р.
наблюдениями это распределение асимптотически является 2 -распределением (теорема Уилкса). Однако, рассматриваяц.м.д.в., необходимо провести дополнительное исследование этого вопроса.Важным является случай, когда — это полная пара ( , P) (векторначального распределения и матрица перехода). По сути этот случай попадает в категорию непараметрического оценивания. Например, еслицепь может находиться в двух состояниях A и B, то = ( A , B) и P ==pAA pAB, гдеpBA pBBиAB= 1−Aлежат в отрезке [0, 1] , так же каки pAA , pAB = 1 − pAA и pBA , pBB = 1 − pBA . Мы можем рассуждать= ( A , B) принимает значения в сегменте Σ на прятак: 1) вектормой в неотрицательном квадранте плоскости R 2 , 2) матрица перехода Pпринимает значения в декартовом произведении двух сегментов Σ A и ΣBиз неотрицательного ортанта в R4 , т.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
