Цепи Маркова (1121219), страница 69
Текст из файла (страница 69)
Статистика цепей Маркова с дискретным временемСимметричный случай, когда n11 = 0 и n00 > 1, рассматривается аналогично.Рассмотрим теперь общий случай, когда n00 (x0 + n01) (1 − x0 + n10)n11 >> 0. Функция правдоподобия(p, q) 7→ правая часть формулы (3.2.11)непрерывна на [0, 1] × [0, 1] \ { (0; 0) } (на замкнутом единичном квадрате,из которого исключается начало координат), и, чтобы непрерывно продолжить ее в начало координат, полагают, что там она принимает значение0. На границе ∂ ([0, 1] × [0, 1]) = {0 6 p, q 6 1 : p(1 − p)q(1 − q) = 0}эта функция равна 0, следовательно, максимум ее достигается в открытомквадрате (0, 1) × (0, 1).Более того, если мы покажем, что стационарные уравнения443точки пересечения в открытом квадрате (0, 1) × (0, 1) (они имеют хотябы одну точку пересечения, поскольку функция L достигает максимумав (0, 1) × (0, 1)).Первое полезное наблюдение состоит в том, что только одна ветвькаждой из гипербол пересекает (0, 1) × (0, 1).
В самом деле, если предположить, что x0 + n01 + n00 > 1, то получаем решение уравнения (3.2.20 а)относительно p:p± =1x + n01 − 1 − (x0 + n01 + n00)q±2(x0 + n01 − 1 + n00) 0± ((x0 + n01 − 1 − (x0 + n01 + n00)q) 2 + 4(x0 + n01 − 1 + n00) (x0 + n10)q) 1/2 ==−b ±√b2 − 4ac,2a(3.2.21)где∂∂L =L =0∂p∂qимеют единственное решение (в (0, 1) × (0, 1)), то мы получим (единственный) глобальный максимум, т.
е. (единственным образом определяемую)о.м.п..Итак, прологарифмируем и продифференцируем. Стационарные уравнения имеют видx0 + n01n11 − x0 + n10n− 00 ==− 11 ,p1−pp+qq1−q§ 3.2. Функции правдоподобия, I. Оценки максимального правдоподобия(3.2.19)или, что эквивалентно,(x0 + n01 − 1 + n00)p2 −− [x0 + n01 − 1 − (x0 + n01 + n00)q] p − (x0 + n10)q = 0,(3.2.20 а)(−x0 + n10 + n11) q2 −− [−x0 + n10 − (1 − x0 + n10 + n11)p] q − (1 − x0 + n10) p = 0.(3.2.20 б)Записав эти уравнения в стандартных обозначенияхAp2 + Bpq + Cq2 + Dp + Eq + F = 0,замечаем, что B2 > 4AC (4AC = 0 в обоих уравнениях); этот факт указывает на то, что каждое из уравнений задает гиперболу в (p, q) -плоскости.Достаточно установить, что эти гиперболы не могут иметь более однойa = x0 + n01 − 1 + n00 ,b = − (x0 + n01 − 1 − (x0 + n01 + n00)q),c = − (x0 + n10)q.(3.2.22)Чтобы проверить это наблюдение, предположим, что 0 < q < 1.
Тогдакоэффициенты a, b, c в уравнениях (3.2.21), (3.2.22) удовлетворяют следующим неравенствам:а) дискриминант b2 − 4ac является неотрицательным; это выполняетсяв силу того, что n10 + n01 > 1;√б) решение p+ = (−b + b2 − 4ac) (2a) из уравнения (3.2.21) лежит√в интервале (0, 1), или, что эквивалентно, 0 < −b + b2 − 4ac < 2a; левоенеравенство выполняется в силу того, что 4ac < 0, а правое неравенствовыполняется, поскольку q выбраноположительным;√в) решение p− = (−b − b2 − 4ac) (2a) из (3.2.21) будет не больше 0,что легко показать непосредственно.Это приводит к единственному решению относительно p уравнения(3.2.20 а) при любом q ∈ (0, 1), когда x0 + n01 + n00 > 1, и означает,что у первой гиперболы лишь одна ветвь пересекает открытый квадрат(0, 1) × (0, 1). Аналогичные аргументы применимы и ко второй гиперболев предположении, что −x0 + n10 + n11 > 0.Таким образом, положимg(q) =−b +√b2 − 4ac,2aгде g(q) ∈ (0, 1) при 0 < q < 1,и определим h(p) симметричным образом, посредством уравнения444Глава 3.
Статистика цепей Маркова с дискретным временем(3.2.20 б). Нас интересует решение (p∗ , q∗), 0 < p∗ , q∗ < 1, уравненийp∗ = g(q∗),q∗ = h(p∗),или p∗ = g ◦ h(p∗), q∗ = h ◦ g(q∗). (3.2.23)Можно определить два открытых подинтервала J, K ⊂ (0, 1), где могут находиться значения p∗ и q∗ , в терминах коэффициентов из формул(3.2.20) – (3.2.22): x +n −1x0 + n01001,J=x0 + n01 − 1 + n00иK=x0 + n01 + n00−x0 + n101 − x0 + n10,.−x0 + n10 + n11 1 − x0 + n10 + n11Таким образом, мы утверждаем, что 1) если p ∈ (0, 1), то h(p) ∈ K, и 2)если q ∈ (0, 1), то g(q) ∈ J, откуда следует, что решения уравнений (3.2.23)должны быть такими, что(p∗ , q∗) ∈ J × K.(3.2.24)e ∈ (0, 1) и положим ee) и r =q = h(pЧтобы проверить 1) выберем peeeeeq), где 0 < q < 1 и 0 < r < 1.
Заметим, что p, q и r удовлетворяют= p/ (p +eправой части равенства (3.2.19), а именнооткуда следует, что1−r1 − x0 + n10n=− 11 ,eeqqq1−eeq=−x0 + n10 + r∈ K.−x0 + n10 + n11 + rАналогичные аргументы приводят к утверждению 2.Далее мы должны проверить, что (за исключением случая, когда n 01 == 1 − x0 или n10 = x0) справедливы также следующие утверждения: 3)если p ∈ (0, 1), то h0 (p) ∈ (0, 1), и 4) если q ∈ (0, 1), то g0 (q) ∈ (0, 1).Чтобы проверить 4, продифференцируем по q равенство (3.2.20 а):g0 (q) =x0 + n01 − (x0 + n01 + n00)g(q).2g(q) (x0 + n01 + n00 − 1) + (x0 + n01 + n00)q − (x0 + n01 − 1)Затемq ∈ (0, 1) и предположим, что g0 (eq) 6∈ (0, 1), т.
е. 0 выберем e1 g (eq) 6 1, или, что эквивалентно,2g(eq) (x0 + n01 + n00 − 1) + (x0 + n01 + n00) eq − (x0 + n01 − 1) 6q).6 x0 + n01 − (x0 + n01 + n00)g(e§ 3.2. Функции правдоподобия, I. Оценки максимального правдоподобия445Благодаря тому факту, что g(eq) ∈ J, получаем2(x0 + n01 − 1) (x0 + n01 + n00 − 1)+ (x0 + n01 + n00) eq − (x0 + n01 − 1) 6x0 + n01 + n00 − 1(x + n01 + n00) (x0 + n01 − 1)6 x0 + n01 − 0,x0 + n01 + n00 − 1или, что эквивалентно,(x0 + n01 + n00) eq + (x0 + n01 − 1) 6n00.x0 + n01 + n00 − 1Итак, за исключением случая, когда x0 + n01 = 1, левая часть остаетсябольше 1, что приводит к противоречию.
Таким образом, утверждение4 выполняется, когда n01 > 1 − x0 . Аналогично 3 выполняется, когда1 − x0 + n10 > 1, т. е. n10 > x0 .Теперь можно завершить анализ равенств (3.2.19) и (3.2.20). Для начала пусть x0 + n01 > 1 и 1 − x0 + n10 > 1. Предположим, что найдены дваразличных решения уравнений (3.2.23) (p∗1 , q∗1) и (p∗2 , q∗2), и оба решениялежат в (0, 1) × (0, 1), а на самом деле в J × K (см.
соотношение (3.2.24)).Предположим, например, что p∗1 < p∗2 . Тогда применив теорему Ролля,e ∈ J, чтополучим, что существует такое pe))h0 (pe) = 1.g0 (h(pe) < 1 и g0 (h(pe)) < 1. СлучайНо это противоречит тому факту, что h0 (p∗∗q1 < q2 рассматривается аналогично. Таким образом, в случае, когдаx0 + n01 > 1 и 1 − x0 + n10 > 1, уравнения (3.2.19) и (3.2.20) имеютединственное решение в (0, 1) × (0, 1).Остается рассмотреть граничный случай, когда x 0 + n01 или 1 − x0 + n10равно 1. При x0 + n01 = 1 величина 1 − x0 + n10 равна 1 или 2 (возможность1 − x0 + n10 = 0 была рассмотрена ранее).
Вышеприведенные аргументы следует модифицировать, они станут несколько длиннее и техническисложнее, хотя и основаны на той же идее. Мы опустим этот случай.К сожалению, не существует удобной формулы для о.м.п.1 − p∗p∗P =∗∗q1−qв общем случае. Многие авторы получили результаты численными методами, для разных значений выборочного вектора x.
Например, при n = 15и xT = (0111001010000101) о.м.п. для полного правдоподобия равнаp∗ ≈ 0.5329, q∗ ≈ 0.6893, в то время как о.м.п. приведенного правдоподобия такова: p∗ = 5/9 ≈ 0.5556, q∗ = 2/3 ≈ 0.6667.§ 3.3. Состоятельность оценок. Различныевиды сходимостиConsistency is too weak a propertyto be of much interest in itself.Состоятельность — слишком слабое свойство,чтобы оно само по себе представляло большой интерес.447с вероятностью 1. Эти виды сходимости популярны в теории вероятностейи теории меры, а также постоянно возникают в различных главах теориидинамических систем, случайных процессов и полей, теоретической статистики и функционального анализа.Соответственно, оценку bn (xn) параметра называют а) состоятельной по вероятности для некоторого множества Θ 0 ⊆ Θ, если при всех∈ Θ0 в формуле (3.3.1) имеет место сходимость по вероятности, и б)состоятельной почти наверное, или с вероятностью 1, если имеет местосходимость почти наверное, или с вероятностью 1.
В качестве множестваΘ0 будем рассматривать все значения , при которых матрица переходаP неприводима и апериодична.Приведем основное определение.Определение 3.3.1. Последовательность случайных величин U n сходится по вероятности при n → ∞ к постоянной v, еслиМы хотели бы подчеркнуть, что, хотя пример ц.м.д.в. с двумя состояниями является базовым, вышеприведенный анализ о.м.п.
появилсяв литературе лишь недавно3 . Более того, до этой публикации, в литературе появилось несколько противоречивых утверждений о природе о.м.п.для ц.м.д.в. с двумя состояниями. Процитируем вышеуказанную работу:«Наверное, может привести в уныние тот факт, что такой простейшийпример... требует столь внимательного изучения всех частных случаевдля доказательства существования и единственности [решения] уравнений правдоподобия.
Более сложные цепи Маркова могут принести ещебольшие сюрпризы.»§ 3.3. Состоятельность оценок. Различные виды сходимостиГлава 3. Статистика цепей Маркова с дискретным временем446n→∞lim P (|Un − v| > ε) = 0, т. е.n→∞lim P (|Un − V | > ε) = 0, т. е.n→∞lim P (|Un − v| < ε) = 1 ∀ ε > 0.(3.3.2 а)В более общем случае Un сходится по вероятности к случайной величинеV, если для любого ε > 0,E. Г. Леман (р. 1917), американский статистикP(3.3.2 б)PСходимость по вероятности обозначают так: U n −→ v и Un −→ V.Мы видели, что слабый з.б.ч.
соответствует сходимости по вероятностиk=1определяется матрицей перехода P или парой ( , P )). Поэтому необходимо указать вид сходимости. В этом параграфе обсудим два видасходимости: сходимость по вероятности и сходимость почти наверное, илиBisgaard S., Travis L. E. Existence and uniqueness of the solution of the likelihoodequations for binary Markov chains // Statistics & Probability Letters. 1991. V. 12.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
