Цепи Маркова (1121219), страница 77
Текст из файла (страница 77)
Дополнительные сведения содержатся в книге [M] .Пример 3.5.6. Пусть Sn+1 = Y1 + . . . + Yn+1 , где с.в. Yk ∼ Gam (ak , 1)независимы в совокупности и a = a1 + . . . + an+1 . а) Докажите, чтовыполняются соотношенияXkXlДирихле. ПолучимE (X1 1 . . . Xn n ) =Var Xk =kni=1aikaij aij02 Pполагая An =ZCi,j;i,j0 = − P(3.5.10)Γ (a1 + . . . + an+1)Γ (a1) . .
. Γ (an+1)Γ (ai + i).Γ (ai)Проверить, что ковариация элементов (i, j) и (i, j 0) равна=E (X1 1 . . . Xn n ) =ai,ai + i − 1nYE (X1 . . . Xn) =nYkak (ak + 1),a(a + 1)EXk2 =иnP> −an выполняются соотно-ak,ak=1В частности,E (Xk) =ajn§ 3.5. Байесовский анализ цепей Маркова: априорные и апостериорные распределения 4911Докажите, что для любыхшения490An−2. . . xann −11−nPxii=31 − x 1 − x2!an+1 −1dx3 .
. . dxn ,nX= x3 , . . . , xn > 0,xi 6 1 − x 1 − x 2 ,i=3(3.5.17)1 − x11xa−1 (1 − x1) na−1 .B(a, na) 1=Здесь, как обычно, B(a, na) = Γ (a) Γ (na)функцию. X1Пример 3.5.7. а) Пусть ... ∼ Dir Xndx2 . . . dxn =Γ ((n + 1)a) обозначает бетаa1.. . . Докажите, что для сумanan+1мы Y = X1 + .
. . + Xn выполняется соотношение(3.5.18) post( | x) ∝pr( )L(x; ),a(1)Y1...Yk = ... ∼ Dir a(k) ,mbYka(k + 1)( )l(x; ).k= P (X = k). pr( | x) ∝Коэффициент пропорциональности определяется здесь тем условием, чтоинтеграл от плотности post ( |x) равен 1. Параметр может быть скалярным или векторным; наибольшая неопределенность, до некоторой степени изученная нами в предыдущих параграфах, имеет место, когда == ( , P) ∈ R или = P ∈ P .Пример 3.5.8. Пусть X1 , . .
. , Xn — н.о.р.с.в. со значениямиk ∈ {1, . . . , κ} и одинаковыми одномерными вероятностямиpost(3.5.19)в) Положим Y1 = X1 + . . . + Xn1 , Y2 = Xn1 +1 + . . . + Xn1 +n2 , . . . , Yk == Xn1 +...+nk−1 +1 + . . . + Xn1 +...+nk . Докажите, чтоилиa1....Xk ∼ Dir akak+1 + . . . + an+1где t1 + . . . + tk+1 = 1, т. е. с.в. Yk имеет распределение Дирихле с параметрами a(1), . . .
, a(k + 1).В томе I обсуждался феномен сопряженности заданного семейства(или класса) распределений. Смысл этого понятия состоит в том, чтов случае, когда априорное распределение Π pr взято из заданного класса (зависящего от одного или нескольких параметров), апостериорноераспределение при заданном выборочном векторе x принадлежит тому жесемейству (классу). В этом случае нам нужно лишь указать, как именнопараметры апостериорного распределения задаются в виде функций выборочного вектора и параметров априорного распределения. Напомним,что если априорное распределение имеет плотность распределения pr ( ),∈ Θ, и функция правдоподобия выборочного вектора x имеет вид L(x; )или l(x; ), то апостериорная плотность распределения задается формулойXk,X1б) Докажите, что распределение вектора Xk = ... при условии k < nимеет видa(k+1) −1.
. . tk+1Y ∼ Bet(a1 + . . . + an , an+1).a(1) −1t1Anxi !a−11−i=2. . . xan−1xa2 −1Z(3.5.21)Указание. К п. а) примените формулу Дирихле (3.5.7) с функциейg(t) = (1 − t) an+1 −1 . К п. б) применить те же вычисления, что и в примере 3.5.6.
В п. в) совместная плотность распределения f Y1 ,...,Yk (t1 , . . . , tk)пропорциональна произведению(3.5.20)1Предположим, что вектор= ... случайный и имеет распределение− x1)a−1a(1) = a1 + . . . + an1 ,...a(k) = an1 +n2 +...+nk−1 +1 + . . . + an1 +...+nk ,a(k + 1) = an1 +n2 +...+nk +1 + . . . + an+1 .Cx1a−1 (1nPгдеа C — нормирующая постоянная, которую нужно выбрать так, чтобы интеграл от функции fX1 ,X2 по переменным dx1 dx2 был равен единице. Вводяновые переменные vi = xi / (1 − x1 − x2), i = 3, . .
. , n, и вычисляя интегралпо формуле Дирихле (3.5.3), получим утверждение б).в) Аналогично маргинальная (одномерная) плотность распределенияfX1 (x1) с.в. X1 равна§ 3.5. Байесовский анализ цепей Маркова: априорные и апостериорные распределения 493Глава 3. Статистика цепей Маркова с дискретным временем492κ§ 3.5. Байесовский анализ цепей Маркова: априорные и апостериорные распределения 495 а) Проверьте, что среднее значение E [p12 ] элемента матрицы p12 == (Pm) 12 равноk=0 l=0i∈Ik∈I1−ppq1−q−1(1 − p)q(1 − q)B( , )B( , )f(p, q) =p−1−1j∈IΓ (aij)из примера 3.5.1 является, 0 < p, q < 1,(3.5.23)(3.5.24 б)(m)j,k=0 l=0( ) j+k−l ( ) l+1.+ 1) j+k−l ( + ) l+1( +Clj+k (−1) l+j+km−1 XX(3.5.25)б) Элементы 1 и 2 инвариантного распределения матрицы P сталитеперь случайными величинами.
Проверьте, что средние значения E [ 1 ]и E [ 2 ] задаются формуламиE [ 2] =+( ) k−l ( ) l+1,( + ) k−l ( + ) l+1k∞ XXk=0 l=0Clk (−1) lk∞ XX(3.5.26)( ) k−l ( ) lClk (−1) l.( + + 1) k−l ( + ) lУказание. а) В примере 3.4.4 было доказано, что(m)p12 = pm−1X1 − (1 − p − q) m=p(1 − p − q) k .1 − (1 − p − q)k=0Представьте множитель (1 − p − q) k в видеmPl=0Clk (−1) l ql (1 − p) k−l и ис-пользуя независимость с.в. p12 и p21 , получите представление(m)m = 1, 2, . . . ,а среднее значение E [p12 p21 ] равногде , , ,> 0. Запишите матрицу в альтернативной форме P =1 − p12p12=.p211 − p21( ) k−l ( ) l+1,( + ) k−l ( + ) l+1(3.5.22)(3.5.24 а)k=0 l=0k=0 l=0произведением двух бета-распределений с плотностями−1Clk (−1) lE [ 1] =Найдите значение a0ij как функции от aij и x.Указание.
a0ik = aik + nik , где nik — это элемент матрицы подсчетапереходов, определенной в соотношении (3.2.1).Пример 3.5.10. Предположим,что распределение переходной(2 × 2)-матрицы вида P =kX(P),0Y X Y pijaij −10(P | x) =Γaik0 .m = 1, 2, . . . ,postprm−1Xвновь имеет вид(P | x) ∝ l(x, P)(m)E [p21 ] =post( +i,j=1(3.5.1 б) с заданным набором значений aij > 0, апостериорная плотностьpost(P | x), определяемая формулой( ) k−l ( ) l,+ 1) k−l ( + ) l(m)где (x) k = Γ (x + k) /Γ (x) = x(x + 1) .
. . (x + k − 1) — символ Почхаммера.(m)(m)Далее, проверьте, что среднее значение E [p21 ] элемента p21 = (Pm) 21задается формулойk=1Указание. Это есть немедленное следствие соотношения (3.5.11).Пример 3.5.9. Рассмотрим ц.м.д.в. на конечном пространстве состояний I = {1, . . . , s}, где переходная матрица P выбирается случайнымобразом с плотностью распределения pr (P), P ∈ P in , а P in — это внутренность множества размерности s(s − 1), определенного в формуле (3.1.8).Проверьте, что семейство плотностей распределения Дирихле (3.5.1 б) является сопряженным относительно приведенной функции правдоподобияsYn (x)pijij , т.
е. проверьте, что в случае, когда pr (P) имеет видl(x; P) =Clk (−1) lравно отношениюkXk+m−1X= #{i : i = 1, . . . , n, xi = k}.В частности, апостериорное среднее значение с.в.κPak .(nk + ak) (n + a), где a =(m)a1x1Дирихле Dir ... . Тогда при заданном выборочном векторе x = ... aκxnn1 + a 1.., где nk =апостериорное распределение вектора — это Dir .nκ + a κГлава 3. Статистика цепей Маркова с дискретным временем494(m)E [p12 ] =m−1XkXk=0 l=0Clk (−1) l E [ql ] E [p(1 − p) k−l ] .496Глава 3.
Статистика цепей Маркова с дискретным временем§ 3.5. Байесовский анализ цепей Маркова: априорные и апостериорные распределения 497Далее, произведение E [ql ] E [p(1 − p) k−l ] равно отношениюУстановите соотношенияa b( ) k−l ( ) l×+ 1) k−l ( + ) l+ +l−i(3.5.27)i(3.5.28)a( + k − l) + b( + 1)+ +1+k−lh ( + l)c + dc+ d+×(1 − ) ( + )1−×( ) k−l ( ) l+1×( + ) k−l ( + ) l+1(−1) lkh a( + k − l) + b+ +k−lk>0 l=0ClkkXX×E [V2 ] =−c( + l + 1) + d+ +l+1.Решение (набросок). Пусть M обозначает матрицу параметров:M=,и пусть E M означает математическое ожидание относительно плотностираспределения f(p, q) из формулы (3.5.23) с параметрами, заданными матрицей M.
Далее, положимXmSij (M) =E M [pij(m) ] , i, j = 1, 2.R = (rij) = c d ,( +и распределена с плотностью-произведением f, как в формуле (3.5.23),причем параметры , , ,положительны. Далее, предположим, чтозадана премиальная матрица(−1) l(m) (m)получите формулу (3.5.25) для E [p12p21 ] .Уравнение (3.5.26) получится в результате предельного перехода приm → ∞. Небольшое аналитическое замечание: ряд в (3.5.26) сходитсяусловно, но не абсолютно. См. снова [M] .Пример 3.5.11. Пусть (Xm) — ц.м.д.в.Предпо с двумя состояниями.1−ppцепи (Xm) случайналожим, что переходная матрица P =q1−qk(1 − p − q) j+k ,×иk,j=0k>0 l=0Clkm−1XkXX×Представляя полученные множители в виде соответствующих гаммафункций, получите соотношение (3.5.24 а).
Аналогично получите выраже(m)ние (3.5.24 б) для E [p21 ] . Далее используя разложениеpm qm = pqa+ b+×(1 − ) ( + )(1 − ) ( + )E [V1 ] =B( + 1, + k − l)B( + l, ).B( , )B( , )Тогда сумму Sij (M) можно записать в виде ряда в терминах элементовматрицы M, а именноn>0ni = 1, 2,j,k=1mm>1 k=0l=0( ) k−l ( ) l,+ 1) k−l ( + ) lkXClk (−1) l( +или, если изменить порядок первых двух сумм,k>0 l=0( ) k−l ( ) l.+ 1) k−l ( + ) lk(−1) l( +ClkkXX(1 − ) ( + )S12 (M) =где∈ [0, 1/2) — это дисконтирующий множитель. Поскольку переходная матрица P предполагается случайной, элементы V 1 (P) и V2 (P)также являются случайными величинами.+mXX(n)pij pjk rjk ,S12 (M) =2XVi (P) =Xс элементамиV1 (P)V2 (P)m>1элементы которой rij = a, b, c, d ∈ R обозначают премии (или штрафы),полученные в случае, если цепь (Xm) перешла из состояния i в состояние j.средний дисконтированный премиальный вектор Определим(3.5.29)498Глава 3.
Статистика цепей Маркова с дискретным временемАналогично§ 3.6. Элементы теории управления и теории информации499и простые вычисления показывают, чтоAl =+l,+ +l+k−l,+ +1+k−l,B=откуда и следует уравнение (3.5.27).D=+ +l+1,+ +1+k−l1−m>1S22 (M) =1−и аналогичноМожно показать, что ряды (3.5.29), (3.5.30) сходятся абсолютно при << 1/2. ОкончательноXmS11 (M) =(1 − E M [pm− S12 (M),(3.5.31)12 ]) =C=(3.5.30)( ) k−l ( ) l+1.( + ) k−l ( + ) l+1k>0 l=0(−1) lk1−ClkkXXS21 (M) =− S21 (M).(3.5.32)Далее, обозначим через Tij (M), i, j = 1, 2, матрицу, полученную путемувеличения на 1 (i, j)-го элемента матрицы M:+1+1T11 (M) =, T12 (M) =,и т.
д., а через E Tij (M) будем обозначать математическое ожидание относительно той же плотности, что и в формуле (3.5.23), но с параметрами,определяемыми матрицей Tij (M). Тогда имеет место следующее равенство:2XE M [Vi ] =E M [pik ] rik +k=12XSij (Tjk (M)) E M [pjk ] rjk , i = 1, 2, (3.5.33)j,k=1где Sij (Tjk (M)) определяется формулами (3.5.29) – (3.5.32), но с заменой Mна матрицу Tjk (M).Это уравнение ключевое. Подставляя в него выражения для S ij (Tjk (M))и переставляя подходящим образом слагаемые, в конце концов получимуравнения (3.5.27) и (3.5.28). Например,a+b+− S12 (T11 (M))a+E M [V1 ] =++1−++− S12 (T12 (M))b + S12 (T21 (M))c + S12 (T22 (M))++d=k>0 l=0( ) k−l ( ) l[Al c + Bl d − Cl a − Dl b] ,+ 1) k−l ( + ) lk(−1) l( +ClkkXX×1−+a+ b=+×(1 − ) ( + )(1 − ) ( + )§ 3.6. Элементы теории управленияи теории информацииНачнем с двух примеров, относящихся к задаче о секретаре (см.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
