Метод оценки развития газодинамических процессов с помощью скрытой марковской модели (1187404), страница 7
Текст из файла (страница 7)
Эти оценки параметров на основеаналитических формул на M-шаге выглядят в значительной степени подобнымиобычным оценкам по максимуму правдоподобия в моделях с наблюдаемыми переменными. Например, в модели смеси Гауссовых распределений (вероятностная версиякластеризации с k-средними), когда обновляется параметр среднего для каждогокластера, берется апостериорное взвешенное среднее данных, которое показываетстепень уверенности, что конкретные данные принадлежат конкретному кластеру.Если апостериорное взвешенное среднее имеет массу только в одном кластере, то вычисление сводится к простому среднему каждой назначенной кластеру точки, которыйпредстоит оценивать. Аналогично, в тех частях M-шага, где имеются аналитическиеформулы, оценки параметров Θ выглядят как взвешенные оценки по максимумуправдоподобия.362.5Обучение CPM-модели с помощью EM- алгоритмаЧтобы найти оценки параметров CPM-модели, необходимо максимизироватьправдоподобие Lp (2.3.11) со штрафным членом P (2.3.12) по отношению к параметрам, которые требуется оценить, а именно z (2.3.1), {u[i], i = 1, K} (2.3.3),{θ[i; j], i = 1, K, j = 1, J} (2.3.5), ξ[0], ξ[1] (2.3.6) и {σ 2 [i], i = 1, K} (2.3.3) (интегрированием удаляя скрытые состояния).
Конечно, предполагается, что параметр λ (2.3.8)фиксирован. Для обучения CPM-модели может использоваться EM-алгоритм (раздел2.4). Для вывода EM-алгоритма, специфического для CPM-модели, необходимо выражение для ожидаемого полного логарифма правдоподобия hLpcomp i, который являетсясредним логарифма правдоподобия Lp (2.3.11) со штрафным членом P (2.3.12) поотношению к предельным апостериорным распределениям вероятностей скрытыхсостояний p(φ[i; k] = s | x[i]) (2.2.9) и p(φ[i; k − 1] = s, φ[i; k] = s0 | x[i]) (2.2.10). Приперечислении скрытых состояний, как s = 1, . .
. , S, формула для ожидаемого полногологарифма правдоподобия имеет видhLpcomp i≡ hPi +KXhlog (p(φ[i], x[i]))i =i=1=P+KX*log i=1+NXXp(φ[i; 1]) +NXlog (N (x[i; k] | u[i]z [τ [i; k]] χ[k], σ[i])) +k=1φ[i]+ilog Tφ[i;k−1],φ[i;k]=k=2=P+KX*log i=1+Xp(φ[i; 1])+K XNXhlog (N (x[i; k] | u[i]z [τ [i; k]] χ[k], σ[i]))i +i=1 k=1φ[i]K XNXi+log Tφ[i;k−1],φ[i;k]=i=1 k=2S XK XNX=P+p (φ[i; k] = s | x[i]) log(τ0,i s )+s=1 i=1 k=1++S XK XNXs=1 i=1 k=1NS XXXs=1 s6=s0 i=1p (φ[i; k] = s | x[i]) × log (N (x[i; k] | u[i]z [τ [s]] χ[s], σ[i])) +log(Ts,i s0 )NXp(φ[i; k − 1] = s, φ[i; k] = s0 | x[i]),i=2(2.5.1)где P определяется формулой (2.3.12) и hPi = P, потому что этот штрафной член независит от скрытых состояний φ[i; k], k = 1, N (2.3.2).372.5.1Оценки предельных апостериорных вероятностей (E-шаг)В CPM-модели на E-шаге (EM-алгоритма) предельные апостериорные вероятностиp(φ[i; k] = s | x[i]) (2.2.9) и p(φ[i; k − 1] = s, φ[i; k] = s0 | x[i]) (2.2.10) вычисляютсяв точности так же, как в скрытой Марковской модели, которая описана в разделе2.2.
То есть это вычисление выполняется посредством алгоритма прямой и обратнойрекурсии, описанного в разделе 2.2.2. Отметим, что ввиду выбора разреженнойматрицы переходов между скрытыми состояниями (2.3.3), вычислительная сложностьэтого алгоритма линейная по числу скрытых состояний, а не квадратичная, как вобщем случае. Предельные апостериорные вероятности (2.2.9) и (2.2.10), которыевычисляются на E-шаге, остаются постоянными на M-шаге.2.5.2Оценки значений параметров CPM-модели (M-шаг)Каждый оцениваемый параметр α или группа оцениваемых параметров имеютсвою собственную часть M-шага.
Для параметров, оценки которых на M-шаге представляются аналитическими формулами, эти оценки максимизируют ожидаемыйполный логарифм правдоподобия hLpcomp i (2.5.1). Таким образом, при заданных пре∂ hLpcomp iдельных апостериорных вероятностях из E-шага, сначала вычисляется ∂(α) и затемприравнивается нулю.
Если это уравнение не может быть решено аналитически, то длячастичной максимизации (только по одному параметру) используется численная процедура оптимизации. На M-шаге оценки параметров {u[i], i = 1, K}, {σ 2 [i], i = 1, K}и z связаны (значение одного присутствует в производной по отношению к другомупараметру).
Таким образом, если выбирается некоторый порядок оценки параметрови один из них оценивается, то его оценка используется при оценивании связанных сним параметров, которые за ним следуют. Например, можно оценивать параметрыв следующем порядке: вариации эмиссии {σ 2 [i], i = 1, K} (2.3.3), скрытая запись z(2.3.1) и глобальные масштабы {u[i], i = 1, K} (2.3.3) наблюдаемых временных рядов.Другие параметры {θ[i; j], i = 1, K, j = 1, J} (2.3.5) и ξ[0], ξ[1] (2.3.6) полностью развязаны.
Теперь рассмотрим, как каждый из перечисленных параметров CPM-моделиоценивается на M-шаге.2.5.3Скрытая записьИз формулы (2.5.1) для ожидаемого полного логарифма правдоподобия Lpcompнаблюдаемых временных рядов x[i; k], k = 1, N следует, что производная Lpcomp поz[k] (элемент скрытой записи (2.3.1)) имеет вид38S XNX∂ Lpcomp∂=p (φ[i; k] = s | x[i]) log (N (x[i; k] | u[i]z [τ [s]] χ[s], σ[i])) −∂ (z[k 0 ])∂ (z[k 0 ]) s=1 k=1M−1X∂− λū(z[k + 1] − z[k])2 =0∂ (z[k ]) k=1NXX=−{s|τ [s]=k0 }(x[i; k] − u[i]z[τ [s]]χ[s])2∂−p (φ[i; k] = s|x[i]) ×∂ (z[k 0 ])2σ 2 [i]k=1− λū (2 (z[k 0 ] − z[k 0 − 1]) − 2 (z[k 0 + 1] − z[k 0 ])) =X=NXp (φ[i; k] = s|x[i]) × u[i]χ[s]{s|τ [s]=k0 } k=1(x[i; k] − u[i]z[τ [s]]χ[s])−2σ 2 [i]− λū (4z[k 0 ] − 2z[k 0 − 1] − 2z[k 0 + 1]) .(2.5.2)При λ 6= 0 условие∂ hLpcomp i∂(z[k0 ])= 0, k = 1, M приводит к три диагональной системеуравнений [51].
При λ = 0, оценка каждого элемента z[k] скрытой записи независимаот других z[k], k = 1, M , и может быть вычислена аналитически из одного уравненияс одним неизвестным.2.5.4Вариация эмиссии временного ряда с помощью HMMИз формулы (2.5.1) для ожидаемого полного логарифма правдоподобия Lpcompследует, что производная Lpcomp по σ 2 [i] – вариации эмиссии временного рядаx[i; k], k = 1, N скрытой Марковской моделью имеет видS XNX∂ Lpcomp=p (φ[i; k] = s | x[i]) ×∂ (σ 2 [i])s=1 k=1×∂log (N (x[i; k] | u[i]z [τ [s]] χ[s], σ[i])) .∂ (σ 2 [i])SPp (φ[i; k] = s | x[i]) = 1(условие нормировки) и[s]]χ[s])21log (N (x[i; k] | u[i]z [τ [s]] χ[s], σ[i])) = log √ 2− (x[i;k]−u[i]z[τ, то из условия22σ [i]Посколькуs=12πσ [i]∂ Lpcomp∂(σ 2 [i])hi= 0 следует, чтоσ 2 [i] =SN1 XXp (φ[i; k] = s | x[i]) × (x[i; k] − u[i]z[τ [s]]χ[s])2 .N s=1 k=1(2.5.3)Эта оценка является взвешенной посредством апостериорных вероятностей (2.2.9)39вариации элементов наблюдаемого временного ряда по отношению к элементам базовой скрытой записи – стандартный результат M-шага с аналитической формулойдля оценки параметра.
Однако налагается ограничение в виде ∀i, j ∈ 1, K,σ 2 [i]σ 2 [j]<F, т.е. вариации эмиссии для наблюдаемых временных рядов одного класса не могут отличаться больше, чем на фактор F . Альтернативное представление этогоограничения – это набор линейных ограничений на логарифм вариаций ∀i, j ∈1, K, log (σ 2 [i]) − log (σ 2 [j]) < F. Это ограничение накладывается, потому что в противном случае скрытая запись z (2.3.1) может воспроизводить один из наблюдаемыхвременных рядов, и для этого временного ряда вариация эмиссии σ 2 [i] становится напорядок меньше чем у других наблюдаемых временных рядов.M-шаг для вариаций эмиссии может быть легко модифицирован, чтобы учесть этоограничение, при условии, что оно инициализированы так, что удовлетворяют этомуусловию.
Идея состоит в том, чтобы сначала вычислить оценку без ограничения, изатем для каждой оцениваемой вариации σ 2 [i] проверить, приемлема ли ее оценка безприменения ограничения. Если это так, то оценка σ 2 [i] (2.3.3) принимается. Если нет,то насколько возможно, произвести правильное обновление, так чтобы не нарушатьограничение. Циклически проходится набор σ 2 [i], i = 1, K до тех пор, пока хотябы один из них не перестает меняться. Этот алгоритм гарантирует неуменьшениеожидаемого полного логарифма правдоподобия Lpcomp , поскольку каждый раз приизменении величины σ 2 [i], с необходимостью увеличивается Lpcomp .2.5.5Вероятности переходов между скрытыми состояниямиПараметры мультиномиальных распределений (2.3.5) и (2.3.6) удовлетворяютJPусловиям нормирования:θ[i; j] = 1 и 2ξ[1] + 2ξ[2] = 1.
Поэтому, для оценкиj=1θ[i; j] = 1, i = 1, K, j = 1, J необходимо выполнить минимизацию с ограничением.Это делается посредством множителей Лагранжа, которые используют тот факт,что градиент функции ограничения должен быть параллелен градиенту ожидаемогологарифма правдоподобия Lpcomp , который минимизируется, в точке, где решение неверно (если действует условие нормирования). Таким образом, требуются следующиеуравнения, где Λ[i], i = 1, K − множители Лагранжа:40∂∂ (θ[i; j])Lpcomp − Λ[i]JX!θ[i; j]=j=1∂=∂ (θ[i; j])log (D (θ[i; j]|η[j])) +S XXNXs=1SX{s0 |τ [s0 ]−τ [s]=j}SXη[j]+− Λ[i] =θ[i; j] s=1NXXk=2S XXNXp (φ[i; k − 1] = s, φ[i; k] = s0 | x[i]){s0 |τ [s0 ]−τ [s]=j} k=21− Λ[i].θ[i; j](2.5.4)Для каждого i = 1, K имеется J производных (2.5.4). Приравнивая эти производные нулю получаем J уравнений.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
