Диссертация (Математическое моделирование и оптимизация квазилинейных динамических стохастических систем диффузионного типа, нелинейных по управлению), страница 6

Ввиду того, что переменная состояния x входит вовсе соотношения из раздела 2.1 не более чем во второй степени, функциюψ 0 (t, x) в формуле (1.13), также как и в случае обыкновенных (линейныхпо управлению) квазилинейных стохастических систем [4, 5], будем искатьв виде1ψ 0 (t, x) = xT M (t)x + λT (t)x + γ(t),2(2.3)где t → M (t) : T → Rn×n , t → λ(t) : T → Rn , t → γ(t) : T → R1 – некоторые функции времени такие, что выполнены теоретико-функциональныетребования раздела 1.2, предъявляемые к функции ϕ0 (t, q).Используя формулу (2.3), нетрудно преобразовать лемму 2 в следующий результат.Л е м м а 3.

Если процесс z = (p∗ (·), u(·)) ∈ D и функции M, λ, γ38удовлетворяют условиямdγ(t) = −λT (t)B(t, u(t)) − E(t, u(t))−dtνPTC (l) (t, u(t))M (t)C (l) (t, u(t)),− 21(2.4)dλ (t) = −AT (t, u(t))λ(t) − S(t, u(t)) − M (t)B(t, u(t))−dtνPT− G(l) (t, u(t))M (t)C (l) (t, u(t)),(2.5)l=1l=1dM (t) = −M (t)A(t, u(t)) − AT (t, u(t))M (t) − D(t, u(t))−dtνPT− G(l) (t, u(t))M (t)G(l) (t, u(t)),(2.6)l=1γ(t1 ) = 0,λ(t1 ) = 0,M (t1 ) = Q,(2.7)то справедливо равенство11TJ(z) = tr (M0 K0 ) + mT0 M0 m0 + λ0 m0 + γ0 ,22(2.8)где M0 = M (t0 ), λ0 = λ(t0 ), γ0 = γ(t0 ). Здесь и далее через tr обозначеноператор следа квадратной матрицы.Д о к а з а т е л ь с т в о.

В случае задания ψ 0 (t, x) в виде (2.3) всефункции в равенствах (1.16) и (1.17) примут вид линейно-квадратичныхфункций от x. Приравнивая слагаемые при одинаковых степенях x,из (1.16) получим систему дифференциальных уравнений (2.4)-(2.6),а из (1.17) – условия (2.7) при t = t1 . Аналогично, выражение в правой части (1.18) принимает вид линейно-квадратичной функции, интегрируемойс плотностью p0 по Rn . Этот интеграл вычисляется аналитически с учётомравенствZxT Axp0 (x)dx = tr(AK0 ) + mT0 Am0 ,RnZRnxT Bp0 (x)dx = mT0 B,ZRnCp0 (x)dx = C,39где A ∈ Rn×n , B ∈ Rn , C ∈ R1 – произвольные матрицы. В результатеформула (1.18) преобразуется к виду (2.8).

Для дальнейшего нам потребуется дополнить полученную в лемме 3систему дифференциальных уравнений и условий к ним системой уравнений для функций t → m(t) : T → Rn , t → K(t) : T → Rn×n , имеющихсмысл математического ожидания и ковариационной матрицы случайногопроцесса x(t) [4, 5, 6],dm(t) = A(t, u(t))m(t) + B(t, u(t)),dt(2.9)dK (t) = A(t, u(t))K(t) + K(t)AT (t, u(t))+dtν PTG(l) (t, u(t))K(t)G(l) (t, u(t))++(2.10)l=1+ C (l) (t, u(t)) + G(l) (t, u(t))m(t) · (l)T (l)· C (t, u(t)) + G (t, u(t))m(t),интегрируемых с начальными условиямиm(t0 ) = m0 ,K(t0 ) = K0 ,(2.11)а также установить следующий факт.Л е м м а 4.

При заданном управлении u(·) функции γ, λ, M, m, K,удовлетворяющие условиям (2.4)-(2.7), (2.9)-(2.11), существуют и определены единственным образом.Д о к а з а т е л ь с т в о.Пусть функция u – заданная ограни-ченная борелевская функция на T . Тогда системы уравнений (2.9)-(2.10)и (2.4)-(2.6) с условиями (2.11) и (2.7) представляют собой две задачи Коши, интегрируемые раздельно в прямом и обратном времени соответственно. При этом система уравнений (2.4)-(2.6) является линейной, а линейноеуравнение (2.9) может быть проинтегрировано отдельно от нелинейного40уравнения (2.10), после чего последнее также становится линейным относительно неизвестной функции. Существование и единственность решенийm, K и γ, λ, M для такого рода задач хорошо известны. В целях упрощения нижеследующих построений, мы не будем полностью выписывать вид функционала Лагранжа–Кротова, соответствующий выбору функции ψ 0 в форме (2.3), а продолжим использовать формулу (1.15).

Тем не менее это частично будет проделано далее при доказательстве основных результатов работы.2.3.Улучшение процесса управленияВозьмём некоторый допустимый процесс z = (p∗ (·), u(·)) ∈ D и под-берём функцию ψ 0 вида (2.3) так, чтобы для процесса z выполнялись условия леммы 2 или, что то же самое, леммы 3 (это можно сделать в силулеммы 4).Далее, рассмотрим некоторый другой допустимый процесс z̃ =(p̃(·), ũ(·)) ∈ D. Зафиксируем ψ 0 и запишем формулу вычисления приращения критерия J(·) при переходе от процесса z к процессу z̃. Используя равенство (1.18), вид функционала Лагранжа–Кротова (1.15), условие (1.17)и лемму 1, получимZt1 Z∆J = J(z̃) − J(z) =∂ 0ψ (t, x) + h(t, x, ũ(t)) p̃(t, x)dxdt.

(2.12)∂tt0 RnЗдесь интеграл по Rn с плотностью p̃(t, x) как и в предыдущем разделе может быть вычислен аналитически, на этот раз при помощи функцийm̃(t) и K̃(t), которые имеют смысл математического ожидания и ковариационной матрицы случайного процесса x(t), определяемых плотностью41p̃(t, x), и являются решением задачи Коши (2.9)-(2.11), где вместо управления u(t) используются ũ(t). В результате останется только интегралпо времени, подынтегральная часть которого будет зависеть от t и значений m̃(t), K̃(t), ũ(t), т.е.

формула для ∆J примет видZt1∆J =I(t, m̃(t), K̃(t), ũ(t))dt,(2.13)t0где (t, m̃, K̃, ũ) → I(t, m̃, K̃, ũ) : T × Rn × Rn×n × Rm → R1 – некотораяфункция.Теперь выберем процесс z̃ = (p̃(·), ũ(·)) ∈ D так, чтобы он улучшалзначение функционала качества (1.5), определив управление ũ(·) равенствомũr (t) = ur (t) − θ∂I(t, m(t), K(t), u(t)), r = 1, m, t ∈ T, θ > 0,∂ ũr(2.14)в котором значение θ достаточно мало.При таком подходе использование ũ(·) уменьшает значение критерия по сравнению с u(·), если только не выполнено условие∂I/∂ ũr (t, m(t), K(t), u(t)) = 0 почти всюду на T , r = 1, m. Если же этоусловие выполнено при почти всех t, то такая процедура не улучшает процесс z в смысле функционала J.

Строгие формулировки и доказательстваэтих результатов приведены в теоремах 2 и 3.Вернёмся к функции I(·) и определим значение I(t, m̃(t), K̃(t), ũ(t)).Для этого вычислим интеграл по Rn в правой части (2.12). Используяформулы (1.14) и (2.3), определяющие конструкцию h(t, x, u) и функциюψ 0 (t, x) соответственно, а также обозначения вида Au (t) = A(t, u(t)), запи-42шем первый сомножитель под знаком интеграла:∂ψ 0∂t (t, x)+ h(t, x, ũ(t)) =TdγT dλũũ= 21 xT dM(t)x+x(t)+(t)+A(t)x+B(t)(M (t)x + λ(t)) +dtdtdtν P+ 21xT G(l)ũ (t) + (C (l)ũ )T (t) M (t) G(l)ũ (t)x + C (l)ũ (t) +l=1+ 21 xT Dũ (t)x + (S ũ )T (t)x + E ũ (t).Полученное выражение при каждом фиксированном t представляетсобой линейно-квадратичную функцию от x, интегрируемую с плотностьюp̃(t, x) по Rn .

Как уже отмечалось выше, такие интегралы вычисляютсяаналитически при помощи соотношенийZxT A(t)xp̃(t, x)dx = tr(A(t)K̃(t)) + m̃T (t)A(t)m̃(t),RnZx B(t)p̃(t, x)dx = m̃ (t)B(t),TTRnZC(t)p̃(t, x)dx = C(t),Rnгде t → A(t) : T → Rn×n , t → B(t) : T → Rn , t → C(t) : T → R1 –произвольные функции.В результате интегрирования получим соотношениеI(t, m̃(t), K̃(t), ũ(t)) =dM (t)dγ(t)1= 2 tr dt K̃(t) + 12 m̃T (t) dMdt(t) m̃(t) + m̃T (t) dλ(t)dt + dt +ũ+tr M (t)A (t)K̃(t) + m̃T (t)M (t)Aũ (t)m̃(t)++m̃T (t) (Aũ )T (t)λ(t) + M (t)B ũ (t) + λT (t)B ũ (t)+ν nP1(l)ũ T(l)ũ+) (t)M (t)G (t)K̃(t) +2 tr (Gl=1+ 21 m̃T (t)(G(l)ũ )T (t)M (t)G(l)ũ (t)m̃(t)++m̃T (t)(G(l)ũ )T (t)M (t)C (l)ũ (t) + 21 (C (l)ũ )T (t)M (t)C (l)ũ (t) ++ 21 tr(Dũ (t)K̃(t)) + 21 m̃T (t)Dũ (t)m̃(t) + m̃T (t)S ũ (t) + E ũ (t),(2.15)43а его непосредственное дифференцирование по переменной ũr , r = 1, m вточке (t, m(t), K(t), u(t)) даст формулу∂I∂ũr (t, m(t), K(t), u(t)) =νP1(l)u T(l)u 0u 0u 0= tr M (t)(A )r (t) + (G ) (t)M (t)(G )r (t) + 2 (D )r (t) K(t) +l=1νP1u 0(l)u T(l)u 0Tu 0+m (t) M (t)(A )r (t) + (G ) (t)M (t)(G )r (t) + 2 (D )r (t) m(t)+ l=1+mT (t) ((Au )0r )T (t)λ(t) + M (t)(B u )0r (t)++νP((G(l)u )0r )T (t)M (t)C (l)u (t) + (G(l)u )T (t)M (t)(C (l)u )0r (t) + (S u )0r (t) +l=1T+λ(t)(B u )0r (t)+νP(C (l)u )T (t)M (t)(C (l)u )0r (t) + (E u )0r (t),l=1(2.16)где через (·)0r обозначена производная по ũr .Т е о р е м а 2.

Процедура перехода от управления u к управлению ũс помощью формулы (2.14) при условии ∂I/∂ ũr (t, m(t), K(t), u(t)) 6= 0, t ∈(T \ T0 ), r ∈ {1, m} и достаточно малом θ > 0 является релаксационнойпо критерию J.Д о к а з а т е л ь с т в о.Линеаризуем при каждом t ∈ (T \ T0 )функцию (m̃, K̃, ũ) → I(t, m̃, K̃, ũ) в окрестности точки (m(t), K(t), u(t)),получимZt1 "nX∂I∆J =(t, m(t), K(t), u(t))∆mi (t)+I(t, m(t), K(t), u(t)) +∂m̃ii=1t0"+ tr#!∂I(t, m(t), K(t), u(t))∆K(t) +∂ K̃ijmX∂I+(t, m(t), K(t), u(t))∆ur (t)+∂ũrr=1n X∂I∂I+(t, M(t), K(t), U(t)) −(t, m(t), K(t), u(t)) ∆mi (t)+∂m̃∂m̃iii=144"+ tr#"#!!∂I∂I(t, M(t), K(t), U(t)) −(t, m(t), K(t), u(t)) ∆K(t) +∂ K̃ij∂ K̃ij#m X∂I∂I+(t, M(t), K(t), U(t)) −(t, m(t), K(t), u(t)) ∆ur (t) dt,∂ũ∂ũrrr=1где ∆m = m̃−m, ∆K = K̃ −K, ∆u = ũ−u, а значения M(t) ∈ Rn , K(t) ∈Rn×n , U(t) ∈ Rm определяются равенствами M(t) = (1 − ξ1 (t))m(t) +ξ1 (t)m̃(t), K(t) = (1−ξ2 (t))K(t)+ξ2 (t)K̃(t), U(t) = (1−ξ3 (t))u(t)+ξ3 (t)ũ(t),в которых ξ1 (t), ξ2 (t), ξ3 (t) ∈ [0, 1].

Через [∂I/∂ K̃ij ] обозначена матрица,составленная из соответствующих частных производных.Процесс z = (p∗ (·), u(·)) удовлетворяет условиям леммы 2, а следовательно, по определению (2.13) функции I, для первого подынтегральногослагаемого в полученном выражении справедливо тождествоI(t, m(t), K(t), u(t)) ≡ 0.Кроме того, используя эти условия из леммы 3, непосредственным дифференцированием нетрудно показать справедливость тождеств∂I(t, m(t), K(t), u(t)) ≡ 0,∂ m̃i"#∂I(t, m(t), K(t), u(t)) ≡ 0,∂ K̃ijа значит∆J =Zt1 "Xmt0r=1∂I(t, m(t), K(t), u(t))∆ur (t)+∂ ũrnX∂I+(t, M(t), K(t), U(t))∆mi (t)+∂m̃ii=1"#!∂I+ tr(t, M(t), K(t), U(t))∆K(t) +∂ K̃ij45+#∂I(t, M(t), K(t), U(t)) −(t, m(t), K(t), u(t)) ∆ur (t) dt.∂ ũr∂ ũrm X∂Ir=1Учитывая требования, накладываемые в разделе 2.1 на функции, входящие в правые части (2.15), (2.16) (см.

замечания 1, 2), непрерывностьпо m̃, K̃ функции I вместе с её частными производными, а также непрерывность по ũ(·) функций m̃, K̃ как решения задачи Коши (2.9)-(2.11)при u = ũ, и формулу (2.14) для определения величины ∆ur (t), нетрудноубедиться в том, что∆J = −θ ·Zt1 Xmt0r=1∂I 2(t, m(t), K(t), u(t))dt + o(θ).∂ ũr(2.17)Здесь подынтегральная часть, домноженная на величину −θ, полностьюсовпадает с первым подынтегральным слагаемым из предыдущего выражения (после подстановки ∆ur (t) из формулы (2.14)), в то время как всеостальные слагаемые имеют меньший порядок малости, а значит входятв величину o(θ).Таким образом мы можем заключить, что при достаточно малом θзначение ∆J < 0, если подынтегральное выражение в (2.17) не равно нулюпри t ∈ (T \ T0 ), следовательно рассмотренная процедура является релаксационной.

2.4.Необходимые условия оптимальностиТ е о р е м а 3. Для того чтобы процесс z = (p∗ (·), u(·)) ∈ D был оп-тимален, необходимо существование функций M, λ, γ, удовлетворяющихусловиям (2.4)-(2.7), и функций m, K, удовлетворяющих условиям (2.9)-46(2.11), таких, что при t ∈ (T \ T0 ) выполнены соотношения∂I(t, m(t), K(t), u(t)) = 0,∂ ũrr = 1, m,(2.18)где значения ∂I/∂ ũr вычисляются по формуле (2.16).Д о к а з а т е л ь с т в о.Пусть процесс z оптимален. Тогда про-цедура перехода к процессу z̃ при помощи формулы (2.14), очевидно,не может его улучшить.

При этом функция I в соответствующей точке(t, m(t), K(t), u(t)) определена вместе со своей частной производной по ũ,т.к. функции m, K, M, λ, γ в правых частях (2.15), (2.16) при данномu(·) определены в силу леммы 4. Неулучшаемость процесса z, в свою очередь, исходя из формулы (2.14), влечёт справедливость равенства (2.18)при почти всех t. Таким образом, оптимальный процесс z не удовлетворяет условиямтеоремы 2, и для него процедура перехода к новому управлению с помощьюформулы (2.14) не будет релаксационной.2.5.Численный метод поиска оптимального управленияВ данном разделе при использовании результатов теорем 2 и 3 фор-мулируется численный метод поиска оптимального программного управления u(t), основанный на широко известной процедуре градиентного спускав функциональном пространстве.Пусть процесс z = (p∗ (·), u(·)) ∈ D является некоторым приближением оптимального процесса.

Исходя из результатов двух предыдущих разделов, будем строить следующее приближение z̃ = (p̃(·), ũ(·)) путём переходаот управления u к управлению ũ по формуле (2.14).47После того как функция ũ определена могут быть подсчитаны функции m̃ и K̃, соответствующие плотности p̃. Они определяются численныминтегрированием уравнений (2.9)-(2.10) с условиями (2.11) в прямом времени. После этого из решения задачи Коши (2.4)-(2.7) в обратном времени могут быть найдены функции γ̃, λ̃, M̃ , при помощи которых подсчитываетсязначение критерия J(z̃) по формуле (2.8), и определяется новая функция ψ 0вида (2.3).