Диссертация (1150745), страница 5
Текст из файла (страница 5)
. , T − 1.f (x0 , u) ∈ X(2.2)Отсюда следует способ понижения размерности задачи поиска оптимальногопервого такта управляющей последовательности u(0): слагаемые функционала,зависящие от остальных тактов, можно заменить их оптимальной суммой.При реализации регулятора «предиктор-корректор» подход динамическогопрограммирования особенно уместен: вычисление всей последовательностиuопт (0, x0 ), uопт (1, x0 ), . . . , uопт (T − 1, x0 )в задаче (1.3) представляется напрасным, поскольку в систему все равно подается только uопт (0, x0 ). С этим подходом, однако, связана проблема: функция1Iопт(x) неизвестна и, вообще говоря, не имеет аналитического выражения.11Приблизим Iопт(x) какой-либо функцией Fопт(x).
Имея такую аппрокси-мацию, можно взамен I построить следующий приближенный функционал,зависящий только от одного такта управления:1F (x0 , u) = ` f (x0 , u), u + Fоптf (x0 , u) .Поставим для функционала F задачу оптимального управленияF (x0 , u) → inf ,uu∈U,f (x0 , u) ∈ X .(2.3)29Определение 7. Решение uдин (x0 ) задачи (2.3) будем называть решением задачи приближенного динамического программирования, отвечающим начальному условию x0 .
Будем считать, что оно всегда существует. Если оно неединственно, выберем его произвольно и далее будем считать однозначно определенным.Определение 8. Функцией Беллмана задачи оптимального управления называется оптимальное значение функционала качества как функция начального состояния системы. Например, в задаче (1.3) это Iопт (x0 ), в последовательsности задач (2.1) — Iопт(x0 ), а в (2.3) — Fопт (x0 ).Ниже будет доказано, что при достаточно точной аппроксимации функ11ции Беллмана (Fопт≈ Iопт) решение задачи приближенного динамическогопрограммирования является достаточно точной аппроксимацией оптимального управления в том смысле, что оно, во-первых, сохраняет устойчивость и,во-вторых, значение функционала на приближенном управлении достаточноблизко к оптимальному.2.2.2Вспомогательный результат: непрерывностьфункции БеллманаsВ данном параграфе покажем, что функции Беллмана Iопт(x) непрерывныи даже липшицевы.Теорема 3.
В сделанных выше предположениях каждая из функций Беллsмана Iопт(x), где s = 1, 2, . . . , T , удовлетворяет условию Липшица с констанs , причем LI sтой LIоптдопустимо определить рекуррентной формулойоптss+1LIопт= (3γ + 1)Lf 2L` ρ(X ) + LIопт+ 6γL` ρ(U ),Tв которой LIопт= 2L`T ρ(X ).Доказательство. Будем доказывать теорему по индукции для всех функцийsTIопт, начиная с s = T . Для Iопт(x) = `T (x) она, очевидно, верна, причем30соответствующая константа ЛипшицаTLIопт= 2L`T ρ(X ).s+1sПредположим, что теорема доказана для Iопт, и докажем ее для Iопт.Сумму, минимизируемую в выражении (2.2), обозначим `s x0 , u(0) , а точкиминимума функций `s (x1 , u) и `s (x2 , u) обозначим соответственно u1 и u2 :sIопт(x1 ) =min`s (x1 , u) = `s (x1 , u1 ),u∈Uf (x1 , u) ∈ XsIопт(x2 ) =min`s (x2 , u) = `s (x2 , u2 ).u∈Uf (x2 , u) ∈ XОбратим внимание, что множество, на котором разыскивается минимум `s (x, u),зависит от x, потому, вообще говоря, управление u2 недопустимо для x1 , а u1 –для x2 .
Тем не менее, согласно предположению 12, эти множества близки дляблизких значений x в том смысле, что существуют такие значения ũ1 , ũ2 ∈ U ,которые допустимы и для x1 , и для x2 , т. е. f (x1,2 , ũ1 ) ∈ X и f (x1,2 , ũ2 ) ∈ X ,причемkũ1 − u1 k 6 γkx1 − x2 k,kũ2 − u2 k 6 γkx1 − x2 k.В силу оптимальности`s (x1 , u1 ) 6 `s (x1 , ũ2 ),`s (x2 , u2 ) 6 `s (x2 , ũ1 ),а поскольку функция `s (x, u) липшицева (предположение 3), можно записатьеще и следующие неравенства:`s (x1 , ũ1 ) − `s (x2 , ũ1 ) 6 K1 kx1 − x2 k,`s (x1 , ũ2 ) − `s (x2 , ũ2 ) 6 K1 kx1 − x2 k,`s (x1 , u1 ) − `s (x1 , ũ1 ) 6 K2 kx1 − x2 k,`s (x2 , u2 ) − `s (x2 , ũ2 ) 6 K2 kx1 − x2 k,31гдеs+1 ,K1 = Lf 2L` ρ(X ) + LIоптK2 = γ K1 + 2L` ρ(U ) .Из перечисленных неравенств следует, что`s (x1 , u1 ) − `s (x2 , u2 ) 6 (K1 + 3K2 )kx1 − x2 k,sт.
е. достаточно положить LIопт= K1 + 3K2 . Теорема доказана.Особую роль при доказательстве теоремы играет предположение 12. Покажем, как можно на практике установить, что оно имеет место. Следующая лемма содержит достаточные для этого условия. Фактически она описывает ситуацию, когда любое управление, которое переводит некоторую точку на границумножества X , всегда можно немного изменить, чтобы эта точка отображаласьвнутрь X .Лемма 3. Пусть наряду с предположениями 2, 3 и 10 выполнено следующее:1. Множество X выпукло и имеет гладкую границу ∂X , орт внешнейнормали к которой в точке x равен nx (x).
Множество U также выпукло с гладкой границей ∂U и ортом nu (u).2. Существуют такие два числа σ > 0 и ν > 0, что при всех x ∈ X иu ∈ U , для которых f (x, u) ∈ ∂X , у системы неравенствnx (x)T B(x, u)v < −σkB(x, u)vk − νесть решение v, равное по норме единице.
Если при этом u ∈ ∂U , тотакое решение имеет системаnx (x)T B(x, u)v < −σkB(x, u)vk − ν,nu (u)T v < −σkvk − ν.32Тогда выполняется и предположение 12, причемγ=Lf.σνДоказательство. Рассмотрим значения x̄ ∈ X и ū ∈ U , о которых идет речьв предположении 12: f (x̄, ū) ∈ X . Покажем сначала, что предположение 12выполняется локально: при каждом x ∈ Bρ (x̄) ∩ X найдется такое u ∈ U , чтоf (x, u) ∈ X и ku − ūk 6 γkx − x̄k.
Здесь ρ и γ могут, вообще говоря, зависетьот x̄ и ū.Если точка f (x̄, ū) лежит внутри X , ее можно окружить окрестностьюBR f (x̄, ū) ⊂ X . По предположению 3|f (x, ū) − f (x̄, ū)| 6 Lf kx − x̄k,поэтому для локального выполнения (12) достаточно выбрать ρ = R/Lf , γ = 0и u = ū.Будем считать теперь, что f (x̄, ū) ∈ ∂X . Получим решение v системы неравенствnx (x̄)T B(x̄, ū)v < −σkB(x̄, ū)vk − ν.Если же, кроме того, ū ∈ ∂U , найдем v из системыnx (x̄)T B(x̄, ū)v < −σkB(x̄, ū)vk − ν,nu (ū)T v < −σkvk − ν.Согласно условию леммы, вектор v существует, причем можно принять, чтоkvk = 1. Выберем u = ū+εv, где ε определяется так, что u ∈ U и BR f (x̄, u) ⊂X при некотором R. Эти требования удовлетворяются при достаточно маломε по построению вектора v.Действительно, по предположению 2kf (x̄, u) − f (x̄, ū) − εB(x̄, ū)vk 6 Mf ε2 kvk2 .33Зададимся сначала целью выбрать ε > 0 и R > 0 так, чтоBR f (x̄, ū) + εB(x̄, ū)v ⊂ X .Иначе говоря, дан луч, выходящий из точки f (x̄, ū) ∈ ∂X и направленныйвдоль вектора B(x̄, ū)v, т.
е. внутрь X , согласно выбору v. Требуется околонекоторой точки луча, лежащей вблизи его начала, описать сферу, содержащуюся в X . Система неравенств для выбора вектора v позволяет гарантировать,что cos α > σ, где α — угол между лучом и внутренней нормалью к ∂X .Кривизна гладкой поверхности ∂X ограниченная, поэтому худшая ситуация,которая может быть, с точки зрения выбора максимального R, — когда ∂Xпредставляет собой сферу некоторого радиуса r.
Полагая, что так и есть, и используя геометрические соображения, можно показать, что достаточно выбратьR=r−pr2 + ε2 kBvk2 − 2rεσkBvk.Принимая во внимание нелинейность, R необходимо сократить:R=r−pr2 + ε2 kBvk2 − 2rεσkBvk − Mf ε2 kvk2 .Поскольку kvk = 1, а из определения v можно заключить, что kBvk > ν,возьмемR=r−pr2 + ε2 kBk2 − 2rεσν − Mf ε2 .Это значение имеет смысл (положительно) для достаточно малых ε, потомучто производная его по ε при ε = 0 равна σν > 0. Для дальнейшего достаточноприближенно положить R = σνε/2.Заключаем, что свойство 12 выполняется в ρ-окрестности точки x̄ при ρ =R/Lf =σνε2Lf ,γ=2Lfσνи достаточно малом ε.
Чтобы распространить такое свой-ство на множество X , покроем его конечным набором ρ-окрестностей, причемε мало настолько, чтобы удовлетворять всем точкам множества X . Если x иx̄ лежат в разных окрестностях, можно сформировать последовательность из34примерно kx − x̄k/ρ точек на расстоянии не более ρ одна от другой и, пользуясьлокальным свойством, построить требуемое u так, чтобыku − ūk 6kx − x̄k 2Lfρ.ρσνЗаметив, что вместо 2 в числителе можно было взять любое число, большее 1,получаем требуемое утверждение.
Лемма доказана.В качестве примера рассмотрим систему x(k + 1) = Ax(k) + Bu(k) с ограничением X = {x : kxk 6 1} и без ограничения на u. Точка x̄ может отображаться этой системой в любую точку линейного многообразия с базисом B,проходящего через Ax̄. Выделяются следующие случаи:• если это многообразие не пересекает множество X при некотором x̄ ∈X , в первую очередь нарушается предположение 11 о существованиидопустимого управления для любого допустимого состояния;• если это многообразие касается X при некотором x̄ ∈ X , то нарушаетсяусловие леммы, поскольку для точек касания (nx )T B = 0;• если это многообразие пересекает внутренность X при любом выбореx̄ ∈ X , условие леммы выполняется.
Введя матрицу B⊥ — ортонор-мированный базис ортогонального дополнения к B, данную ситуациюможно описать выражениемkB⊥T Axk < 1∀x ∈ X ,т. е.kB⊥T Ak < 1.2.2.3Шаг 1: оценка близости решения задачиприближенного динамического программированияк оптимальной обратной связиОценим погрешность аппроксимации решения uопт (0, x) задачи (1.3) решением uдин (x) задачи приближенного динамического программирования (2.3).35Согласно принципу динамического программирования, функция uопт (0, x)является решением задачи1` f (x, u), u + Iоптf (x, u) → inf ,uu∈U,f (x0 , u) ∈ X ,1на ее приближекоторая отличается от (2.3) заменой функции Беллмана Iопт1ние Fопт.
Выше установлено, что функция Беллмана является липшицевой, и1 . Зная эту оценку, можно построитьполучена оценка константы Липшица LIопт11функцию Fопттак, чтобы она равномерно на X \Br аппроксимировала Iоптслюбой заданной точностью. Действительно, справедлива следующая лемма.Лемма 4. При любом µ > 0 существует кусочно аналитически заданная1(x), которая удовлетворяет неравенствунепрерывная функция Fопт11|Fопт(x) − Iопт(x)| 6 µ∀x ∈ X \Br .Доказательство. Пусть на множестве X \Br выбрана сетка из конечного числа точек x̄.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
