tus17 (Практические занятия по теории управления)

Семинар 17.НАХОЖДЕНИЕ ОПТИМАЛЬНОГО УПРАВЛЕНИЯДЕТЕРМИНИРОВАННЫМИ СИСТЕМАМИ С ПОЛНОЙ ОБРАТНОЙСВЯЗЬЮПостановка задачиПусть поведение модели объекта управления описывается обыкновеннымдифференциальным уравнениемx (t )  f (t , x (t ), u(t )) ,(1)где x – вектор состояния системы, x  R n ; u – вектор управления, u  U  R q ;U – некоторое заданное множество допустимых значений управления,t T  [t 0 , t1 ] – промежуток времени функционирования системы, моменты началапроцесса t 0 и окончания процесса t1 заданы, f (t , x , u ):T  R n  U  R n ; R n – n мерное евклидово пространство.Начальное условие x (t 0 )  x 0  R n , где начальное состояние x 0 заранее незадано и может быть произвольным.Определим множество допустимых процессов D(t 0 , x 0 ) как множество парd  (x (), u()) , которые включают траекторию x () и управление u() (гдеt T : x (t )  R n , u (t ) U , функции x () непрерывны и кусочно-дифференцируемы,а u() кусочно-непрерывны), удовлетворяющие уравнению (1) с начальным условиемx (t 0 )  x 0 почти всюду на T .На множестве D(t 0 , x 0 ) определим функционал качества управленияI (d ) t1f 0 (t , x (t ), u(t )) dt  F ( x (t1 )) ,(2)t0где f 0 (t , x , u ) , F (x ) – заданные непрерывно дифференцируемые функции.Предполагается, что при управлении используется информация о времени t ивекторе состояния x .Множество U n допустимых управлений с полной обратной связью(позиционных управлений) образуют функции u (t , x ):T  R n  U , которые длясостоянийпорождаютсоответствующиепарылюбыхначальныхгдепрограммныеуправленияu()  U 0 ,аd  ( x (), u ())  D(t 0 , x 0 ) ,t T u (t )  u (t , x (t )) .Применяемое в каждый момент времени t T управление имеет видуправления с полной обратной связью по вектору состояния (рис.

1).Требуется найти такую функцию u  (t , x ) U n , чтоI (d  ) mind D (t 0 , x 0 )I (d )x 0  R n ,(3)где d   ( x  (), u  ()  u  (, x ())) .1x (t 0 )  x 0  R ndx f (t , x (t ), u(t ))dtx (t )u(t , x )u(t )  u (t , x (t ))Рис. 1Функция u  (t , x ) U nназывается оптимальным управлением с полнойобратной связью. Для любого начального состояния x 0 из множества R n онапорождает соответствующую оптимальную пару, т.е. оптимальную траекторию x  () иоптимальное программное управление u  () .Уравнение БеллманаДостаточным условием минимума функционала (2) является уравнениеБеллмана для непрерывных детерминированных систем.Обозначим: Q  (t 0 , t1 )  R n ; C 1,1 (Q ) - множество функций (t , x ) : Q  R ,непрерывно дифференцируемых по t и x .Утверждение (достаточные усл о в ия оптимальности в задаче (3)).Если существует функция (t , x ) C 1,1 (Q ) , удовлетворяющая уравнению Беллманас граничным условием  (t , x ) n  (t , x )max f i (t , x, u)  f 0 (t , x, u)   0u U i 1  x i t(t1 , x )   F ( x )(t , x ) Q ,(4)x  R n ,и управление u  (t , x )  U n , удовлетворяющее условию n  (t , x )u (t , x )  arg max  f i (t , x, u )  f 0 (t , x, u)  ,uU  i 1  x iто u  (t , x ) является оптимальным управлением с полной обратной связью.При этом минимальное значение функционала (2)mind D (t 0 , x 0 )I (d )   (t 0 , x 0 ) x 0  R n .(5)2АЛГОРИТМ СИНТЕЗА ОПТИМАЛЬНОГО УПРАВЛЕНИЯС ПОЛНОЙ ОБРАТНОЙ СВЯЗЬЮ1.

Записать уравнение Беллмана (4) с граничным условием.2. Найти структуру оптимального управления с полной обратной связью врезультате поиска максимума в (4) по управлению. Искомое управление u  (t , x )обычно выражается через производные функции (t , x ) .3. Подставить полученное выражение для управления в уравнение (4). Проблемасводится к решению нелинейного дифференциального уравнения с частнымипроизводными первого порядка.4. Найти решение полученного уравнения и явный вид искомого управления.З а м е ч а н и е.1.

Рассмотрим общий случай. Пусть поведение модели объекта управленияописывается обыкновенным дифференциальным уравнениемx (t )  f (t , x (t ), u(t )) ,(1.1)где x – вектор состояния системы, x  ( x1 ,  , x n )T  R n ; u – вектор управления,u  (u1 ,..., uq )T  U  R q , U – некоторое заданное множество допустимыхзначений управления; t – время, t  T  [t 0 , t1 ] – промежуток временифункционирования системы; f (t , x, u ) – непрерывная вместе со своими частнымипроизводнымивектор-функция,f (t, x, u)  ( f1 (t, x, u),..., f n (t, x, u))T ,f (t , x, u ) : T  R n  U  R n ; R n – n-мерное евклидово пространство.Момент начала процесса t 0 задан, а момент окончания процесса t1определяется первым моментом достижения точкой (t , x (t )) некоторой заданнойповерхности   R n 1 :  { (t1 , x ) | i (t1 , x )  0, i  1,..., l ; t1  (t 0 ,  ), x  R n } ,(1.2)т.е.

в момент t1 должны выполняться условияi (t1 , x (t1 ))  0 ,i = 1,  , l ,где 0  l  n  1 , при l  n  1 множество  представлено точкой в пространствеR n 1 , функции i (t1 , x ) – непрерывно дифференцируемы; система векторов  i (t1 , x )  (t , x )  i (t1 , x )  , i  1,..., l , линейно независима (t1 , x )  R n 1 .,,, i 1 x xn t11Определим множество допустимых процессов D (t 0 , x 0 ) как множество троекd  (t1 , x (), u()) , которые включают момент окончания процесса t1 , траекторию x ()и управление u() (где t  T : x (t )  R n , u(t )  U , функции x () непрерывны икусочно-дифференцируемы, а u()  U 0 кусочно-непрерывны), удовлетворяющиеуравнению (1.1) с начальным условием x (t 0 )  x 0 почти всюду на множестве T иусловию (1.2).3На множестве D (t 0 , x 0 ) определим функционал качества управленияI (d ) t1f 0 (t , x (t ), u(t )) dt  F (t1 , x (t1 )) ,(1.3)t0где f 0 (t , x, u ) , F (t1 , x ) – заданные непрерывно дифференцируемые функции.Обозначим Q  R n 1 – множество точек (t , x ) , из которых можно достигнутьтерминального множества  по некоторой траектории, соответствующейдопустимому управлению; Q (t 0 ) - сечение множества Q при фиксированном t  t 0 .Начальное состояние x 0 заранее не задано и может быть произвольным в множествеQ (t 0 ) .Множество U n допустимых управлений с полной обратной связью(позиционных управлений) образуют функции u (t , x ) : T  R n  U , которые длялюбых начальных состояний x 0  Q (t 0 ) порождают соответствующие тройкиd  (t1 , x (), u())  D (t 0 , x 0 ) ,гдепрограммныеуправленияu()  U 0 ,аt  T u(t )  u (t , x (t )) .Требуется найти такую функцию u  (t , x )  U n , чтоI (d  ) mind  D (t0 , x0 )I (d )x 0  Q (t 0 ) ,(1.4)где d   (t1 , x  (), u  ()  u  (, x ())) .Функция u  (t , x )  U n называется оптимальным управлением с полнойобратной связью.

Для любого начального состояния x 0 из множества Q (t 0 ) онапорождает соответствующую оптимальную тройку, т.е. оптимальную траекториюx  () , оптимальное программное управление u  () , оптимальный момент окончанияпроцесса t1 .Введем в рассмотрение множество  функций (t , x ) : Q  R , непрерывнодифференцируемых всюду, за исключением конечного числа сечений Q прификсированных t .Утверждение (достаточные условия оптимальности в задаче (4)).Если существует функция (t , x )   , удовлетворяющая уравнению Беллмана сграничными условиями  (t , x ) n  (t , x )max f i (t , x, u)  f 0 (t , x, u )  0u U i 1  x i t(t1 , x )   F (t1 , x )(t , x )  Q ,(1.5)(t1 , x )  ,и управление u  (t , x )  U n , удовлетворяющее условию n  (t , x )u  (t , x )  arg max  f i (t , x , u)  f 0 (t , x , u ) , i 1  x iu U(1.6)4то u  (t , x ) является оптимальным управлением с полной обратной связью в задаче(1.4).

При этом минимальное значение функционалаmind  D (t0 , x0 )I (d )   (t 0 , x 0 )(t 0 , x 0 )  Q .положитьто,используя2.Если Б (t , x )   (t , x ) ,равенство:max f ( x )   min [ f ( x )] , можно переписать уравнение Беллмана (4) и граничноеусловие в эквивалентной форме:   Б (t , x ) n   Б (t , x )min f i (t , x, u )  f 0 (t , x, u )u U t xii 1a  0 ,  (t1 , x )  F (x ) .(1.7)При этом минимальное значение функционалаmind D (t 0 , x 0 )I (d )   a (t 0 , x 0 )x 0  R n .(1.8)Пример 1. Даны модель объекта управленияx (t )  u(t ) ,где x  R , u  R , t  [0; 1] , и функционал1I (d ) 21u 2 (t ) dt 01 2x (1)  min .2Требуется найти оптимальное управление u  (t , x ) . Сравнивая с общей постановкой задачи,11f 0 (t , x, u )  u 2 , F ( x )  x 2 .

Решается задача Больца.22имеем:f (t , x, u )  u ,1. Выписываем уравнение Беллмана и граничное условие:  (t , x )  (t , x )1 max u  u2   0,u2 x t(1, x )  1 2x .22. Находим структуру оптимального управления из условия максимумавыражения в фигурных скобках. Применяя необходимое условие безусловного (t , x )     (t , x ) u  0 , получаем u  (t , x ) .экстремума:xux3. ПодставляемБеллмана:полученноевыражениедляуправления2 (t , x ) 1   (t , x )    0,t2  x (1, x )  вуравнение1 2x .251K 2 (t )x 2 , где K 2 (t ) –2неизвестная функция. Подставляя в п.3 и приравнивая коэффициенты при x 2 нулю,dK 21  dt , получаем K 2 (t )  K 22 (t ) , K 2 (1)  1 . Отсюда t C ,K2K 224.

Будем искать решение уравнения в виде (t , x ) 111, K 2 (1)  1, C  2 , K 2 (t ) , а искомое оптимальноеt Ct 21 Cx.управление с полной обратной связью u  (t , x )  K 2 (t ) x t 2K 2 (t ) Покажем, что оптимальное управление u  (t , x ) с обратной связью порождаетоптимальные пары ( x  (), u  ()) для любого начального условия. Действительно, пустьуправление u  (t , x ) используется в схеме, изображенной на рис.1. Тогда запишемxуравнение, описывающее поведение замкнутой системы: x , x (0)  x 0 . Отсюдаt 2x (2  t )x12tx0, u  (t )  u  (t , x  (t ))    0 .