Понтрягин Л.С. - Математическая теория оптимальных процессов (2-е издание) (955113), страница 12
Текст из файла (страница 12)
(75)), начинающаяся в момент ив начального положения хз, осуществляла минимум значений функционала (76); момент ~, фиксирован, положение точки х (г,) может быть произвольным. Это — задача с подвижным правым концом, причем многообразие Я, совпадает со всем пространством Х переменных хз, хз,..., х". Поэтому л ю б о й вектор этого пространства является касательным к многообрааию Яг, и условие трансверсальности дает нам фч (Сч) = фз (~ч) = ...
= ф„(Сд)=0. Отсюда следует, что ф, ~ О, и потому мы можем принять ф, = — 1. Итак, ф (~,) = ( — 1, О, ..., 0), и мы получаем следующую теорему. Т е о р е м а 7. Для того чтобы допустимое управление и (с), ~з ~ с == 8ы и соответствующая ей траектория х (8) (см. (75)) давали решение оптимальной задачи (75), (76) с закрепленным левым концом хз и свободным правым концом (моменты времени гз, гч задана), необходимо существование такой ненулевой непрерывной вектор-функции метод динАмическОГО пРОРРАммиРОЕАния 79 ф (1) = (ф„(С), фг (~), ..., фк (1)), соответствующей функциям и (~) и х (с) (см. (77)), что: 1' для всех 8, 7, = С =-см функция о7г (Ч7 (8), х (7), 1, и) кеременноао иЕУ достигает в точке и = и Я максимума ,уу ( р (с), х (с), с, и (г)) = вс ( р (с), х (г), з); 2' 1р (с,) = ( — 1, О, ..., 0).
з 9. Связь принципа максимума с методом динамичесвого программирования В этом параграфе мы вкратце коснемся свяаи, существующей между принципом максимума и методом динамического программирования Р. Беллмана. Метод динамического программирования был рааработан для нужд оптимального управления процессами, имеющими гораздо более общий характер, чем процессы, описываемые системами дифференциальных уравнений. Поэтому метод динамического программирования носит более универсальный характер, чем принцип максимума.
Однако, в отличие от последнего, этот метод не имеет строгого логического обоснования во всех тех случаях, когда им можно с успехом пользоваться как ценным эвристическим средством. Нас, естественно, интересует вопрос о применимости метода динамического программирования к оптимальной задаче, сформулированной в з 2. Обоснование метода динамического программирования, данное Беллманом,предполагает, что к естественным условиям задачи (см.
нашу теорему 1) добавляется еще одно существенное требование в требование дифференцируемости определяемой ниже функции ю (х). Это предположение не вытекает из постановки задачи и представляет собой ограничение, которое, как мы увидим ниже, не выполняется даже в самых простых примерах. После того как это предположение сделано, метод динамического программирования приводит к некоторому уравнению в частных производных, которое мы будем называть уравнением Беллмана. Это уравнение (при некоторых дополнительных условиях) эквивалентно гамильтоновой системе (14), (15) и условию максимума (16), (17).
80 ПРИНЦИП МАКСИМУМА Здесь мы приведем наложение метода динамического программирования н покажем его свяэь с принципом максимума. Для простоты рассмотрим только задачу об оптимальных быстродействиях. Фиксируем некоторую точку х, пространства Х и пусть и (г), г ( 1 ( 1„— оптимальное управление, переводящее (в силу гапона движения (5)) фаэовую точку ив некоторого положения хз(--Х в положение х1, а х (1) — соответствующая оптимальная траектория. Время оптимального перехода 11 — со иэ точки х, в точку х, мы обоэначим черве Т (хз). (Точка х, в обозначении времени перехода не участвует, так как она меняться не будет.) Таким обраэом, функция Т (х,) определена на множестве гг всех твх точек пространства Х, иэ которых воэможен оптимальный переход в точку хз.
Дополнительное предположение, обычно используемое для обосноеания принципа динамического программироеания (и которое мы здесь также примем), заключается е том, что множестао Й открыто е пространстве Х и функция Т (х) имеет непрерывные частные произеодные по координатам точки х. Вместо функции Т(х) обычно вводят функцию в (х) = — Т (х).
так как х (г), гз ( 1 ( с„— оптимальнаЯ тРаектоРиЯ и так как каждый кусок оптимальной траектории также является оптимальной траекторией, то для любого г, Г ~1~ 11, имеет место соотношение в(х(()) = — Т(хо)+1 — (,. Следовательно, ,У, '"'*.'" ~(*(1), (г))= а 1 дв(х(1)) х (с) ев(к(1)) ( (ЗО) =Х око 81 = Ег о 1 Пусть теперь о — проиэвольная точка области управле- ния Г.
Рассмотрим движение фаэовой точки иэ положе- ния х (() под воэдействием постоянного управления, равно- го о. Через бесконечно малый промежуток времени б( .> О фавовая точка будет находиться в положении х (г) + дх, г 91 мвтод динлмичвского п1 огглммнговлння где вектор Нх = (~Ь', ..., дх") определяется соотношениями Их1=/1(х(1), о)Ш, 1=1, ..., и.
(81) цели теперь мы из точки х (1) + Их будем оптимальным обРазом двигатьсЯ в точкУ х„то затРатим на зто вРемЯ, равное Т (х (~) + дх). Таким образом, общее время, затра- ченное при таком способе движения на перемещение из точки х (1) в точку х1, равно Т (х (1) + Ых) + дг. Это время не может быть меньшим, чем время оптимального пере- хода Т(х(1)), т. е. выполнено соотношение Т (х (~) + дх) + + Ж ) Т(х (1)), или, что то же самое, ю (х (1) + ых) — 19 (х (1)) ( си. Э силу (81) последнее неравенство переписывается в виде п д99 (. (1)) )а ( (~) ) аг а 1 или ~~(*()) 1а(х(1), о)(1, о(:У. (82) а 1 Соотношения (80) и (82) показывают, что Зар У д" (х(1)) 1а(ХР), О)=1, 99 и Л'З дха причем верхняя грань достигается при о = и (1).
Так как через каждую точку х~й проходит оптимальная траекто- рия, ведущая в точку х1, то мы приходим к выводу, что функция ю (х) удовлетворяет в области 19 следующему неклассическому уравнению с частными производными, которое мы назовем уравнением Беллманас зпр ~~)~ — () уа(х, и)=1; (83) оси дх а 1 при этом верхняя грань достигается для некотороео и(--У (а именно, длл значения оптимального управления в момент выхода из огочки х), а функция 1е (х) неполо- зсительна и обращается в нуль только в точке х1. Это и есть принцип динамического программирования в применении к рассматриваемой задаче.
ПРИНЦИП МАКСИМУМА сгл. ! Теперь мы покажем, каким образом иа принпипа динамического программирования может быть выведен принцип максимума; при атом выводе функцию е (х) мы будем предполагать д в а ж д ы непрерывно дифференцируемой. В силу этого предположения функция б(* И)ии ~~'„—,("( ) (84) а=! стоящая в (83) под анаком верхней грани, имеет непрерывные первые производные по х', ..., х". Иа принципа динамического программирования непосредственно следует (см. (80) и (83)), что если и (!) — оптимальное управление, переводящее фазовую точку иа положения х, в положение хс, а х (с) — соответствующая оптимальная траектория, то при фиксированном с, (а ( с ( !1, функция л (х, и(!) ) переменного х1=Х достигает в точке х = х (с) максимального значения (равного единице). Иа этого вытекает, что =О, 1=1, ..., и, (а(с(с .
дд(х(с), и (с)) Учитывая вид функции л (х, и) (см. (84)), мы получаем отсюда соотношения Х вЂ” ',"; —."-'('.(' "(')+ а 1 и а' ( ()) ( ( ()' ()) =О 1=1 и (85 дха дхс а выполняющиеся вдоль оптимальной траектории. Далее, мы имеем и ;у, """"("(.(!), (!))= дхадхС а=с и д (де(х(с)) ~ с)ха(с) с( (де(х(с))) ( дх'(, д*' ) дс дс ~ дх' а=! и соотношения (85) переписываются в виде и д (де (х (с))) 'чг! д! (х (с), и (с)) де (х(с)) дС ~ дхс ( ~з дх' дха а 1 мвтод динАмвчвского ИРОРРАммиРОИАния 83 а 91 Таким образом, вдоль всякой оптимальной траектории величины удовлетворяют линейной системе дифференциальных уравнений ~у~,(0 %1 д)а(х(0, и(0) — — — .~во а=1 Кроме того, уравнение Беллмана (83) в силу соотношения (80) записывается в виде а П ~ фа(С)/а(х(г), и(Ю))= зпр ~ Яа(К)УА(х((),и)=1. (88) а=1 авиа Соотношения (87), (88) совпадают с принципом максимума, а соотношение (86) указывает в явном виде связь величин ф; (~) с функцией в (х).
Отметим еще, что, как следует из (88), оптимальные движения всегда можно осуществить таким образом, чтобы вдоль оптимальных траекторий выполнялось равенство Н(ф((), х(г), и(()) =1. (89) Бее эти выводы, напомним, получены при условии двукратной дифференцируемости функции в (х). Без этого дополнительного предположения доказательство соотношения (89) теряет силу. Отметим, что во всех примерах, рассмотренных в 3 5, функция в(х) не имеет первых производных в точках, лежащих на линиях переключения (это устанавливается непосредственными подсчетами).
Так как при этом к а ж д а я оптимальная траектория в течение некоторого отрезка времени проходит вдоль линии переключения, то предположение о дифференцируемости функции в (х) не выполняется ни на одной траектории. Таким образом, даже в самых простейших примерах кредположения, необходимые для вывода уравнения Беллмана, нв выполняются. ГЛАВА 2 ДОКАЗАТЕЛЬСТВО ПРИНЦИПА МАКСИМУМА 5 хО. Допустимые управления Здесь мы дадим точное определение класса допустимых управлений (ср. 3 1) и опишем наиболее важные иа этих классов.
Область управления У будем представлять себе произвольным множеством г-мерного векторного пространства Е„е). Мы будем здесь рассматривать не только кусочно- непрерывные, но и аначительно более общие управления. Управление и (г), ге ~ г ( г (т. е. функция и (г) со значениями в области управления О), нааывается измеримым, если для любого открытого множества 0 ~ Е„множество всех тех значений г, для которых и (8)(-0, измеримо (в смысле обычной лебеговской меры) на отрезке ге г ( с . Ограниченность понимается в обычном смысле, т. е.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
