Динамическое программирование

6.Лекция.   Динамическое программирование.

6.1. Постановка задачи.

Динамическое программирование – раздел оптимального программирования (оптимального управления), в котором процесс принятия решения и управления, может быть разбит на отдельные этапы (шаги).

Динамическое программирование позволяет свести одну сложную задачу со многими переменными ко многим задачам с малым числом переменных. Это значительно сокращает объем вычислений и ускоряет процесс принятия управленческого решения.

Экономический процесс является управляемым, если можно влиять на ход его развития.

Управление – совокупность решений, принимаемых на каждом этапе для влияния на ход развития процесса.

Рекомендуемые материалы

Операция – управляемый процесс, т.е. мы можем выбирать какие-то параметры, влияющие на ход процесса и управлять шагами операции, обеспечивать выигрыши на каждом шаге и в целом за операцию.

Решение на каждом шаге называется «шаговым управлением».

Совокупность всех шаговых управлений представляет собой управление операцией в целом.

При распределении средств между предприятиями шагами целесообразно считать номер очередного предприятия; при распределении на несколько лет ресурсов деятельности предприятия – временной период. В других задачах разделение на шаги вводится искусственно.

Требуется найти такое управление (х), при котором выигрыш обращался бы в максимум:

F(x)=

Где F – выигрыш за операцию;

F_i(x_i) – выигрыш на i-м шаге;

х – управление операцией в целом;

х_i – управление на i-м шаге (i=1,2,…,m). В общем случае шаговые управления (х₁, х₂, … х_m) могут стать числами, векторами, функциями.

То управление (х*), при котором достигается максимум, называется оптимальным управлением. Оптимальность управления состоит из совокупности оптимальных шаговых управлений х* = х*₁, х*₂, … х*_m

F* = max {F*(х*)} – максимальный выигрыш, который достигается при оптимальном управлении х*.

Исходя из условий, каждой конкретной задачи длину шага выбирают таким образом, чтобы на каждом шаге получить простую задачу оптимизации и обеспечить требуемую точность вычислений.

6.2. Принцип оптимальности Беллмана.

Основным методом динамического программирования является метод рекуррентных соотношений; который основывается на использовании принципа оптимальности, разработанного американским математиком Р.Беллманом.

Суть принципа:

Каковы бы ни были начальное состояние на любом шаге и управление, выбранное на этом шаге, последующие управления должны выбираться ОПТИМАЛЬНЫМИ относительно состояния, к которому придет система в конце каждого шага.

Использование данного принципа гарантирует, что управление, выбранное на любом шаге, не локально лучше, а лучше с точки зрения процесса в целом.

                                                    Условная оптимизация

                         Безусловная оптимизация

S_i – состояние системы на i-м шаге. Основная рекуррентная формула динамического программирования в случае решения задачи максимизации имеет вид:

, где максимум в данной формуле берется по всем возможным решениям в ситуации, когда система на шаге m находится в состоянии i.

Величина f_m(i) – есть максимальная прибыль завершения задачи из состояния i,  если предположить, что на шаге m, система находится в состоянии i.

Максимальная прибыль может быть получена максимизацией суммы прибылей самого шага m и максимальной прибыли шага (m+1) и далее, чтобы дойти до конца задачи.

Планируя многошаговую операцию надо выбирать управление на каждом шаге с учетом всех его будущих последствий на ещё предстоящих шагах.

Управление на i-м шаге выбирается не так, чтобы выигрыш именно на данном шаге был максимальным, а так, чтобы была максимальна сумма выигрышей на всех оставшихся шагах плюс данный шаг.

Среди всех шагов последний шаг планируется без оглядки на будущее, т.е. чтобы он сам, как таковой принес наибольшую выгоду.

Задача динамического программирования начинает решаться с конца, т.е. с последнего шага. Решается задача в 2 этапа:

1 этап (от конца к началу по шагам): Проводится условная оптимизация, в результате чего находится условные оптимальные управления и условные оптимальные выигрыши по всем шагам процесса.

2 этап (от начала к концу по шагам): Выбираются (прочитываются) уже готовые рекомендации от 1-го шага до последнего и находится безусловное оптимальное управление х*, равный х*₁, х*₂, …, х*_m.

  6.3.     Задача распределения средств на 1 год.

Пример: имеется запас средств, который нужно распределить между предприятиями, чтобы получить наибольшую прибыль. Пусть начальный капитал S₀=100 д.ед. Функции дохода предприятий даны в матрице прибылей по каждому предприятию.

Решение:

Схема решения:

4 предприятия                                                Условная оптимизация

денег всего S₀=80

                              S_o____Iпр____S₁____IIпр_____S₂____IIIпр____S₃____IVпр________S₄

          1шаг                            2 шаг                       3 шаг                        4 шаг

х₁                                          х₂                                           х₃                                         х₄

        f(x₁)                        f(x₂)                         f(x₃)                     f(x₄)

                                                                                       F₄=max{f(x₄)}

     Безусловная                                    F₃=max{ f(x₃)+F₄}

    Оптимизация                     F₂=max{ f(x₂)+F₃}

                         F₁=max{ f(x₁)+F₂}

 Используется принцип Беллмана:

 Каковы бы ни  были начальное состояние на любом шаге и управление, выбранное на этом шаге, последующие управления должны выбираться оптимальными относительно состояния, к которому придет система в конце каждого шага. Использование данного принципа гарантирует, что управление , выбранное на любом шаге, не локально лучше, а лучше с точки зрения процесса в целом.

 математическая модель прямой задачи:

Экономический смысл переменных:

x_i – количество денег, вкладываемых в i предприятие.

S_i – количество денег, оставшихся после вложения в i-предприятие (состояние системы на i-шаге);

F(x_i) – прибыль от вложенной суммы денег;

S₀ – начальный капитал.

Рассмотрим 4-й шаг:

На 4-ом предприятии может остаться либо 0, либо 20, либо 40, либо 60, либо 100 д.ед.Тогда прибыль от вложения денег можно получить следующую.

Рассмотрим 3-й шаг:

На 3-ем и 4-ем предприятии может остаться либо 0, либо 20, либо 40, либо 60, либо 100 д.ед. Рассмотрим первую возможность. Если 3-му предприятию мы выдаем 20 д.ед. то 4-му предприятию ничего не остается, и наоборот. Соответственно 40 д.ед.можно поделить так (0;40), (20;20);

60 д.ед. – (0;60), (20;40), (40;20), (60;0).

Прибыль от вложения денег в 3-е предприятие берется в исходной матрице прибылей, а прибыль от вложений, денег в 4-е предприятие берется из таблицы предыдущего шага

Прибыль на 3-м шаге берется максимальной по каждому вложению.

Рассмотрим 2-й шаг.

Рассмотрим 1-й шаг.

Анализ результатов:

Максимальная прибыль равна 15 д.ед. Расположить денежные средства между проектами можно несколькими способами:

1)1 проект – 0 д.ед., 2 проект – 0 д.ед., 3 проект – 60 д.ед., 4 проект – 40 д.ед.

2)1 проект – 0 д.ед., 2 проект – 100 д.ед., 3 проект – 0 д.ед., 4 проект – 0 д.ед.

3)1 проект – 20 д.ед., 2 проект – 0 д.ед., 3 проект – 60 д.ед., 4 проект – 20 д.ед.

4)1 проект – 60 д.ед., 2 проект – 0 д.ед., 3 проект – 20 д.ед., 4 проект – 20 д.ед.

5)1 проект – 60 д.ед., 2 проект – 0 д.ед., 3 проект – 0 д.ед., 4 проект – 40 д.ед.

6.4. Задача распределения средств на два года

Найти оптимальный способ распределения средств S₀ = 100 тыс.руб между двумя предприятиями на два года, если вложенные средства в первое предприятие дают доход f₁(x) = 0.9x и возвращаются в размере j₁(x) = 0.5x. Аналогично, для второго предприятия f₂(x) = 0.8x и j₂(x) = 0.7x.

Отсюда можно сделать вывод о том,  что х₁=0, х₂=70, максимальная прибыль за два года составит 143 ден. ед.