240-1671 (Метод Дэвидона-Флетчера-Пауэлла)

М етод Дэвидона - Флетчера - Пауэлла. Бойко Константин.

Министерство науки, высшей школы и технической

политики Российской Федерации.

Новосибирский Государственный

Технический Университет.

Реферат по исследованию операций на тему

«Метод Дэвидона - Флетчера - Пауэлла».

Вариант №2.

Факультет: АВТ.

Кафедра: АСУ.

Группа: АС-513.

Студент: Бойко Константин Анатольевич.

Преподаватель: Ренин Сергей Васильевич.

Дата: 19 октября 1997 года.

Новосибирск

Введение.

Первоначально метод был предложен Дэвидоном (Davidon [1959] ), а затем развит Флетчером и Пауэллом (Fletcher, Powell [1963] ). Метод Дэвидона - Флетчера - Пауэлла называют также и методом переменной метрики. Он попадает в общий класс квазиньютоновских процедур, в которых направления поиска задаются в виде -D_j f(y). Направление градиента является, таким образом, отклоненным в результате умножения на -D_j , где D_j - положительно определенная симметрическая матрица порядка n õ n, аппроксимирующая обратную матрицу Гессе. На следующем шаге матрица D_j+1 представляется в виде суммы D_j и двух симметрических матриц ранга один каждая. В связи с этим схема иногда называется схемой коррекции ранга два.

Алгоритм Дэвидона - Флетчера - Пауэлла.

Рассмотрим алгоритм Дэвидона - Флетчера - Пауэлла минимизации дифференцируемой функции нескольких переменных. В частности, если функция квадратичная, то, как будет показано позднее, метод вырабатывает сопряженные направления и останавливается после выполнения одной итерации, т.е. после поиска вдоль каждого из сопряженных направлений.

Начальный этап.

Пусть >0 - константа для остановки. Выбрать точку х₁ и начальную симметрическую положительно определенную матрицу D₁. Положить y₁ = x₁, k = j = 1 и перейти к основному этапу.

Основной этап.

Шаг 1. Если çê f(y_j) çê< e, то остановиться; в противном случае положить d_j = - D_j f(y_j) и взять в качестве l_j оптимальное решение задачи минимизации f(y_j + ld_j) при l ³ 0. Положить y_j+1 = y_j + l_jd_j. Если j < n, то перейти к шагу 2. Если j = n, то положить y₁ = x_k+1 = y_n+1, заменить k на k+1, положить j=1 и повторить шаг 1.

Шаг 2. Построить D_j+1 следующим образом :

, (1)

где

p_j = l_jd_j, (2)

q_j = f(y_j+1) - f(y_j). (3)

Заменить j на j + 1 и перейти к шагу 1.

Пример.

Рассмотрим следующую задачу :

минимизировать (x₁ - 2)⁴ + (x₁ - 2x₂)².

Результаты вычислений методом Дэвидона - Флетчера - Пауэлла приведены в таблице 1.

Таблица 1. Результаты вычислений по методу Дэвидона - Флетчера - Пауэлла.

На каждой итерации вектор d_j для j = 1, 2 определяется в виде
–D_j f(y_j), где D₁ ­­– единичная матрица, а D₂ вычисляется по формулам (1) - (3). При
k = 1 имеем p₁ = (2.7, -1.49)^T, q₁ = (44.73, -22,72)^T. На второй итерации
p₁ = (-0.1, 0.05)^T, q₁ = (-0.7, 0.8)^T и, наконец, на третьей итерации
p₁ = (-0.02, 0.02)^T, q₁ = (-0.14, 0.24)^T. Точка y_j+1 вычисляется оптимизацией вдоль направления d_j при начальной точке y_j для j = 1, 2. Процедура остановлена в точке
y₂ = (2.115, 1.058)^T на четвертой итерации, так как норма çêf(y₂) çê= 0.006 достаточно мала. Траектория движения, полученная методом, показана на рисунке 1.

Рисунок 1. Метод Дэвидона - Флетчера - Пауэлла.

Лемма 1 показывает, что каждая матрица D_j положительно определена и d_j является направлением спуска.

Для доказательства леммы нам понадобится :

Теорема 1. Пусть S - непустое множество в Е_n, точка x Î cl S. Конусом возможных направлений в точке x называется множество D = {d : d ¹ 0, x + ld Î S при всех l Î (0, d) для некоторого d > 0}.

Определение. Пусть x и y - векторы из Е_n и |x^Ty| - абсолютное значение скалярного произведения x^Ty. Тогда выполняется следующее неравенство, называемое неравенством Шварца : |x^Ty| £ ||x|| ||y||.

Лемма 1.

Пусть y₁ Î Е_n, а D₁ – начальная положительно определенная симметрическая матрица. Для j = 1, ..., n положим y_j+1 = y_j + l_jd_j, где d_j = –D_j f(y_j), а l_j является оптимальным решением задачи минимизации f(y_j + ld_j) при l ³ 0. Пусть, кроме того, для
j = 1, ..., n – 1 матрица D_j+1 определяется по формулам (1) - (3). Если f(y_j) ¹ 0 для
j = 1, ..., n, то матрицы D₁, ..., D_n симметрические и положительно определенные, так что d₁, ..., d_n – направления спуска.

Доказательство.

Проведем доказательство по индукции. При j = 1 матрица D₁ симметрическая и положительно определенная по условию леммы. Кроме того,
f(y₁)^Td₁ = – f(y₁)^TD₁ f(y₁) < 0, так как D₁ положительно определена. Тогда по теореме 1 вектор d₁ определяет направление спуска. Предположим, что утверждение леммы справедливо для некоторого j £ n – 1, и покажем, что оно справедливо для j+1. Пусть x – ненулевой вектор из E_n, тогда из (1) имеем

(4)

Так как D_j – симметрическая положительно определенная матрица, то существует положительно определенная матрица D_j^1/2, такая, что D_j = D_j^1/2D_j^1/2. Пусть
a = D_j^1/2x и b = D_j^1/2q_j. Тогда x^TD_jx = a^Ta, q_j^TD_jq_j = b^Tb и x^TD_jq_j = a^Tb. Подставляя эти выражения в (4), получаем :

(5)

По неравенству Шварца имеем (a^Ta)(b^Tb) ³ (a^Tb)². Таким образом, чтобы доказать, что x^TD_j+1x ³ 0, достаточно показать, что p_j^Tq_j > 0 и b^Tb > 0. Из (2) и (3) следует, что

p_j^Tq_j = l_jd_j^T[ f(y_j+1) – f(y_j)]. (6)

По предположению f(y_j) ¹ 0, и D_j положительно определена, так что
f(y_j)^TD_j f(y_j) > 0. Кроме того, d_j – направление спуска, и, следовательно, l_j > 0. Тогда из (6) следует, что p_j^Tq_j > 0. Кроме того, q_j ¹ 0, и , следовательно, b^Tb= q_j^TD_jq_j > 0.

Покажем теперь, что x^TD_j+1x > 0. Предположим, что x^TD_j+1x = 0. Это возможно только в том случае, если (a^Ta)(b^Tb) = (a^Tb)² и p_j^Tx = 0. Прежде всего заметим, что
(a^Ta)(b^Tb) = (a^Tb)² только при a = lb, т.е. D_j^1/2x = lD_j^1/2q_j. Таким образом, x = lq_j. Так как x ¹ 0, то l ¹ 0. Далее, 0 = p_j^Tx = l p_j^Tq_j противоречит тому, что p_j^Tq_j > 0 и l ¹ 0. Следовательно, x^TD_j+1x > 0, т.е. матрица D_j+1 положительно определена.

Поскольку f(y_j+1) ¹ 0 и D_j+1 положительно определена, имеем
f(y_j+1)^Td_j+1 = – f(y_j+1)^T D_j+1 f(y_j+1) < 0. Отсюда по теореме 1 следует, что d_j+1 – направление спуска.

Лемма доказана.

Квадратичный случай.

В дальнейшем нам понадобиться :