48580 (Разработка компьютерного лабораторного практикума "Теория оптимизации и численные методы"), страница 2

Начальные параметры метода: .

Изменяемый параметр метода: величина шага .

Особенности реализации алгоритма. Вопрос о величине шага на каждой итерации решается пользователем, причем шаг может быть, как уменьшен, если не выполняется условие , так и увеличен, если скорость сходимости алгоритма невысока (по субъективной оценке пользователя).

Рекомендации по выбору параметров метода. Согласно алгоритму метода, каждая последующая точка в методе градиентного спуска ищется в направлении направлении антиградиента функции, построенном в текущей точке . Поэтому, если направление антиградиента в текущей точке приблизительно совпадает с направлением на минимум (согласно чертежу), шаг следует увеличить, чтобы ускорить процесс сходимости, если же направление антиградиента сильно отличается от направления на минимум, шаг уменьшают, в противном случае функция может уменьшиться несущественно или даже возрасти.

1. Метод градиентного наискорейшего спуска

Алгоритм метода:

,

здесь

• - направление антиградиента функции

• - шаг вычисляется из условия наибольшего убывания функции в точках последовательности:

Геометрическая интерпретация метода

Рисунок 1.3. Геометрическая интерпретация метода

В методе наискорейшего градиентного спуска последующая точка минимизирующей последовательности также ищется в направлении - направлении антиградиента функции, построенном в текущей точке, но условия вычисления шага позволяют определить наилучшее положение точки на этом направлении. Как видно из чертежа, точка принимает на направлении спуска предельное положение, которое характеризуется тем, что линия уровня, проходящая через точку , касается направления спуска, а, следовательно, в точках минимизирующей последовательности, построенной по методу градиентного наискорейшего спуска, выполняется условие:

Основной критерий окончания метода:

Начальные параметры метода:

Изменяемые параметры метода: отрезок для уточнения шага .

Особенности реализации алгоритма. При решении задачи поиска оптимального шага , функция становится функцией одой переменной , т.к. , а и известны. Следовательно, задача о поиске оптимального шага - это задача , которая в лабораторной работе решается численно методом дихотомии на отрезке с заданной точностью . Вопрос о границах отрезка на каждой итерации решается пользователем.

Рекомендации по выбору параметров метода. При задании на каждой итерации отрезка для уточнения шага, следует помнить, что искомое решение может лежать как внутри, так и на границе интервала .

Проиллюстрируем ситуацию, при которой шаг вычисляется численно методом дихотомии. Для этого построим график функции , которая в случае если является квадратичной функцией, имеет вид:

Рисунок 1.4 Метод дихотомии

Для вычислений по методу дихотомии должен быть задан отрезок для уточнения оптимального значения шага.

Как видно из чертежа, если в качестве отрезка будет выбран , оптимальное значение шага, при котором функция принимает минимальное значение, окажется внутри отрезка, и метод с заданной точностью отыщет это значение. Если же отрезок будет , в качестве результата счета по методу дихотомии будет получено значение - как дающее наименьшее значение функции на отрезке, аналогично при выборе отрезка будет получено значение .

Таким образом, отрезок для уточнения оптимального шага должен быть достаточно большим, чтобы гарантировано включать искомое значение шага. Признаками неверного задания отрезка являются: отсутствие касания траектории спуска из точки и линии уровня функции через точку , а также равенство величины оптимального шага величине одной из границ отрезка .

1. Метод покоординатного спуска

Алгоритм метода:

здесь:

• - проекция на ось антиградиента функции

• - шаг выбирается из условия убывания функции в точках последовательности:

Геометрическая интерпретация метода

Рисунок 1.5. Геометрическая интерпретация метода

Основной критерий окончания метода:

Начальные параметры метода:

Изменяемые параметры метода: величина шага и направление проекции антиградиента (здесь абсциссы – ось , ординаты – ось )

Особенности реализации алгоритма.  Вопрос о величине шага на каждой итерации решается пользователем, причем шаг может быть, как уменьшен, если не выполняется условие , так и увеличен, если скорость сходимости алгоритма невысока (по субъективной оценке пользователя). Вопрос о выборе направления оси для проекции антиградиента, также решается пользователем на каждой итерации.

2. Метод Гаусса-Зейделя (наискорейшего покоординатного спуска)

Алгоритм метода:

здесь:

- проекция на ось антиградиента функции

• - шаг вычисляется из условия наибольшего убывания функции в точках последовательности:

Геометрическая интерпретация метода

Рисунок 1.6. Геометрическая интерпретация метода

Основной критерий окончания метода:

Начальные параметры метода: .

Изменяемые параметры метода: отрезок для уточнения шага .

Особенности реализации алгоритма. Задача о поиске оптимального шага (задача ) решается численно методом дихотомии на отрезке с заданной точностью . Вопрос о границах отрезка на каждой итерации решается пользователем. Направление проекции градиента меняется циклически: сначала спуск в направлении оси абсцисс, затем – ординат и т.д.

Рекомендации по выбору параметров метода. Отрезок задается из тех же соображений, что и в методе наискорейшего спуска.

1. Метод сопряженных градиентов

Алгоритм метода:

здесь:

• - шаг вычисляется из условия наибольшего убывания функции в точках последовательности:

Геометрическая интерпретация метода

Рисунок 1.7. Геометрическая интерпретация метода

Согласно алгоритму, первая итерация метода сопряженных градиентов совпадает с первой итерацией метода наискорейшего спуска.

Вычисление величины по формуле (5.4) обеспечивает для квадратичных функций построение последовательности H-сопряженных направлений , для которых . При этом в точках последовательности градиенты функции взаимно перпендикулярны, т.е.

Основной критерий окончания метода:

Начальные параметры метода:

Изменяемые параметры метода: отрезок для уточнения шага .

Особенности реализации алгоритма. Задача о поиске оптимального шага (задача ) решается численно методом дихотомии на отрезке с заданной точностью . Вопрос о границах отрезка на каждой итерации решается пользователем.

Замечание. Т.к. шаг на каждой итерации вычисляется численно с точностью , за счет накопления ошибки, метод сопряженных градиентов в отдельных случаях может сходиться для квадратичной функции за число итераций, превышающее число переменных.

Рекомендации по выбору параметров метода.

Отрезок задается из тех же соображений, что и в методе наискорейшего спуска.

1. Метод Ньютона

Алгоритм метода:

здесь:

• - направление спуска

Особенностью метода Ньютона является то, что при метод позволяет отыскать минимум квадратичной функции за одну итерацию.

Геометрическая интерпретация метода для квадратичной функции:

Рисунок 1.8. Геометрическая интерпретация метода

Для неквадратичной функции метод Ньютона предполагает построение последовательности минимумов аппроксимирующих квадратичных функций .

Рисунок 1.9. Последовательность минимумов

Основной критерий окончания метода:

Начальные параметры метода:

1. Метод Ньютона-Рафсона

Алгоритм метода:

здесь:

• - направление спуска

• - шаг выбирается из условия убывания функции в точках последовательности:

.

Геометрическая интерпретация метода для квадратичной функции:

Рисунок 1.10. Геометрическая интерпретация метода

Основной критерий окончания метода:

Начальные параметры метода: .

Изменяемый параметр метода: величина шага

1. Метод Марквардта

Метод Марквардта (метод Ньютона с переменной матрицей), повторяет метод Ньютона. Отличие заключается в том, что точки строятся по закону:

где - последовательность чисел (>0), обеспечивающих положительную определенность матрицы . Обычно назначается как минимум на порядок больше, чем самый большой элемент матрицы .

1. Метод Нелдера-Мида (деформируемого многогранника)

Алгоритм метода:

1) Задается начальная система точек (многогранник), включающая в себя точку: