Метод наискорейшего спуска

Метод наискорейшего спуска

Итерационные методы решения СЛУ сводятся к поиску вектора , минимизирующего функцию .

Воспользуемся теорией ФНП из мат.анализа:

 – вектор, в направлении которого скорость возрастания  наибольшая.

, где  – частная производная по переменной l.

Получаем рекуррентную формулу:

    (6),

где  – некоторый параметр, определяемый из условия:

.

Рекомендуемые материалы

Особый случай.

Пусть A – симметричная и положительно определенная матрица.

Пусть .

Точка минимума такой функции является решением уравнения .

Доказывается подстановкой и по определению – пропускаем.

Тогда .

.

Пусть .

, где  – параметр, определяемый из условия:

.

Выведем формулу для нахождения .

Рассмотрим

Ещё посмотрите лекцию "СТЕНДАЛЬ" по этой теме.

(т.к. A – симметричная, то

Т.о.  – квадратная функция с положительным коэффициентом при .

(т.к. A – положительно определенная, то  для любого )

 в точке минимума.

 – значение, при котором .