Метод скорейшего спуска
4.1. Метод скорейшего спуска.
Пусть в методе (4.1) . Тогда получим явный метод скорейшего спуска
. (4.4)
Шаг на каждой итерации выберем из условия минимизации функционала (4.3):
. (4.5)
Распишем в предположении :
Условие минимума (4.5) дает оптимальный шаг скорейшего спуска
(4.6)
Рекомендуемые материалы
Если предобусловлеватель не равен , то вместо (4.4) получаем неявный метод спуска с поправкой .
(4.7)
Повторив все выкладки, вместо (4.6) получим оптимальный параметр
. (4.8)
В качестве B можно брать, например, диагональ А.
Метод минимальных невязок получается из (4.2), если вместо взять . Тогда будем минимизировать функционал
.
Формула для шага в явном случае () выглядит так:
, (4.9)
а в неявном - так
Ещё посмотрите лекцию "Гигиена содержания овец" по этой теме.
. (4.10)
Итак, градиентные методы реализуются по формулам
(4.11)
Основное достоинство градиентных методов в том, что не требуется никакой априорной информации о собственных числах для выбора параметров (шагов). Но для плохо обусловленных матриц (отношение велико) метод может сходится очень медленно. В этом случае «изолинии» функционала можно представить как семейство «эллипсов», длины полуосей которых относятся как . При этом минимум находится на дне слабо наклоненного «оврага», и путь минимизации представляет собой дриблинг между берегами оврага с медленным продвижением по длинному склону.
Задание. Составить программу GRAD (градиентный скорейший спуск) и MINRES (метод минимальных невязок) для трехточечной задачи с переменным коэффициентом. Сравнить скорость сходимости между собой и с методами SOR, SSOR. Проверить чувствительность к колебаниям коэффициента теплопроводности.