Метод скорейшего спуска

4.1. Метод скорейшего спуска.

Пусть в методе (4.1) . Тогда получим явный метод скорейшего спуска

                               .                  (4.4)

Шаг  на каждой итерации выберем из условия минимизации функционала (4.3):

                                                .                                   (4.5)

Распишем в предположении :

Условие минимума (4.5) дает оптимальный шаг скорейшего спуска

                                          (4.6)

Рекомендуемые материалы

Если  предобусловлеватель  не равен , то вместо (4.4) получаем неявный метод спуска с поправкой .

                             (4.7)

Повторив все выкладки, вместо (4.6) получим оптимальный параметр

                                       .                          (4.8)

В качестве B можно брать, например, диагональ А.

Метод минимальных невязок получается из (4.2), если вместо  взять . Тогда будем минимизировать функционал

          .

Формула для шага в явном случае () выглядит так:

                                               ,                                  (4.9)

а в неявном  - так

Ещё посмотрите лекцию "Гигиена содержания овец" по этой теме.

                                      .                      (4.10)

Итак, градиентные методы реализуются по формулам

                                   (4.11)

Основное достоинство градиентных методов в том, что не требуется никакой априорной информации о собственных числах для выбора параметров (шагов). Но для плохо обусловленных матриц (отношение  велико) метод может сходится очень медленно. В этом случае «изолинии» функционала  можно представить как семейство «эллипсов», длины полуосей которых относятся как . При этом минимум находится на дне слабо наклоненного «оврага», и путь минимизации представляет собой дриблинг между берегами оврага с медленным продвижением по длинному склону.

Задание.  Составить программу GRAD (градиентный скорейший спуск) и MINRES (метод минимальных невязок) для трехточечной задачи с переменным коэффициентом. Сравнить скорость сходимости между собой и с методами SOR, SSOR. Проверить чувствительность к колебаниям коэффициента  теплопроводности.