Нестационарные итерационные методы
4. Нестационарные итерационные методы
В разделе 3 были изучены некоторые простейшие стационарные методы, т.е. такие методы, у которых итерационные параметры () не зависят от номера итерации. Ясно, что можно попытаться ускорить сходимость, если выбирать их по-разному на каждой итерации:
(4.1)
Градиентные методы решения задачи характеризуются тем, что у них оператор постоянный, а параметр экстраполяции (или шаг) меняется на каждой итерации.
Название происходит от того, что исходная задача эквивалентна минимизации функционала
(4.2)
Очевидно, при квадратичный функционал (4.2) ограничен снизу нулем, и достигает минимума на точном решении задачи . Преобразуем (4.2).
Поскольку , а , то минимум функционала совпадает с минимумом функционала
Рекомендуемые материалы
(4.3)
Дополнительные сведения из математики.
Градиент произвольного функционала в точке определяется через производную Гато (производная, вычисленная в точке по направлению , или дифференциал Гато, типа для функций)
.
, как разность функционалов, сам является функционалом.
Очевидно, если - линейный функционал, то производная Гато совпадает с ним:
.
Это значит, что для линейного функционала не зависит от , и его производная Гато постоянна в любой точке.
Пример 1. Рассмотрим нелинейный функционал . Вычислим его производную Гато
Он всегда линеен по , но зависит от точки .
Пример 2. Пусть линейный функционал Тогда
1.6 Интеграционные процессы в менеджменте - лекция, которая пользуется популярностью у тех, кто читал эту лекцию.
Он совпадает с и не зависит от .
Градиентом функционала в точке , определенного в пространстве функций со скалярным произведением называется функция , такая, что .
Для функционала (4.3) имеем
Здесь - невязка исходного уравнения, которая совпадает с .
Геометрически это значит, что в точке направление невязки ортогонально линии , а функционал (4.3) быстрее всего растет в этом направлении; соответственно быстрее всего он убывает в направлении .