Хайкин С. - Нейронные сети (778923), страница 65
Текст из файла (страница 65)
Этого можно добиться, привлекая квадратичную аннроксимацию (апабга11с арргохппабоп) поверхности ошибок в окрестности текущей точки тт(п). При этом оказывается (см. (4.117)), что оптимальное значение приращения Ью(п), применяемого к вектору синаптиче- Использование функции стоимости Е,„(тт), усредненной по множеству, подразумевает пакетный режим обучения. В методе наискорейшего спуска, представленного в данном случае алгоритмом обратного распространения, корректировка Ьтт(п), применяемая к синаптическому весу тт(п), определяется выражением 318 Глава 4. Мноюслойный лерселтрои ских весов ж(п), определяется следующей формулой: Ьтг'(и) = Н '(п)й(п), (4.
121) где Н '(и) — матрица, обратная Гессиану (в предположении, что таковая существует). Выражение (4.121) описывает сущность метода Ньютона (Хевнол'з шейод). Если функция стоимости Е„(е') является квадратичной (т.е. третье и следующие слагаемые ряда Тейлора (4.117) равны нулю), то метод Ньютона сходится к оптимальному значению всего за одну итерацию. Однако на практике применение метода Ньютона для обучения с учителем многослойного персептрона усложняется следующими факторами.
° Требуется вычисление матрицы, обратной Гессиану (Н '(и)), что само по себе весьма неэффективно с точки зрения объема вычислений. ° Для того чтобы иметь возможность вычислить матрицу Н '(и), матрица Н(п) должна быть несингулярной. Если матрица Гессе положительно определена, поверхность ошибок в окрестности точки зя(п) является выпуклой. К сожалению, нет гарантии, что матрица Гессе для поверхности ошибок многослойного персептрона всегда будет соответствовать этому требованию.
Более того, существует потенциальная проблема, что Гессиан будет иметь недостаточный ранг (т.е. не все столбцы матрицы Н будут линейно-независимыми), что приведет к плохой обусловленности задачи обучения нейронной сети [919). Это существенно усложняет вычислительную задачу. ° Если функция стоимости Е„,(и) не является квадратичной, то нельзя гарантировать сходимость метода Ньютона, что делает его непригодным для обучения многослойного персептрона. Для преодоления подобных проблем можно использовать квазиньютоновские методы, которые используют только оценки вектора градиента й.
В таких модификациях метода Ньютона положительно определенная оценка матрицы Н '(и) вычисляется напрямую, без обращения самой матрицы. Используя такую оценку, квазиньютоновские методы обеспечивают движение вниз по склону поверхности ошибок. Однако вычислительная сложность при этом измеряется порядком 0(Иг~), где И' — размерность вектора зг. С вычислительной точки зрения квазиньютоновские методы являются непрактичными, за исключением случаев обучения нейросетей малой размерности. Описание квазиньютоновских методов будет представлено ниже в настоящем разделе. Еще одним классом методов второго порядка является метод солряженных градиентов (сол)пяа~е-агад(епг).
Его можно рассматривать как нечто среднее между методом наискорейшего спуска и методом Ньютона. Использование метода сопряженных градиентов мотивировано желанием повысить обычно низкую скорость сходимости метода наискорейшего спуска при одновременном избежании вычислительных слож- 4.18. Обучение с учителем как задача оптимизации 319 ностей, связанных с оценкой, хранением и инвертированием матрицы Гессе в методе Ньютона. Среди всех методов оптимизации второго порядка метод сопряженных градиентов считается единственным пригодным для решения задач большого объема, те.
тех, которые имеют сотни и тысячи настраиваемых параметров [298). Таким образом, он хорошо подходит для обучения многослойного персептрона при решении задач аппроксимации функций, управлении и задач регрессии. Метод сопряженных градиентов Метод сопряженпыл градиентов (сощпйа(е-йгад(еп( шебгод) относится к классу ме- тодов оптимизации, известных под названием мешодов сопряженных направлений (сощцйа(еыйгесбоп шейтодз). Обсуждение этих методов начнем с рассмотрения зада- чи минимизации квадратичной функции (с(цадгайс бзпс((оп): у(х) = — х Ах — Ь х+с, т т 2 (4.122) где х — вектор параметров размерности И' х 1; А — симметричная, положительно определенная матрица размерности И' х И', Ь вЂ” вектор размерности Иг х 1; с — скаляр. Минимум квадратичной функции 1(х) достигается при единственном значении х: х' = А 'Ь.
(4.123) Таким образом, минимизация функции )'(х) и решение системы линейных уравнений Ах* = Ь являются эквивалентными задачами. Для данной матрицы А множество ненулевых векторов з(0), в(1),..., з(И' — 1) называется А-сопряженным (А-сощцйа(е), если для всех и ф у выполняется следующее соотношение: в~(и)Ав(у) = 0 для всех и и з' при условии и ф 11 (4. 124) Пример 4.1 Для интерпретации А-сопряженных векторов рассмотрим двумерную задачу, проиллюсгрированную нв рис.
4.24, а. Показанная на этом рисунке эллиптическая траектория является графиком квадратичной функции г(х) (см. (4.122)) ст векторной переменной: х = 1яс,хг) Нв рис. 4.24, а показана также пара векторов, определяющих направления, сопряженные по отношению к матрице А. Предположим, определен новый вектор параметров т, полученный из х с помощью преобразования т = Ап~х, где Аыз является квадратным корнем матрицы А.
тогда эллиптическая траектория (см. рис. 4.24, а) Если матрица А является единичной, сопряженность является эквивалентом ортогональ ности. 320 Глава 4. Многослойный персептрон Рис. 4.24. Интерпретация А-сопряженных векторов;эллиптическая траектория в двумерном пространстве весов (а) и преобразование эллиптической траектории в круговую (б) б) преобразуется а круговую (рнс.
4.24, б). Прн этом пара А-сопряженных векторов направлений (см. рис. 4.24) преобразуется а пару ортогональных аектороа направлений (см. рис. 4.24, 6). Важным свойством А-сопряженных векторов является то, что они линейно- независимы (1(пеаг!у пк1ерепг(епг). Это свойство можно доказать от противного. Пусть один из этих векторов, например в(0), можно представить как линейную комбинацию остальных Иг — 1 векторов множества, т.е. И~ — 1 в(0) = ~) а,в(2). 4=1 Умножив матрицу А на вектор в(0) и затем скалярно умножив результат на вектор вг(0), получим: И~ — 1 вт(0)Ав(0) = Е ог вт(0)Ав(2) = О.
Однако квадратичная форма вт(0)Ав(0) не может равняться нулю по двум причинам: во-первых, по определению матрица А является положительно определенной, а вектор в(0) — ненулевым. Отсюда следует, что А-сопряженные векторы в(0), в(1),..., в(И' — 1) не могут быть линейно-зависимыми, т.е. они являются линейно- независимыми. Для данного множества А-сопряженных векторов в(0), в(1),..., в(И' — 1) существует соответствующий мегпод сопряженных направлений (соп)пйа(е гйгесбоп тейгоб) минимизации функции квадратичной ошибки г(х), определяемый выражением [125), (298), (682) х(п+ 1) = х(п) +г)(п)в(п),п = 0,1,...,И' — 1, (4.125) 4.18. Обучение с учителем как задача оптимизации 321 Дх(и) + т)(п)в(п)) = пцп Д(х(п) + т)в(п)). (4.126) Процедура выбора параметра т) сводится к минимизации функции у(х(п) +т)в(п)) для некоторого фиксированного и.
Это линейный поиск, представляющий одномерную задачу минимизации. В свете выражений (4.124) — (4.126) можно сделать следующие наблюдения. 1. Поскольку А-сопряженные векторы в(0), в(1),..., в(Иг — 1) линейно-независимы, они формируют базис пространства векторов и. 2. Формулы изменения (4.125) и линейной минимизации (4.126) приводят к хорошо знакомой формуле вычисления значения параметра скорости обучения: вг(и)Ае(п) т)(п) — т( ) ( ), и — О, 1,..., И 1, (4. 127) где я(п) — вектор оьиибки, определяемый выражением а(п) = х(п) — х'. (4.
128) 3. Начиная с произвольной точки х(0),метод сопряженных направлений гарантирует нахождение оптимального решения х' квадратного уравнения у(х) = 0 не более чем за Иг итераций. Принципиальное свойство метода сопряженных направлений можно описать следующим образом 1125), 1298), (682). При коследовательныл итерациях метод сонряженнык направлений минимизирует квадратичную функцию Дх) в постепенно расширяющемся линейном пространстве векторов, содержащем точку глобального минимума этой функции.
В частности, для каждой итерации п оценка х(п+ 1) минимизирует функцию )'(х) в линейном пространстве векторов Р„, проходящем через произвольную точку х(0) и задаваемом А-сопряженными векторами в(0), в(1),..., в(Иг — 1): х(п + 1) = агй ппп у (х), кап„ (4.129) где х(0) — произвольный исходный вектор; 11(п) — скаляр, определяемый из соотно- шения 322 Глава 4. Многослойный персептрон где пространство Р„определяется формулой Р„= х(п)]х(п) = х(0) + ~1 з](~)в(3) э=о (4.130) Для обеспечения работоспособности метода сопряженных направлений требуется определить множество А-сопряженных векторов в(0), 8(1),..., в(И' — 1). В частном случае этот метод называют методом соиряжеяггвсг градиеггтов (соп]пяагедгагйепг шеб[од)15. Последовательные векторы направлений генерируются как А-сопряженные версии последовательных векторов градиента квадратичной функции у(х).
Отсюда этот метод и получил свое название. Таким образом, за исключением итерации п = О, множество векторов направлений (в(п) ) заранее не известно. Оно формируется последовательно на каждой итерации метода. Выберем в качестве направления наискорейшего спуска реэидуадьную оигибку (гев!дна! епог) г(п) = Ь вЂ” Ах(п). (4.131) Далее будем использовать комбинацию векторов г(п) и в(п — 1) следующим образом: в(п) = г(п)+ )3(п)в(п — 1),п = 1,2,...,И' — 1, (4.132) вт (п — 1) Аг(п) ) вт(п — 1)Ав(п — 1) (4.133) Принимая во внимание выражения (4.132) и (4.133), несложно увидеть, что сформированные таким образом векторы в(0), в(!),..., 8(И' — 1) действительно являются А-сопряженными. Процесс генерирования векторов направлений в соответствии с рекурсивным правилом (4.132) зависит от коэффициента ]3(п).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
