Хайкин С. - Нейронные сети (778923), страница 36
Текст из файла (страница 36)
В разделе 3.9 описывается алгоритм настройки вектора синаптических весов персептрона при решении задачи классификации образов из двух линейно-разделимых классов и обосновывается его сходимость. В разделе 3.10 анализируется взаимосвязь между персептроном и байесовским классификатором для гауссовой среды. Глава завершается в разделе 3.11, в ютором подводятся итоги. 3.2. Задача адаптивной фильтрации Рассмотрим динамическую систему (дупаппса1 зуз(еш), математические характеристики которой неизвестны. В нашем распоряжении имеется толью набор маркированных данных входного и выходного сигналов, генерируемых системой в равномерные дискретные интервалы времени.
В частности, если т входных узлов генерируют т-мерное воздействие х(1), в ответ система формирует скалярный выходной сигнал Ы(х), где х = 1, 2,, и (рис. 3.1). Таким образом, внешнее поведение системы описывается следующим множеством данных: Т: (х(х),(1(1);1 = 1,2,..., и,...), (3.1) где х(х) = [хх(г),хз(х),...,х (х)) Рис. 3.1.
Неизвестная динамическая система (а). Граф прохождения сигнала в адаптивной модели системы (б) х,(В хх(В Входы х„(() 174 Глава 3. Однослойный персептрон Множество Т содержит примеры, одинаково распределенные согласно неюторому вероятностному закону. Размерность входного вектора х(1) называют размерностью входного пространства (сйшепаопайгу оу гЬе 1прпг зрасе). Входной сигнал х(1) может быть представлен двумя диаметрально противоположными способами — в пространстве и во времени. ° Если гп элементов сигнала х(1) зарождаются в различных точках пространства, то входной сигнал можно считать моментальным снимком данных (зпарзЬог оГ дага).
° Если т элементов сигнала х(1) представляют собой текущее и (т — 1) предыдущее значения возбуждения, снятые через равномерные промежутки времени (ппйопп1у зрасед )п Йпе), говорят, что входной сигнал снимается во временной области. Требуется построить модель выходного сигнала неизвестной динамичесюй системы с несколькими входами и одним выходом на основе одного нейрона. Нейронная модель работает под управлением некоторого алгоритма, юторый обеспечивает настройку синаптических весов нейрона.
При этом принимаются следующие соглашения. ° Алгоритм начинает работу с произвольных (агЬйгагу) значений синаптических весов. ° Настройка синаптических весов в ответ на статистические вариации поведения системы выполняется непрерывно (сопйппопз) (т.е. время встроено в структуру самого алгоритма). ° Вычисление корректирующих значений синаптических весов выполняется через равномерные промежутки времени. Нейронная модель, описываемая таким образом, получила название адаптивного фильтра (адарпче ййег).
Несмотря на то что из самого названия однозначно следует назначение системы — идентификация систем, — характеристики адаптивных фильтров выводят нас далеко за рамки этого применения. На рис. 3.1, б показан граф прохождения сигнала в адаптивном фильтре. Его работа включает два последовательных процесса. 1. Процесс фильтрации (б Непа ргосезз), предполагающий вычисление двух сигналов. ° Выходной сигнал, обозначаемый как у(1) и генерируемый в ответ на вектор входного воздействия х(1) с компонентами х1(1), хз(1),..., х (1). ° Сигнал ошибки, обозначаемый как е(1) и вычисляемый как отклонение выходного сигнала у(з) от выходного сигнала реальной системы д(1), который еще называют целевым сигналом (1агдег з)йпа1) или ожидаемыч откликом (дегйгед гезропзе).
3.3. Методы безусловной оптимизации 1?5 2. Процесс адаптации (адарйче ргосезз), включающий автоматическую подстройку синаптических весов нейрона на основе сигнала ошибки е(1). Комбинация этих двух процессов называется контуром с обратной связью (ГеедЬаск )сор) нейрона.
Учитывая линейность нейрона, выходной сигнал у(1) совпадает с индуцированным локальным полем с(г): т у(г) = п(г) = ~ ~тсь(1)хь(г), ь=1 (3.2) где гс1(г), гсз(г), ..., ю (1) — т синаптических весов нейрона, измеренных в мо- мент времени 1. В матричной форме выходной сигнал у(1) можно представить как скалярное произведение векторов м(1) и х(1): у(1) = х (г)зг(1), (3.3) где зт(г) = ~ш,(г), шз(1),..., ш (г))". Заметим, что индексация синаптических весов несюлько упрощена и не содержит индекса, указывающего на конкретный нейрон. Это обусловлено тем, что мы рассматриваем случай одного нейрона. Это соглашение распространяется на всю настоящую главу. Разность значения выходного сигнала нейрона у(г) и фактического выходного сигнала системы И(1) составляет сигнал ошибки е(г): е(1) = у(1) — г((1).
(3.4) Алгоритм применения сигнала ошибки для коррекции синаптических весов нейрона определяется функцией стоимости, используемой юнкретным методом адаптивной фильтрации. Этот вопрос тесно связан с задачей оптимизации. Таким образом, уместно предложить обзор некоторых методов оптимизации, которые можно применять не только к линейным адаптивным фильтрам, но и к нейронным сетям в целом. 3.3. Методы безусловной оптимизации Рассмотрим непрерывно дифферепцируемую функцию стоимости Е(тг), зависяшую от некоторого неизвестного вектора тп. Функция Е(и) отображает элементы вектора и в пространство действительных чисел и является мерой оптимальности выбранного для алгоритма адаптивной фильтрации вектора зг. Требуется отыскать такое решение тг', что 17В Глава 3. Однослойный персептрон Е(и ') < Е(и ), (3.5) т.е. необходимо решить задачу безусловной оптимизации (ппсопзпшпед орбзп(ха6оп ргоЫеш), которая формулируется следующим образом.
Минимизировать функцию стоимости Е(хт) по отношению к вектору весов хч Е(хч) — + ппп. (3.6) Необходимым условием оптимальности является следующее: ~7Е(тг") = О, (3.7) где 17 — оператор градиента д д д '7 = дю~' дгсз' ' ди~ (3.8) а 17Е(зч) — вектор градиента функции стоимости (3.9) Из всех методов безусловной оптимизации для создания адаптивных фильтров лучше всего подходят алгоритмы последовательного спуска (йегабче оезсепг). Начиная с исходного значения и(0) генерируется последовательность векторов ве- совых коэффициентов т(1), и(2), ..., таких, что с каждой итерацией алгоритма значение функции стоимости уменьшается: Е(и(п+ 1)) < Е(хч(п)), где и (л) — предыдущее значение вектора весов; т(п + 1) — последующее.
(3.10) Можно надеяться, что такой алгоритм сойдется к оптимальному решению чг". Слово "надеяться" здесь появилось не случайно — остается вероятность, что алгоритм будет расходиться (т.е. станет неустойчивым), если не будут выполнены определенные условия. В этом разделе описываются три метода безусловной оптимизации, основанные на той или иной реализации идеи итеративного спуска (124). 3.3.
Методы безусловной оптимизации 177 Метод наискорейшего спуска В методе наискорейшего спуска юрректировка векторов весов выполняется в направлении максимального уменьшения функции стоимости, т.е. в направлении, противоположном вектору градиента (ягайеп1 чесгог) ч Е(зч). Для удобства можно принять следуюшее обозначение градиента: Е = чгЕ(тч). (3.11) Формально алгоритм наискорейшего спуска можно записать в следуюшем виде: тч(п + 1) = тч(п) — щ(п), (3.12) где 11 — положительная константа, называемая параметром скорости обучения (1еапппя-кате рагашеГег); Е(п) — вектор градиента, вычисленный в точке чч(п).
Переходя от п-й итерации к и + 1-й, алгоритм выполняет юррекцию (сопесйоп) весовых юэффициентов: Ьтч(п) = и(п + 1) — тч(п) = — т)Е(п). (3.13) При внимательном рассмотрении видно, что уравнение (3.13) является формальной записью описанного в главе 2 правила коррекции ошибок. Чтобы показать, что алгоритм наискорейшего спуска удовлетворяет условию (3.10), рассмотрим разложение Е(тч(п + 1)) в ряд Тейлора относительно тч(п) с точностью до членов первого порядка Е(тч(п+ 1)) = Е(тч(п)) + Е~(п)Ьтч(п), юторое допустимо при малых значениях параметра з). Подставляя эту формулу в (3.13), получим: Е(и(п+ 1)) = Е(тч(п)) — Чйт(п)Е(п) = Е(и(п)) — т()(Е(п))~з.
Из зтого выражения видно, что для малых значений параметра скорости обучения 11 значение функции стоимости уменьшается на каждой итерации. Представленное доказательство истинно толью для малых значений г). 178 Глава 3. Однослойный персептрон 0 и,(к) а) 0 и,(к) б) Рис. 3.2. Траектория изменения вектора весовых коэффициентов по методу наискорейшего спуска в двумерном пространстве для двух различных значеНнй ПараМЕтра СКОрОСтИ ОбуЧЕНИя Г) = 0.3 (а) И д = Но (б).
КссрдниатЫ чц И мз являются элементами вектора весов тг З.З. Методы безусловной оптимизации 179 Метод наискорейшего спуска сходится к оптимальному значению «' достаточно медленно. Кроме того, на скорость сходимости влияет значение параметра )). ° Если параметр т) мал, алгоритм замедляется (очегбашреб), и траектория изменения «(п) соответствует гладкой кривой (рнс. 3.2, а). ° Если параметр )1 велик, алгоритм ускоряется (шЫегбашреб), и траектория чг(п) принимает зигзагообразный вид (рис. 3.2, б). ° Если параметр )1 превосходит некоторое критичное значение, алгоритм становится неустойчивым (т.е. расходящимся).
Метод Ньютона Основная идея метода Ньютона (Хе«топ'з шебтоб) заключается в минимизации квад- ратичной аппроксимации функции стоимости Е(«) в точке «(и). Минимизация вы- полняется на каждом шаге алгоритма. Используя разложение функции стоимости в ряд Тейлора с точностью до членов второго порядка, можно записать: ЬЕ(вч(п)) = Е(«(п+ 1)) — Е(«(п)) = 1 = Ег(п)тзьч(п) + — Ьзчт(п)Н(п)гзуч(п). 2 (3.14) Здесь, как и ранее, Е(п) — вектор градиента функции Е(вг) размерности тх1, вычисленный в точке «(и).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
