Хайкин С. - Нейронные сети (778923), страница 171
Текст из файла (страница 171)
Здесь важно отметить, что результаты, полученные для устойчивости аддитивиой модели (14.18), применимы и к связанной модели (14.19). Чтобы покончить с вопросом отношений между двумя описанными иейродииамическими моделями, иа рис. 14. 8 оии показаны в виде блочных диаграмм; рис. 14.8, а, б соответствуют матричной записи выражений (14.18) и (14.19). Здесь % — матрица сииаптических весов; к(к) — вектор иидуцироваииых полей в момент времени 8; х(1)— вектор выходов нейронов в момент времени 1.
В обеих моделях иа рис. 14.8 явно выражена обратная связь. 14.6. Управление аттракторами как парадигма рекуррентных сетей Когда количество нейронов А' в иейродииамической модели, описываемой уравиеиием (14.16), достаточно велико, оиа обладает всеми общими свойствами, перечисленными в разделе 14.5 (за исключением влияния шума): большим числом степеней свободы, иелииейиостью и диссипативиостью. Следовательно, такая иейродииамическая модель может иметь сложную структуру аттракторов и, таким образом, обладать полезными вычислительными возможностями. Определение птракторов для вычислительных объектов (иапример, ассоциативиой памяти, операторов отображения входа иа выход) является одной из основных парадигм нейронных сетей.
Для того чтобы реализовать эту идею, требуется управлять местом размещения аттракторов в пространстве состояний системы. При этом алгоритм обучения принимает форму нелинейного динамического уравнения, которое управляет расположением аттракторов для кодирования информации в желаемом виде или обучения рассматриваемых временных структур. Действуя таким способом, можно установить тесную взаимосвязь между физикой и алгоритмами вычислений. Одним из способов, которым коллективиые свойства нейронных сетей могут использоваться для реализации вычислитсльиых задач, является применение концепции минимизации энергии.
Сеть Хопфилда и модель состояния мозга представляют собой примеры ассоциативной памяти, ие содержащей скрытые нейроны. Ассоциативная память является важным ресурсом для интеллектуализации поведения. Еще одной иейродииамической моделью является модель оператора отображения входа иа выход (1приыоп1рпг таррег), работа которого предполагает наличие скрытых нейронов. В последнем случае для минимизации функции стоимости, определенной в терминах 14.6. Управление атгракторами как парадигма рекуррентных сетей 886 1 Вектор внешних смещений К входного вектора Вектор внешних смещений параметров нейронной сети, и, таким образом, для изменения положения аттракторов часто используется метод наискорейшего спуска.
Последнее приложение иейродииа- мической модели показано иа примере динамически управляемой рекурреитиой сети, которую мы рассмотрим в следуюшей главе. Рис. 14.8. Блочная диаграмма ней)эодинамичвской системы, описываемой дифференциальными уравнениями первого гюрядка (14.18) (а); блочная диаграмма модели, описываемой уравнением (14.19)(б) Мнодество недннейностей, воэдействушшвх на отведение эдементн входного вектора а) Матраца смнаптнческнх весов 866 Глава 14. Нейродннамнка Нейроны единичной задержки Рнс. 14.9. Структурный граф сети Хопфилда, содер- жащей рг = 4 нейрона 14.7.
Модель Хопфилда Су — тзз(1) = — — ' + ~ изегР (тз (~)) + 1„У' = 1,2,..., )зГ. (14 20) зз, (() 3 з=з Чтобы продолжить дискуссию, сделаем следующие допущения. Сеть (модель) Хопфилда состоит из множества нейронов и соответствующего множества единичных задержек, формирующих систему с множеством обратных связей (пш!бр1е-1оор Гестаса зузгегп) (рис. 14.9). Количество обратных связей равно количеству нейронов. Как правило, выход каждого нейрона замыкается через злемснт единичной задержки на все остальные нейроны сети.
Другими словами, нейрон этой сети не имеет обратных связей с самим собой. Причина исключения из рассмотрения собственных обратных связей будет рассмотрена немного позже. Для изучения динамики сетей Хопфилда будет использоваться нейродинамическая модель, описываемая уравнением (14.16), которая основана на аддитивной модели нейрона. Вспоминая, что хе(1) = гре(тзе(1)), уравнение (14.1б) можно переписать в следующем виде: 14.7. Модель Хопфилда 867 1.
Матрица синаптических весов является симметричной: (14.21) ш,; = и~, для всех ( и~. 2. Каждый нейрон имеет собственную нелинейную функцию активации (поэтому в записи у,,( ) в выражении (14.20) присутствует индекс 1). 3. Для всех нелинейных функций активации существуют обратные, т.е. можно записать; (14.22) Пусть сигмоидальная функция у,. (о) определяется как гиперболический тангенс: 7 аз и ~ 1 — ехР( — агц) 2 1+ ехр( — агц) ' (!4.23) который в начале координат имеет наклон, равный а;/2: а; Й~, 2 дп о=О (14.24) Исходя из этого, а, называется коэффициентом передачи (йа!и) нейрона з.
Обратное преобразование выхода во вход (14.22) можно переписать в следующем виде: 1 /1- х1 о = ~р, '(х) = — — 1оя ! а; 1 1+х) (14.25) <р '(х) = — 1оя (14.26) Выражение (14.25) можно переписать в терминах стандартного соотношения: (14.27) На рис. 14.10, а показан график стандартной сигмоидальной нелинейности ф(о), а на рис. 14.10, б — график соответствующей обратной нелнейности у '(х). Стандартная форма этого обратного соотношения для нейрона с единичным коэффициентом передачи будет иметь следующий вид: 868 Глава 14.
Нейродинамика Функция энергии (Ляпунова) сети Хопфилда (см. рис. 14.9) определяется следующим образом [479): 1 ~ и ~ 1 Ю Е = — — ~~! ~! и!,;х,х, + ~~> — / !Р, '(х)пх — ~~! Х хзг (14.28) , !!у О р=! Функция энергии (14.28) может иметь сложную поверхность с множеством минимумов.
Динамика этой сети описывается механизмом, обеспечивающим нахождение этих минимумов. Исходя из этого, дифференцируя функцию энергии Е по времени, получим: (Е "( и (с1х — — и! !х! — — '+ Т 11 ) '*' Л '! (1 !=! а=! ! (14.29) Из нейродинамического соотношения (14.20) видно, что величина, заключенная в скобки в правой части (14.29), равна Скок /01. Таким образом, можно упростить выражение (14.29) до следующего: — — ~;С, (~" ) 1 р=! (14.30) Итак, получено обратное соотношение, определяющее о в терминах х . Подставив (14.22) в (14.30), получим: !!! и 1 з — = — ~'с, ( — д-'(*,!) ' =-~с,(~) ( д-'[,)). с~за 1=1 т=! '1х! ' На рис. 14.10, б видно, что обратное отображение !р, '(х ) является монотонно возрастающей функцией выхода х . Отсюда следует, что — !р, (х,) ) 0 для всех х,.
д дх, (14.32) Обратите внимание, что выполняется также и следую!цее неравенство: ах, 1 а)— ') > 0 для всех х . 1' (14.33) Следовательно, все составляющие суммы в правой части (14.31) являются неотрицательными. Другими словами, функция энергии Е, определяемая формулой (14.28), 14.7. Модель Хопфилда 869 а) Рис. 14.10. Графики стандартной сигмоидапьной нелинейности (а) и обратной к ней функции (б) удовлетворяет неравенству Из определения (14.28) видно, что функция Е является ограниченной, н мы можем вывести два следующих утверждения. 860 Глава 14.
Нейродинамика 1. Функция энергии Е является функцией Ляпунова непрерывной модели Хопфилда. 2. Эта модель, согласно теореме 1 Ляпунова, является устойчивой. Другими словами, эволюция во времени непрерывной модели Хопфилда, описываемой системой нелинейных дифференциальных уравнений первого порядка (14.20), представляет собой некоторую траекторию в пространстве состояний, обеспечивающую нахождение минимума функции энергии (Ляпунова) и приходящую к некоторой фиксированной точке. В выражении (14.31) можно заметить, что производная дЕ/й исчезает только тогда, когда д — х.(1) = О для всех з( пг Таким образом, можно продвинуться еще иа один шаг и записать: йŠ— < 0 за исключением фиксированной точки.
аг (14.34) Соотношение между устойчивыми состояниями дискретной и непрерывной версии модели Хопфилда Сеть Хопфилда может работать как в непрерывном, так и в дискретном времени, в зависимости от того, какая модель использовалась для описания нейронов. Непрерывный режим работы, как уже говорилось ранее, основывается иа аддитивиой модели; дискретный режим работы основан иа модели Мак-Каллока — Нитца. Можно вывести соотношение между устойчивыми состояниями дискретной и непрерывной моделей Хопфилда, переопределив соотношение между входом и выходом нейрона таким образом, чтобы истинными были две следующие упрощенные характеристики. 1.
Выход нейрона имеет следующие асимптотические значения: + 1 для с = оо, *т = — 1 для с = — оо. 3 (14.35) Уравнение (14.34) создает предпосылки для формулировки следующей теоремы. Функция энергии (Ляпунова) сети Хопфилда является монотонно убывающей функцией времени. Следовательно, сеть Хопфилда является глобально асимптотически устойчивой. Фиксированные точки аттракторов являются точками минимума функции энергии, и наоборот. 14.7. Модель Хопфилда 861 2. Средняя точка функции активации нейрона находится в начале координат, т.е. р,(о) = о.
(14. 36) Следовательно, можно установить для всех т' смещение 11, равное нулю. При формулировке функции энергии Е для непрерывной модели Хопфилда допускалось наличие у нейрона обратных связей с самим собой. С другой стороны, дискретная модель Хопфилда требует отсутствия таких обратных связей.
Чтобы упростить рассмотрение данного вопроса, положим, что в обеих моделях ш,, = О для всех з. В свете этих наблюдений можно переопределить функцию энергии непрерывной модели Хопфилда (14.28) следующим образом: л м ю Е = — — ~~> ~~~ шээх;х,+ ~~ — / у, '(х)дх.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
