Хайкин С. - Нейронные сети (778923), страница 183
Текст из файла (страница 183)
Она начинается с обзора рассматриваемой предметной области (раздел 15.б). Далее, в разделе 15.7, детально описывается обратное распространение во времени, которое основано на материале, представленном в главе 4. В разделе 15.8 представлен еще один популярный алгоритм: рекуррентное обучение в реальном времени.
В разделе 15.9 приведен краткий обзор классической теории фильтров Калмана, а в разделе 15.10 описывается алгоритм несвязной расширенной фильтрации Калмана. Компьютерное моделирование последнего алгоритма, применяемого для рекуррентного обучения, будет выполнено в разделе 15.11.
Градиентное рекуррентное обучение порождает проблему обращающихся в нуль градиентов, которая рассматривается в разделе 15.12. Четвертая, заключительная, часть настоящей главы (разделы 15.13 н 15.14) посвящена важнейшим областям применения рекуррентных сетей. В разделе 15.13 описывается задача идентификации систем, а в разделе 15.14 — адаптивное управление на основе модели. Глава завершается обобщающими выводами и рассуждениями. 15.2.
Архитектуры рекуррентных сетей 921 15.2. Архитектуры рекуррентных сетей Как уже говорилось во введении, архитектурное строение рекуррентных сетей может принимать множество различных форм. В этом разделе описываются четыре основные архитектуры таких сетей, каждая из которых соответствует некоторой частной форме глобальной обратной связи'.
Эти архитектуры имеют следующие общие характеристики. ° Все они состоят из стагнического многослойного персептрона или его составных частей. ° Все они используют способность многослойного персептрона выступать в качестве отображения вход-выход (нелинейного оператора).
Рекуррентная модель "вход-выход" На рис. 15.1 показана архитектура обобщенной рекуррентной сети, построенной на базе многослойного персептрона. Эта модель имеет единственный вход, который применяется к памяти на линиях задержки, состоящей из г! элементов. Она имеет единственный выход, замкнутый на вход через пай!ать на линиях задержки, которая также состоит из г] элементов. Содержимое этих двух блоков памяти используется для питания входного слоя персептрона. Вход модели обозначается как и(п), а соответ- ствующий выход — у(п+ 1). Это значит, что выход модели упреждает ее вход на одну единицу времени. Таким образом, вектор сигнала, подаваемый на вход персептрона, состоит из окна данных, состоящего из следующих элементов, ° Текущее и предыдущее значения входного сигнала: и(п), и(п — 1),..., и(п — г]+1), которые представляют сети, имеющие внешнее происхождение.
° Значения выходного сигнала д(п), у(п — 1),..., у(п — г] + 1) в предшествующие моменты времени, от которых зависит выход модели у(п + 1). Таким образом, рекуррентную сеть, показанную на рис. 15.1, можно рассматривать как модель нелинейной авторегрессии с внешними входами (поп]шеаг ап!огеагезз[че ьч]бз еходепопб [прп(8 шог]е! — ]ч]АВХ)~. Динамика модели ]ь[АВХ описывается следующим образом: ' Другие архитектуры рекуррентных сетей описаны в [85), [306), [522], [893]. З Модель ]4АКХ охватывает важный класс дискретных нелинейнмх систем [634]. В контексте нейронных сетей он рассмотрен в [184), [645), [774), [989].
Бьшо продемонстрировано, что модель 1чАКХ хорошо подходит для моделирования нелинейных систем, таких как теплообменники [184), водоочистные системы [1024), [!025), системы каталитического реформинга [1025], нелинейные колебательные проиессы, связанные с передвижением миогоногих роботов (пщ1зйеяяед 1осопюйоп) [!091], и грамматический вывод (бшпнпайса! штегепсе) [355). Модель ]4АКХ также называют нелинейной моделью авторегрессин со скользящим средним (попйпеаг аоюгейгезз!че-шоч!пя ачегвйе люде! — (г(АКМА), в которой термин "скользящее среднее" относится к входному сигналу.
922 Глава 15. Динамически управляемые рекуррентные сети Вход и(х) Выход )1п ь!) Рис. 16.1. Модель нелинейной регрессии с внешними входами ()чАГхХ) у(и+1) = Е(у(п),...,у(п — д+1),и(п),...,и(п — у+1)), (15.1) где г — некоторая нелинейная функция своих аргументов. Обратите внимание, на рис. 15.1 предполагается, что обе памяти на дискретной линии задержки имеют размер д. В общем случае эти размеры могут отличаться. Модель АБАЯХ детально описывается в разделе 15.4. 15.2. Архызе«туры ре«уррентных сетей 923 Выходной вектор Входной ле«хой Мпопклойпый персе«трон с олнпы скрытны слоем Рис. 15.2. Модель а пространсеве состояний Модель в пространстве состояний На рис.
15.2 показана блочная диаграмма еще одной обобщенной рекуррентной сети, которая называется моделью в пространстве состояний (з!аге-«расе люде!). Скрытые нейроны определяют состояние сети. Выход скрытого слоя замкнут на входной слой через банк единичных задержек. Входной слой сети состоит из объединения узлов обратной связи и узлов источника.
Связь сети с внешней средой осуществляется через узлы источника. Количество единичных задержек, используемых для замыкания выхода скрытого слоя на входной слой, определяет порядок модели (огдег ох пюде1). Обозначим символом и(п) вектор входных сигналов размерности тх 1 в момент времени п, а символом х(п) — вектор выходных сигналов скрытого слоя размерности ц х1 в тот же момент времени.
Тогда динамику этой модели можно описать следующей системой уравнений: х(п+ 1) = л(х(п), п(п)), у(п) = Сх(п), (15.2) (15.3) где Г(., ) — некоторая нелинейная функция, характеризующая скрытый слой; С— матрица синаптических весов, характеризующих выходной слой. Скрытый слой этой сети нелинеен, а выходной — линеен. Рекуррентная сеть на рис. 15.2 включает ряд рекуррентных архитектур в качестве частных случаев. Для примера рассмотрим простую рекуррентную сеть (зппр!е гесшгеп1 пеияогк — БКХ), описанную в работе Элмана (281) и показанную на рис. 15.3.
Сеть Элмана имеет архитектуру, сходную с показанной на рис. 15.2, за исключением того факта, что выходной слой может быть нелинейным, а банк единичных задержек на выходе сети отсутствует. Сеть Элмана содержит рекуррентные связи скрытых нейронов со слоем контекстньел элементов (сопгех1 ппй), состоящим из единичных задержек. Эти контекстные элементы сохраняют выходы скрытых нейронов на один шаг времени, после чего 924 Глава 15. Динамически управляемые рекуррентныа сети Контекстные элементы Выходной векгор Входной вектор Многослойный нерсептрон с одним скрытым слоем Рнс. 15.3.
Простая рекуррентная сеть Згч(Ч Банк единичных зааержек ) Выходной велте(г Входной вектор х,(л+ хп(»+ Мнопклойный персепгрон с несколькими скрытыми слоями Рнс. 15.4. Рекуррентный мноюслойный персептрон передают их на входной слой. Таким образом, скрытые нейроны записывают свои предыдущие действия, что позволяет реализовать задачи обучения, разворачивающиеся во времени. Скрытые нейроны также передают информацию выходным нейронам, которые формируют реакцию сети на примененное извне возмущение.
Так как данная природа обратной связи связана исключительно со скрытыми нейронами, они могут распространять повторные циклы информации по сети на протяжении множества шагов времени и таким образом открывать доступ к абстрактному представлению времени. Следовательно, простая рекуррентная сеть является чем-то большим, нежели записью на магнитную ленту предыдущих данных. В (28!1 рассматривалось также использование простой рекуррентной сети (см. рис.
! 5.3) для поиска границ слов в последовательных потоках фонем без наличия каких-либо встроенных ограничений нредснганления (гергеаеп1айопа! сопзвшп1). На вход сети подавалась текущая фонема. Выход представлял собой наилучшее решение сети относительно того, какой будет следующая фонема в последовательности. Роль контекстных элементов обеспечивала динамическая памянгь (дулаппса! шешогу), которая кодировала информацию, содержащуюся в последовательности фонем, что равноценно прогнозированию. НЬ2, Архитектуры рекуррентных сетей 925 Рекуррентный многослойный персептрон Третья рассматриваемая в настоящей главе рекуррентная архитектура известна как рекуррентна«й многослойный персентрон (геспггеп« пш!й!ауег регсерггоп — КМ1.Р) [863]. Этот персептрои имеет один нли несюлько скрытых слоев (использование нескольких скрытых слоев определяется тем, что статичный многослойный персептрон обычно является более эффективным и компактным, чем использующий только один скрытый слой).
Каждый вычислительный слой КМЬР замкнут на себя собственной обратной связью. На рис. 15.4 показан частный случай КМ1.Р с двумя скрытыми слоямиз, Пусть вектор х,(п) обозначает выход первого скрытого слоя, вектор хп(п)— выход второго скрытого слоя и т.д. Обозначим символом х,(п) выход выходного слоя. Тогда динамика КМЬР в ответ на подачу на вход вектора н(п) в общем случае будет описываться следующей системой уравнений: хг(п + 1) = «рг(х«(п), н(п)), хп(п+ 1) = «рп(хгг(п),х,(п+ 1)), (15.4) х.(п+ 1) = «р.(х,(п),хн(п+ 1)), где «рг(, ), «рп(, ), ..., «Р,(, ) — функции активации, характеризующие первый, второй и другие скрытые слои, а также выходной слой КМ1.Р; К вЂ” общее количество скрытых слоев в сети.
Описанный таким образом КМЬР является обобщением сети Элмана, показанной на рис. 15.3, и модели в пространстве состояний, показанной на рис. 15.2, так как ни выходной слой, ни какой-либо из скрытых слоев не ограничен некоторой конкретной формой функции активации. Сеть второго порядка При описании модели в пространстве состояний (см. рис. 15.2) для обозначения юличества скрытых нейронов, выходы которых замкнуты на выходной слой через банк единичных задержек, использовался термин "порядок".
В другом юнтексте термин "порядок" иногда используется для обозначения способа определения индуцированного локального поля нейрона. Для примера рассмотрим многослойный персептрон, индуцированное локальное поле оь нейрона Й в котором определяется следующим выражением: т Рекуррентнмй мнопяслойнмй персептрон, покатаннмй на рнс. 154, является обобщением рекуррентной сети, описанной в (522!.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
