Хайкин С. - Нейронные сети (778923), страница 191
Текст из файла (страница 191)
Следует заметить, что при применении расширенного фильтра Калмана в рекуррентной сети существуют два контекста использования понятия "состояние". ° Эволюция системы при адаптивной фильтрации, которая проявляется в изменении весов рекуррентной сети в процессе обучения. Это первое значение состояния берет на себя вектор и (п). ° Работа самой рекуррентной сети, показанная на примере рекуррентного узла, от которого зависит функция с. Это значение состояния берет на себя вектор к(п). сети заданной архитектурной сложности (например, рекуррентного многослойного персептрона) важным вопросом является облегчение вычислений без ущерба для применения теории фильтров Калмана.
Ответ на этот вопрос лежит в использовании несвязной формы расширенного фильтра Калмана, в которой вычислительная сложность приводится в соответствие с требованиями конкретного приложения и доступными вычислительными ресурсами (864).
Рассмотрим рекуррентную сеть, построенную на основе статического многослойного персептрона с Иг синаптическими весами и р выходными узлами. Пусть в векторе и(п) содержатся все синаптические веса сети в момент времени п. Подразумевая адаптивные фильтры, уравнение этой сети в пространстве состояний можно промоделировать следующим образом [434), (997); 962 Глава 16.
Динамически управляемые рекуррентные сети Сравнивая модель, описываемую системой (15.69) и (15.70), с линейной динамической моделью (15.59) и (15.60), видим, что единственным отличием между ними является нелинейность формы уравнения измерения. Чтобы подготовить почву для применения теории фильтров Калмана к описанной модели в пространстве состояний, необходимо вначале линеаризовать уравнение (15.70) и представить его в виде й(п) = С(п)тт(п) + т(п), (15.71) где С(п) — матрица измерения линеарнзованной модели размерности р х И~; для отличия от уравнения (15.70) вместо й,(п) использовалось обозначение й(п).
Данная линеаризация состоит из частных производных р выходов всей сети по И ' весам модели: дсь деь ас а~ а~2 а~И а.ь а.к ас„ а,а, а„ С(п) = (15.72) а а. а ды~ дюж ' ' ' ахи где с„г = 1, 2,..., р, обозначает1-й элемент нелинейности с(тт(п), н(п), у(п)). Частные производные в выражении (15.72) оцениваются в точке зт(п) = тт(п), где Ф(п)— оценка вектора весов тт(п), вычисленная расширенным фильтром Калмана в момент времени и, при заданных данных наблюдений вплоть до момента времени и — 1 [434).
На практике эти частные производные вычисляются с использованием алгоритма обратного распространения во времени или алгоритма рекуррентного обучения в реальном времени. В результате расширенный фильтр Калмана строится на одном из алгоритмов, описанных в разделах 15.7 и 15.8. Из этого следует, что с должна быть функцией действия рекуррентного узла, что уже и отмечалось выше. На самом деле для однослойной рекуррентной сети матрица С(п) может быть составлена из элементов матриц Л (и), вычисленных алгоритмом КТК1. (15.52). Таким образом, матрица измерения С(п) является динамической матрицей производных выходов сети по отношению к свободным параметрам.
Так же как активность рекуррентного узла сети а момент времени (и + 1) является функцией от соответствующих значений на предыдущем шаге и, так и производная от значения активности рекуррентного узла по отношению к свободным параметрам сети в момент времени и+ 1 является функцией от соответствующих значений на предыдущем шаге и (что следует нз уравнения КТК1.).
Теперь предположим, что синаптические веса сети разбиты на д групп и каждая группа 1 содержит к; нейронов. Матрица измерения С, определяемая формулой (15.72), является матрицей размерности р х И', в которой содержатся производные от выхода сети по всем весам сети. Зависимость матрицы С(п) от входного вектора н(п) в формуле (15.72) присутствует неявно.
Таким образом, определенная матрица С(п) содержит все производные, которые необходимы для любой несвязной версии расширенного фильтра Калмана. Например, если используется глобальный растлирен- 16.10. Несвязный расширенный фильтр Калмана 963 ный филынр Калмана (8!оЬа! ех!епдед Кайпап 61!ег — СэЕКР), т.е. отсутствует несвязность, то д = 1 и вся матрица С(п) определяется выражением (15.72).
С другой стороны, если используется несвязный расширенный фильтр Калмана (десопр!ед ех!епдед Ка!тап ййег — РЕКЕ), то "глобальная" матрица измерения С(п) должна быть скомпонована таким образом, чтобы веса, соответствующие конкретным нейронам в сети, группировались в единый блок внутри матрицы, и каждый блок маркировался соответствующим индексом !' = 1, 2,..., д.
В последнем случае общая матрица С(п) является обычным объединением матриц отдельных групп С, (п): С(п) = [С!(п),Сз(и),..., С (и)]. В любом случае, независимо от уровня несвязности, вся матрица С(п) должна вычисляться так, как определено в формуле (15.72). Итак, мы подготовили почву для применения алгоритма фильтрации Калмана (см. табл. 15.2). В частности, для линеаризованной динамической модели, описываемой уравнениями (15.69) и (15.70), получим [864): — ! Г(п) = э С,(п)К,(п,п — 1)Ст(п) + К(п) з=! Сч(и) = К;(и, п — 1)Ст(п)Г(п), а(п) = д(и) - д(п[п - 1), Ф,(п + Цп) = Ф,(п]п — 1) + С!(п)а(и), К,(п + 1, п) = К;(п, п — 1) — С!(и)С,(и)К;(и, п — 1), (15.73) (15.74) (15.75) (15.76) (15.77) где 1 = 1, 2,..., д.
Вектор параметров и векторы сигналов в формулах (15.73) — (15.77) описываются следующим образом. Г(п) — матрица размерности р х р, представляющая собой глобальный коэффициент передачи для всей сети. С!(и) — матрица размерности И', х р, обозначающая коэффициент усиления Калмана для группы 1 нейронов. а(п) — вектор размерности р х 1, содержащий инновации, определяемые как разность между желаемым откликом д(п) линеаризованной системы и его оценкой д(п[п — 1), основанной на входных данных, доступных в момент времени и — 1.
Эта оценка представлена вектором фактического выхода у(п) сети, находящейся в состоянии (Й!(п]и — 1) ), который является откликом сети на подачу входного сигнала п(п). тт!(и[п — 1) — вектор размерности И'х1, являющийся оценкой вектора весов тт!(и) для группы г в момент времени и, при наличии наблюдаемых данных вплоть до момента времени п — 1. К;(и, п — 1) — матрица размерности й, х й„являющаяся матрицей ковариации ошибок группы нейронов й 964 Глава 15. Динамически управляемые рекуррентные сети Суммирование, выполняемое при вычислении глобального коэффициента передачи Г(п) (15.73), учитывает несвязную природу расширенного фильтра Калмана.
Важно понять, что в алгоритме 13ЕКХ несвязность определяет, какие конкретные элементы глобальной матрицы ковариации ошибок К(п, п — 1) должны рассматриваться и корректироваться. На самом деле вся зкономия вычислительных ресурсов связана только с игнорированием операций по хранению и корректировке ассоциированных с отстоящими от диагонали блоками глобальной матрицы ковариацни ошибок К(и, п — 1). В противном случае пришлось бы обьединять все группы сииаптических весов. Алгоритм 13ЕКР, представленный формулами (15.73) — (15.77), минимизирует функцию стоимости Е(и) = — ~~ '8е(У) 8, (15.78) где е(у) — вектор ошибок, определенный следующим образом: еЦ) = о(п) — у(п),7' = 1, 2,..., и, где у(~) — фактический выход сети, использующей информацию, доступную вплоть до момента у' (включительно).
Обратите внимание, что в общем случае е(~) фа(у). Искусственный шум процесса Нейродинамическая система моделируется уравнениями (15.69) и (15.70), ае усилена (ип1огсед), так как уравнение процесса (15.69) не имеет внешних входных сигналов. Это может привести к серьезным вычислительным проблемам и, как следствие, к расходимости фильтра Калмана, когда он работает в среде с ограниченной точностью. Как уже говорилось в разделе 15.9, явление расходимости (дивергенции) можно обойти, использовав фильтрацию на основе квадратного корня.
Еще одним способом избежать расходимости является использование эвристического механизма, который предполагает искусственное добавление в уравнение процесса шума процесса (ргосеаа по[се): «;(и + 1) = тт,(п) + в,(п), т = 1, 2,..., д, (15.79) где ОЗ,(п) — шум процесса. Предполагается, что О);(и) — многомерный белый шум с нулевым средним и матрнцей ковариации Я;(и). Искусственно добавленный шум процесса О),(п) не зависит от шума измерения т,(п) и начального состояния сети. Общий эффект от добавления в,(п) в уравнение процесса (15.79) состоит в изменении уравнения Рикатти коррекции матрицы ковариации ошибок следующим образом [433): 15.11.
Компьютерное моделирование 955 К,(п+ 1,п) = К (п,п — 1) — С,(п)С,(п)К,(п,п — 1) + 0,(п). (15 80) Если матрица Я,(п) является достаточно большой для всех г, то К,(п+ 1, п) будет гарантировано оставаться неотрицательно определенной для всех и. Кроме исключения указанных выше вычислительных сложностей, искусственное добавление шума процесса ш,(п) в уравнение процесса дает еще один выигрышный эффект: в процессе обучения менее вероятно попадание алгоритма в точку локального минимума.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
