Хайкин С. - Нейронные сети (778923), страница 185
Текст из файла (страница 185)
Модель в пространстве состояний 933 Пусть рекурреитиая сеть, описываемая уравнениями (15.16) и (15.17), управляется последовательностью входных сигналов цч(п) вида п,(п) = [и(п),и(п+ 1),..., и(п+ д — 1)]~. (15.24) Отсюда можно рассматривать отображение С(х(п), и (и)) = (х(п), х(п + д)), (15.25) где С: Ягч — ~ Язч. В задаче 15.4 показано, что ° Состояние х(п + д) является вложенной (лешей) нелинейной функцией своего прошлого значения х(п) и входов и(п), и(п + 1),..., и(п + ц — 1); ° Якобиаи х(п + д) по отиошеиию к пч(п), вычисленный в начале координат, равен матрице управляемости М, из равенства (15.23). Якобиаи отображения С по отношению к х(п) и пч(п), вычисленный в начале координат (О, 0), можно выразить следующим образом: ( Вх(п) ) ( дъЯпьх)) (се 3(о,о> = (15.26) где 1 — единичная матрица; 0 — нулевая матрица, а матрица Х ие представляет интереса.
Благодаря своей специфичной форме определитель зтого Якобиаиа Л~'~ равен произведению определителя единичной матрицы 1 и определителя матрицы управляемости М,. Если М, имеет полный ранг, то таковой имеет и Якобиаи Л~'~ Далее, приведем теорему об обратной функции (шчегзе Гппсцоп 1оеогеш), которая утверждает следующее «1095).
Рассмотрим отображение Г: Яч — ~ Яо и предположим, что каждый компонент Г диффеРенциРУем по своемУ аРгУментУ в точке Равновесия хс Е Яо и что Уо — — Г(хс). Тогда существует такое множество !1с Яч, содержащее хс, и множество Ус Яч, содержащее уо, что Г будет предстааить собой диффеоморфизм из !1 в ч'. Если к таму же отображение Г является гладтаи, то гладким будет и обратное отображение Г 1: Яч — ~ Яо и Г будет являтьсл гладким диффеаморфизмом. 1. Г(!1) = ч'. 2. Отображение Г: !1- ч' является однозначным (т.е.
обратимым). 3. Каждый компонент обратного отображения Г ' зг- Г) является непрерывно диффереицируемым по своему аргументу. Отображение Г: !1- 'ч' называют диффеоморфизиом, если оио удовлетворяет следующим трем условиям. 934 Глава 1б. Динамически управляемые рекуррентные сети Возвращаясь к вопросу управляемости, можно идентифицировать отображение 1(Ю)=У из теоремы об обратной функции как отображение, определенное формулой (15.25). Используя теорему об обратной функции, можно утверждать, что если матрица управляемости М, имеет ранг 9, то локально существует обратное отображение: (х(п),х(п+ 9)) = С '(х(п),н (п)). (15.27) Уравнение (15.27), в свою очередь, говорит о том, что существует такая последовательность входных сигналов (нч(п)), которая может локально перевести сеть из состояния х(п) в состояние х(п+ 9) за 9 шагов.
Следовательно, можно сформулировать следующую теорему о локальной управляемости (!оса! сопгго1!аЬг!йу йгеогеш) (636). Пусть рекуррентная сеть определяется системой уравнений (15.16) и (15.17) и пусть ее линеаризованная версия в окрестности начала координат (т.е. равновесной точке) определяется системой (15.19) и (15.20). Если линеаризованная система является управляемой, то рекуррентная сеть является локально управляемой в окрестности начала координат. Локальная наблюдаемость Периодически используя линеаризованные уравнения (15.19) и (15.20), можно записатгс тб ( бу(п + 1)=с бх(п + 1)=стАбх(п)+стЬбх(п), бу(п+ д — 1)=стАч гбх(п)+стАч зЬбн(п)ь чстАЬби(п+ 9 — 3)+ +с Ьби(п+ 9 — 2), где д — размерность пространства состояний.
Таким образом, можно утверждать следующее (636). Линеаризованная система, описываемая уравнениями (15.19) и (15.20), является наблюдаемой, если матрица М ( Ат...(Ат)д-г) (15.28) имеет ранг 9 (т.е. полный ранг). Эта матрица М, называется матрицей наблюдаемости (оЬаегчаЬгйгу ша1пх) линеаризованной системы. 15.3. Модель в пространстве состояний 030 Пусть рекуррентная сеть, описываемая уравнениями (15.16) и (15.17), управляется последовательностью входных сигналов, заданных следующим образом: в,(п) = [и(п), и(п+ 1),...,и(п + д — 2)]т.
(15.29) Соответственно пусть у (п) = [у(п),у(п + 1),..., у(п + д — 1)] (15.30) обозначает вектор выходного сигнала, производимого начальным состоянием х(п) и последовательностью входов в,, (п). Тогда можно рассмотреть отображение Н(вч ~(п),х(п)) = (вч ~(п),у (и)), (15.31) (Очл,(ч)) (~~(ч) ) (о) Л(ю,в) = (15.32) где матрица Х опять не представляет интереса. Определитель этого Якобиана Л (ь) равен произведению определителя единичной матрицы 1 и определителя матрицы наблюдаемости М,. Если М, имеет полный ранг, то таковой имеет и Якобиан Л~~'~ . Применяя теорему об обратной функции, можно утверждать, что если матрица наблюдаемости М, линеаризованной системы имеет полный ранг, то локально существует некоторое обратное отображение, определяемое следующим образом: ("д — ~(п) х(п)) = Н ("ч — ~(п) у(п)) (15.33) В результате это уравнение утверждает, что в локальной окрестности начала координат х(п) является некоторой нелинейной функцией от вч ~ (п) и уч(п) и что эта функция является наблюдателем данной рекуррентной сети.
Таким образом, можно сформулировать следующую теорему о локальной наблюдаемости (1оса! оЬзегчаЬ|1!(у (Ьеогепз) (636). Пусть рекуррентноя сеть определяется системой уравнений (15. 16) и (15.17) и яусть ее линеариэованная версия в окрестности начала координат (т.е.
равновесной точке) определяется системой (15.19) и (15.2(). Если линеариэованная система является наблюдаемой, то рекуррентная сеть является локально наблюдаемой в окрестности начала координат. где Н: ЗРч ' — ЗР' '. В задаче 15.5 показано, что Якобиан у,(п) по х(п), вычисленный в начале координат (О, 0), равен матрице наблюдаемости М, (15.28). Таким образом, Якобиан Н по вч,(п) и х(п) в начале координат (О, 0) можно выразить следующим образом: 936 Глава 15. Динамически управляемые рекуррентные сети Пример 15.2 Рассмотрим модель в пространстве состояний с мвтрицей А = а1, где а — скаляр; 1 — единичнав матрица. Тогда матрица управляемости 1! 5.23) сводится к М = а[Ь,...,Ь,Ь[.
Ранг этой матрицы равен единице. Исходя иэ этого, линевриэованнвя система с такой матрицей А не является управляемой, Подставляя выражение А=а! в формулу 115.28), получим следующую матрицу наблюдвемости; М = а[с, с,..., с[, ранг которой также равен единице. Следовательно, этв линевриэованнвя система не является также и наблюдаемой. 15.4. Нелинейная автогрессия с внешней моделью входов Рассмотрим рекуррентную сеть с одним входом и одним выходом, динамика которой описывается уравнениями состояния (15.16) и (15.17).
Требуется модифицировать эту модель к модели типа "вход-выход", эквивалентно представляющей данную рекуррентную сеть. С помощью уравнений (15.16) и (15.17) можно показать, что выход у(п+д) можно выразить в терминах состояния х(п) и вектора входных сигналов цч(п) следующим образом (см, задачу 15.8); у(п+д) = Ф(х(п),н (п)), (15.34) где д — размерность пространства состояний, а Ф: Язч — Я. Предполагая, что данная рекуррентная сеть является наблюдаемой, можно применить теорему о локальной наблюдаемости и записать: х(п) = чг (у (и), ц ~ (п) ), (15.35) где кг: Яэч ' — ~ Яч.
Подставляя (15.35) в (15.34), получим: у(п+ д) = Ф(Ф(у (п), и,,(п)), це(п)) = Р'(уч(п), ич(п)), (15.36) где це, (п) содержится в цч(п) в качестве его первых (д — 1) элементов, а нелинейное отображение г: Язч — Я является композицией Ф и чг. Используя определения уч(п) и нч(п) из формул (15.30) и (15.29), можно переписать выражение (15.36) в расширенном виде; 15.5.
Вычислительная мощность рекуррентных сетей 937 у(п + д) = г'(у(п + д — 1),..., у(п), и(п + д — 1),..., и(п)). Подставляя вместо и выражение и — д + 1, можно эквивалентно записать (772): у(п + 1) = Е(у(п),..., у(п — д + 1), и(п),..., и(п — д + 1)). (15.37) Переводя зто выражение на язык слов, некоторое нелинейное отображение Е: Язч — Я существует, посредством чего текущее значение выхода у(п + 1) однозначно определяется в терминах прошлых значений выхода у(п),..., у(п — г7-ь1) и текущего и прошлых значений входного сигнала и(п),..., и(п — ц-ь1).
Чтобы зто представление "вход-выход" было эквивалентно модели в пространстве состояний (15.16) и (15.17), рекуррентная сеть должна быть наблюдаемой. Практическое значение этой эквивалентности состоит в том, что модель 1ь1АКХ (см. рис. 15.1), в которой глобальная обратная связь ограничена только выходным нейроном, способна имитировать соответствующую полную рекуррентную модель в пространстве состояний (см. рис, 15.2) (предполагая, что т = 1 и р = 1) без отличий в динамике. Пример 15.3 Вернемся к полносвязной рекуррентной сети, изображенной на рис.
15.6. В целях настоящей дискуссии предположим, что один из входов (напрнмер, из(п)) ящиется нулевым. И теперь наша сеть сокращается до модели 5150 (с одним входом и одним выходом). Тогда, предполагая, что сеть является локально наблюдаемой, можно заменить эту полносвязную рекуррентную сеть моделью 1чАКХ, показанной на рис. 15.7. Эта эквивалентность сохраняется несмотря на тот факт, что модель 1чАКХ имеет ограниченную обратную саязгч которая исходит из выходного нейрона, в то время как полносвязная рекуррентная сеть, показанная на рис. 15.6, содержит глобальные обратные связи, окружающие многослойный персептрон и исходящие из всех трех (2-х скрытых и 1-го выходного) нейронов.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
