Хайкин С. - Нейронные сети (778923), страница 184
Текст из файла (страница 184)
926 Глава гб. Динамически управляемые рекуррентные сети ОЛ = ~~~ Пто,лтХт+ ~ Птб,лгитг (15.5) где хг — сигнал обратной связи, направленный от скрытого нейрона 7'; ит — сигнал источника, применяемый к нейрону г входного слоя. Символами иг обозначаются соответствующие синаптические веса сети. Нейрон, показанный на рис. 15.5, называют нейроном первого порядка (бгзьогдег пепгоп).
Когда же ицдуцированное локальное поле формируется с использованием перемножения: Оь — — ~~~ „4 Шьц Хт Ц, (15.6) то такой нейрон называют нейроном второго порядка. Нейрон второго порядка й использует один вес юьтг, который связывает его с входными узлами г из( Нейроны второго порядка лежат в основе рекуррентной сети второго порядка (357], пример которой показан на рис. 15.5.
Эта сеть принимает упорядоченную по времени последовательность входных сигналов и имеет динамику, описываемую следующей системой уравнений: ть(п) = Ьь + ~~4 4у пгьггхг(п)и,(и), 1 хя(п+ 1) = 4Р(гй(и)) = 1+ ехр( — тгь(п)) ' (15.7) (15.8) б(х,,ид) = хь. (15.9) В свете этого соотношения сети второго порядка часто используются для представления и обучения детерминированных кояечньп автаиатовд (4[е[епшшзбс йш[е-а[а[с апгоша[а — 0рА).
Автомат [дРА — это устройство обработки информации с конечным 4 В [801] показано, что с помощью рекуррентной сети второго порядка любой конечный автомат может быть отображен в такую сеть, и при этом гарантируется корректная классификация временных последовательносюй конечной длины. где оь(п) — индуцированное локальное поле нейрона гс; Ьь — соответствующее внешнее смещение (Ь[аз); хь(и) — состояние (выход) нейрона гс; и (и) — входной сигнал, постУпающий на Узел источника 7'; пгьг, — вес нейРона втоРого поРЯдка Й. Уникальным свойством рекуррентной сети второго порядка (см.
рис. 15.5) является то, что произведение х (п)и (и) представляет собой пару (состояние, вход); положительный вес пгь,т описывает наличие перехода состояния (а[ага [гапыйоп) (состояние, вход) - (следующее состояние), а отрицательное значение веса — отсутствие такого перехода. Переход состояния описывается выражением 16.2. Архитектуры рекуррентных сетей 927 Единичные задержки Выхед х,(а ч- )) Вхоаы Рис.
16.6. Рекуррентная сеть второю порядка. В)аа-нейроны исключены нз рассмотрения для упрощения представления. Сеть содержит 2 входных нейрона, 3 нейрона состояния н, следовательно, требует з н 3 = а мультипликаторов количеством состояний. Более подробная информация о связи между нейронными сетями и автоматами содержится в разделе 15.5. Архитектуры рекуррентных сетей, описанные в этом разделе, подразумевакчт наличие глобальной обратной связи. Как уже говорилось во введении, архитектуры рекуррентных сетей могут быть построены и на использовании только локальных обратных связей.
Свойства этого класса сетей хорошо описаны в [10601 (см. также задачу 15.7). 928 Глава 15. Динамически управляемые рекуррентные сети 15.3. Модель в пространстве состояний Понятие пространства играет жизненно важную роль в математическом описании динамических систем. Состояние динамической системы формально определяется как множество величин, которые объединяют в себе всю информацию о прошлом системы, которая необходима длл однозначного описания ее будущего, за исключением чисто внешних эффектов, возникающих при применении возбуждения. Пусть вектор х(п) размерности д х 1 обозначает состояние нелинейной системы дискретного времени; вектор в(п) размерности т х 1 обозначает входной сигнал, применяемый к системе, а вектор у(п) размерности р х 1 — соответствующий выход системы.
В математических терминах динамика такой системы (в предположении отсутствия шума) описывается следующей системой нелинейных уравнений [1006]: х(п + 1) = ф(ЦУ,х(п), тРьц(п)), у(п) = Сх(п), (15.10) (15. 11) где %', — матРица РазмеРности а х д; »Ць — матРица РазмеРности д х (т+1); С— матрица размерности р х а; ф: Я» — Я» — диагональное отображение вида ф(х,) ф(Х2) (15. 12) ф(х») для покомпонентного описания некоторой нелинейности ф: Я вЂ” Я.
Пространства Я, Я" и Я» называются соответственно входным (1прш), выходным (опгрц1) и пространством состояний (зза1е ярасе). Размерность пространства состояний д является порядком системы (оп1ег). Таким образом, модель в пространстве состояний, показанная на рис. 15.2, является рекуррентной моделью порядка р с т входами и р выходами.
Уравнение (15.10) являегся уравнением процесса (ргосезз еопапоп), описываемого этой моделью, а (15.11) — ее уравнением измерения (шеаавгешепг ефза6оп). Уравнение процесса (15.10) является частным случаем уравнения (15.2). Рекуррентная сеть, показанная на рис. 15.2, основана на использовании статического многослойного персептрона и двух блоков памяти с дискретной линией задержки.
Она является одним из методов реализации нелинейной системы с обратной связью, описываемой системой (15.10)-(15.12). Обратите внимание, что на рис. 15.2 за формирование состояния рекуррентной сети отвечают только те нейроны многослойного персептрона, выходы которых замкнуты на входной слой через блоки задержки. Таким образом, из определения состояния исключаются выходные нейроны. Можно предложить следующую интерпретацию матриц Р»', »т'ь и С, а также нелинейной функции ф( ). 15.3.
Модель в пространстве состояний 929 ° Матрица %, содержит синаптические веса я) нейронов скрытого слоя, которые соединены с узлами обратной связи входного слоя. Матрица ЪУЗ содержит синаптические веса а нейронов скрытого слоя, которые соединены с узлами источника входного слоя. Предполагается, что внешнее смещение, применяемое к скрытым нейронам, учтено в матрице весов %5.
° Матрица С содержит синалтические веса р линейных нейронов выходного слоя, которые соединяют их со скрытыми нейронами. Предполагается, что внешнее смещение, применяемое к выходным нейронам, учтено в матрице весов С. ° Нелинейная функция <р( ) представляет сигмоидальные функции активации скрытых нейронов. Она обычно принимает форму функции гиперболического тангенса: е-22 р(х) = а(х) = 2. (15. 13) или логистической функции: яр(х) = (15.14) Важным свойством рекуррентных сетей, описываемых моделью в пространстве состояний (15.10) и (15.! 1), является то, что они могут анлроксимировагль достаточно широкий класс нелинейных динамических систем.
Однако эта аппроксимация достоверна только на компактных подмножествах пространства состояний и на конечных интервалах времени и не отражает некоторые интересные динамические характеристики (1006]. Пример 15.1 Длл того чтобы проиллюстрировать мзмпозицию матриц %, %5 и С, рассмотрим лоянослззную рекуррентную семь 1И!у соппссьзг! гссщтеп! пспчогн), показанную нз рис. 15.6. В ней контуры обратной связи начинаются в нейронах скрытого слоя. В данном примере параметры гп =2, с =3 и р = 1.
Матрицы %, и %5 определены следующим образом: Ш11 Ш12 Ш13 Ш21 Н122 Н123 Ш31 Ш32 ШЗЗ с Ь! ш1Я шы Ь2 Ш2Я Ш25 ЬЗ ШЗЯ Ш35 Обратите внимание, что в первом столбце матрицы %ь сосредоточены внсщнис смещения Ь1, ЬЗ и Ьз, применяемые к нейронам 1, 2 и 3 состнстстзснно. Матрица С з данном случае представляет собой вектор-строку С = (1,0,0), 930 Глава 16. Динамически управляемые рекуррентные сети Выход л(л) По И)( Входы Входной слой Слой вычислений Рыс. 15.6. Полносвязная рекуррентная сеть с двумя входами, двумя скрытыми ней- ронамн н одним выходным нейроном Управляемость и наблюдаемость При изучении теории систем самыми важными рассматриваемыми вопросами являются устойчивость, управляемость и наблюдаемость.
Устойчивость уже обсуждалась в предыдущей главе, поэтому не будем к ней больше возвращаться. В данном разделе рассмотрим вопросы управляемости и наблюдаемости, так как они обычно взаимосвязаны. Как уже говорилось ранее, многие рекуррентные сети можно представить моделью в пространстве состояний (см.
рис. 15.2), в которой состояние описывается выходом скрытого слоя, замкнутого обратной связью на входной слой через блок единичных задержек. В этом контексте важно знать, является ли сеть управляемой и наблюдаемой. Управляемость связана с вопросом возможности управления динами- 16.3, Модель в пространстве состояний 931 х = «р(Ах+ Вн). (15.15) Без потери общности можно положить х = 0 и н = О. Тогда равновесное состояние будет описываться следующим образом: о = р(о). Другими словами, точка равновесия может быть представлена началом координат (О, 0).
Без потери общности можно также упростить представление, ограничившись системой всего с одним входом и одним выходом (гйпй)е «прп! гйпй!е оп«рп« вЂ” 8180), Тогда равенства (15.10) и (15.11) можно переписать следующим образом: х(п + 1) = «р(атак(п),тайп(п)), у(п) = с х(п), (15. 16) (15.17) где «рь и с являются векторами размерности г) х); и(п) — скалярным входом; у(п)— скалярным выходом. Поскольку «р является непрерывно дифференцируемой для случая использования сигмоидальных функций (15.13) и (15.14), ее можно лииеаризовал«ь, разложив в ряд Тейлора в окрестности точки равновесия х = 0 и О = 0 и ограничившись только слагаемыми первого порядка: Ьх(п + 1) = «р'(0)%,бх(п) + «р'(0)дроби(п), (15.
18) ! Строгий подход к определению управляемости и иаблюдаемоети можно найти в [531], [638], [1008), [1 ! 78). кой рекуррентной сети. Набпюдаемость связана с вопросом возможности наблюдения результата действия управления, примененного к сети. В этом смысле наблюдаемость является дуальной к управляемости. Рекуррентная сеть называется уи)равляемой (соп[гоПаЫе), если из любого начального состояния путем управления можно привести систему в желаемое состояние за конечное число шагов.
В данном определении выход системы не принимается в расчет. Рекуррентная сеть называется наблюдаемой, если состояние сети можно определить из конечного множества наблюдений входного и выходного сигнапов. Более строгие определения управляемости и наблюдаемостн выходят за рамки настоящей книги5.
Здесь ограничимся только локальпыни формами управляемости и наблюдаемости (под локальностью понимается то, что эти понятия применяются только в окрестности равновесного состояния сети) [636]. Состояние х называется состоянием равновесия (е«[шйЬгпш 8«а«е) системы (15.10), если для любого входа н выполняется условие где бх(п) и би(п) являются малыми отклонениями состояния и входа соответственно, а матрица е'(О) — Якобианом»р(т) по отношению к своему аргументу т, вычисленным в точке т = О.
Такую линеаризованную систему можно описать следующей системой уравнений: где матрица А размерности 9 х д и вектор Ь размерности д х 1 определяются следу- ющим образом: (15.21) (15.22) Уравнения состояния (15.19) и (15.20) представлены в стандартной линейной форме. Следовательно, к ним можно применить хорошо известные результаты, относящиеся к управляемости н наблюдаемости динамических систем, полученные в стандартной части математической теории управления. Локальная управляемость Из линеаризованного уравнения (15.19) видно, что его последовательное применение приводит к системе следующих уравнений: бх(п + д) = А»Ьбх(п) + А» 'Ьбх(п + 9 — 1) +...
+ АЬби(п + 1) + Ьби(п), где д — размерность пространства состояний. Таким образом, можно утверждать следующее [636]. М, = (А» 'Ь,..., АЬ, Ь] (15.23) имеет ранг д (т.е. полный ранг), так как тогда линеаризованное уравнение процесса (15.19) будет иметь единственное решение. Матрица М, называется матрицей управляемости (сопгго11аЪ(1йу шапзх) линеаризованной системы. 932 Глава 16. Динамически управляемые рекуррентные сети бх(п + 1) = Абх(п) + Ьби(п)в, бу(п) = с~бх(п), А = у'(0)Ж„ Ь = е'(0)з»ь. бх(п + 1) = Абх(п) + Ьби(п), бх(п + 2) = Абх(п + 1) + Ьби(п + 1), Линеаризованная система (15.19) является управляемой, если матрица (15.19) (15.20) 16.3.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
