Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 47
Текст из файла (страница 47)
При этом, естественно, изменяются соответствующие ц,. (й), что и фиксируется на уровне выходного нейрона. Особенностью рассматриваемой диагностирующей нейросети является то, что каждый слой настраивается с помощью собственного алгоритма обучения. 318 21 ОБНАРУЖЕНИЕ ИЗМЕНЕНИЙ СВОЙСТВ СТОХАСТИЧЕСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ С ПОМОЩЬЮ НЕЙРОСЕТЕВОГО ПОДХОДА Наиболее просто дело обстоит в первом скрытом слое, где выходной сигнал У-го нейрона может быть представлен в виде У У хУ(Ус) =~У/, ~~ и„(Ус)х(Ус — У)+~~1 и,,.(Й)хУ(Ус — У)+иУ (Ус) с=1 г=1 (21.3) =Ч/У(К,'(й)ХУ(й», У'=1,2,...,Л,„ где 5,.
(Ус) = (и У„(1), ил(й),..., и„.. (А),ил(Ус),...,и„.. (й»' — ((2 У+1) х1) — вектор настраиваемых синаптических весов; Х У (Ус) = (1, х(Ус — 1), ..., х(Ус — У), ху (Ус — 1),..., х, (Й вЂ” у»' — вектор входов той же размерности. Вводя ошибку прогнозирования у-го нейрона первого слоя еУ (Ус) = х(й) — х,. (й) = х(й) — уУ (5~ (Ус)Х У (Ус» (21.4) и квадратичный критерий обучения, можно записать в общем виде градиентную процедуру настройки синаптических весов 5,(Ус+1) =Б,(Ус)+У)У(Ус)еУ(Ус)К, уУ(5,'(й)Х,(Ус» (21.5) и использовать практически любой из алгоритмов, описанных в подразделе 4.4. Во втором скрытом слое производится попарное объединение выходных сигналов первого слоя в виде у, (й) = и, (Ус) у,, (Ус) + (1 — и,. (Ус»хУ„(Ус), (21.6) где у„(Ус) =х,(Ус); и,(Ус), У'=1,2,...,п, — 1 - веса, определяющие сравнительную точность прогнозов уу,(Ус) и ху„(Ус) и обеспечивающие несмещенность оценки Х(Ус) = (х(1),х(2),..., х(У„.»г 1'у(Ус) = (уу(1), уу(2),.
", уу(Ус»', Х (Ус) = (х (1),х (2),...,х (Ус»т, 1~у (Ус) = Х (Ус) — У, (Ус), )~у, (й) = Х(Ус) — Уу,(1), 1~, у„(Ус) = Х (Ус) — Х у„(У ) (21.7) уу(У ). Для нахождения оптимальных значений и,(Ус) введем (Усх1) -векторы наблюдений и ошибок и запишем очевидное соотношение Ъ '(й) и '(й)Ъ ' (й)+(1 и '(й))Ъ л ( ) (21.8) после чего, решив уравнение (21.9) получаем (21. 1О) Несложно показать, что (21.11) <О, !!~;, (~) — ~',„(~)! т.е. точность объединенного прогноза у,.(й) никогда не может быть ниже точности объединяемых прогнозов у,,(й) и х,.„. Весовой коэффициент и,.(й) задает «вклад» у,,(й) в у,. (й) и тем самым меру близости реального процесса х(й) к у,,(®) или х,„.
Вариация значения и,(() может служить признаком изменения свойств последовательности х(й), а вектор и (1) = (и, (1), и„(й),..., и „,(/с)) — использоваться в качестве вектора диагностических признаков. Для работы в реальном времени целесообразно представить (21.10) в рекуррентной форме. Вводя обозначения г,. 1®+1) = х(1+1) — у,,(1+1), 1~„„(/с+1) = х(/с+1) — х,„(й+1), в,.(1+1) =~~„„(1+1) — и,,(1+1)„ (21.12) 320 21 ОБНАРУЖЕНИЕ ИЗМЕНЕНИЙ СВОЙСТВ СТОХАСТИЧЕСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ С ПОМОЩЬЮ НЕЙРОСЕТЕВОГО ПОДХОДА можно записать у,.(7с) „~, „,(/с+1)ь,.(Ус+1) ! 7( у,И+1) у, (1+1) у,. (1+1) = у,.
(Ус) + е,'-.ф+1). (21.13) Если при работе в реальном времени удобнее использовать не сигналы обновлений, а непосредственно контролируемую последовательность х(й) и ее прогнозы, то используя очевидное соотношение ь'. (1+1) = х(1+1) — х.„(1+1) — х(1+1)+ у.,(й+ 1) = = у,,(1+1) — х,„(й+ 1), (21.14) алгоритм настройки весов второго скрытого слоя (21.13) можно переписать в виде У, И) . и,.~„Ж+ 1)(у,, Ж+ 1) — х,„ж+ 1)) и',(1+1) = ' и',.(/с)+ у,(к+1) у,. (/с+1) у,(ус+ 1) = у, П)+(ун Я+ 1) — х,м(К+ 1?)2.
(21.15) Выходной слой диагностирующей нейронной сети образован адаптивным линейным ассоциатором, в котором производится объединение выходов второго скрытого слоя у(й) = (у, (7с), у, (й),..., у„, (й)) в форме у„Ж) = ~Р, Ж)у, Ж) = н'Ж) МЫ, (21.16) при этом, если на элементы вектора,и(й) наложить ограничения типа (16.29) и„— 1 ~,и,.(й) =,и~(й)Е„ч, =1, ~=! н,.(Й) >О, ~'=1,2,...,л, — 1, (21.17) 321 им можно придать смысл вероятностей определенных гипотез, одна из которых состоит в том, что истинная структура процесса х® наиболее близка к структуре прогноза у,.
(1), чья вероятность,и,. (й) максимальна. Для определения диагностического вектора вероятностей п(й) введем в рассмотрение лагранжиан 2 й й — 1 о, — 1 я — 1 Щи,Х,р) =~ х(р) — ~1,и,.у,.(р) +Л, ~,и,. — 1 — ~~~ р,и,. = л=1 !=1 (21.18) = (Х (~) — У(И),и)' (ХИ) — У(Ж)и) + ~(и' Е„, — 1) — р' р, где Уф) =(У1ф),У,(й),...,У„,(й)) — (йх(п, — 1)) — матрица; Л вЂ” неопределенный множитель Лагранжа; р — ((л „вЂ” 1) х 1) — вектор неотрицательных неопределенных множителей Лагранжа, отвечающих условиям дополнительной нежесткости. Вектор,и(А) может быть найден либо путем решения системы уравнений Куна-Таккера К„г(р,~., р) = -2УЖХ(и)+ 2У'ЯУ(и)р+ ~Е„„, - р = О, Мц~ р) т = р'Е„, -1= О, дЦ,и,А, р) = — р,.
<О, р,. >О, 1=1,2,...,п„— 1, др,. (21.19) либо, что более удобно при работе в реальном времени, с помощью процедуры Эрроу-Гурвица, которая в общем случае имеет вид ,и(ус + 1) = И(К) — 71„(К)Ч „Е(К Л, р, и), Л(и+» = ~Я+ п, Ядир, ~, р,к)(д~, рЯ+1) = Рг,(р(й)+и (1)Ч Ь(и,1, р,И)) (21.20) и является по сути алгоритмом обучения выходного нейрона. С учетом (21.19) система (21.20) может быть переписана в виде рЯ+1) =,и(й)+з)„(1)(2е„(Ус)у(Ус) — Х(Ус)Е„, + р(й)), )((1+1) = Аф)+и Я)(р~Е„~, — 1), рЯ+1) = Рг„(р(Ус) — и (lс)и(Ус)), (21.21) 322 где е„И) = хЖ) — р (й) у(й) = х(й) — у„(Й) - ошибка прогнозирования выходного нейрона, Для оптимизации по скорости процесса обучения в выходном слое домножим первое соотношение (21.21) слева на ут(й) и обе части полученного уравнения вычтем из х(Й) 21 ОБНАРУЖЕНИЕ ИЗМЕНЕНИЙ СВОЙСТВ СТОХАСТИЧЕСКИХ ПОСЛЕДОВАТЕЛЬНОСТЕЙ С ПОМОЩЬЮ НЕЙРОСЕТЕВОГО ПОДХОДА х(1с) — у" Я)р(!с + 1) = х(й) — ут (1с)фй) — т1„(1с)(2е„(й) !у(й)! (21.22) — 1(1с)у~(1с)Е + у (1с)р(Й)) Выражение в левой части (21.22) представляет собой апостериорную ошибку е~ (1с) (раздел 16) после одного такта настройки е"(й)=е (/с) — т1 (1с)(2е (lс)!!у(с)!! — 1(1с)у (1с)Е + ут(1)р(й)).
(21.23) Решив уравнение д(е„" (1с))' дт1 (21.24) несложно получить оптимальное значение шага обучения е„, (1с) т1„(Й) 2е„(Ус)!/У(()/! — 1(Ус)Ут (()Е„ч, + У'' (1с)РЯ) (21.25) после чего записать алгоритм настройки выходного слоя в окончательном виде е„(®)(2е„®)у(1с) — тсЯ)Е„, + р(1с)) р(/с+1) = ц(й)+ 2е„(1с)!у®)!! — Щс) ут(1с)Е„, + ут (1с) р(1с) (21.26) тт р(й+ 1) Рт,(р(1с) т) (й),и(А)). Можно заметить, что если в процессе обучения будут выполнены условия (21.17), процедура (21.26) автоматически приобретает форму т ~ р((+1) = р(()+ (~) 'с (,)™ у(к) !!. ( )!!' (21.27) 323 представляющую собой стандартный алгоритм Качмажа-Уидроу-Хоффа. Таким образом, рассмотренная диагностирующая ИНС обеспечивает наряду с традиционным в теории и практике нейросетей прогнозированием и раннее обнаружение разладок в реальном времени. 22 нкйросктквАя идкнтиеикАция динлмичкских систкм Последние годы для решения задачи идентификации динамических нелинейных многомерных систем, функционирующих в условиях структурной и параметрической неопределенности, все чаще используются динамические рекуррентные нейронные сети (раздел 9) благодаря, прежде всего, своим универсальным аппроксимирующим свойствам и возможности учета внутренней динамики системы 123, 32, 42, 91, 246, 385-398~.
Для описания динамических объектов и систем наиболее широкое распространение получили два основных типа моделей: модели в пространстве «вход-выход» и в пространстве состояний. Исходной информацией для построения модели «вход-выход» служат данные наблюдений за ее входными и выходными сигналами х(й), д(й) (рис. 4.4), заданные либо в форме пакета на фиксированном временном интервале х = 1,2,..., М, либо поступающие в реальном времени. Как правило, математическим описанием такой модели служит многомерное нелинейное уравнение авторегрессии-скользящего среднего с экзогенными входами (МАКМАХ-М!МО - модель), имеющее вид сН1с) = ~(сИ1с — 1), д(7с — 2)„..., с3Я вЂ” ц, ), к(й — 1), х(А — 2),..., хай — ц,)), (22.1) где сУ(/с), х(й) — (>пх1),(вх1) — векторы выходов и входов; ц„ц,, — порядки запаздываний, выбираемые обычно достаточно большими; ~'( ° ) — неизвестная статическая нелинейная функция, отображающая прошлые значения входных и выходных сигналов в текущие значения выходов.
На рис. 22.1 приведена схема МАКМАХ-М!МΠ— модели 122.1), при этом на вход статического блока ~(е) поступает и т+и п сигналов, а выходной сигнал имеет размерностыл х1. Для идентификации динамической системы в пространстве «вход-выход» наиболее часто используется две структуры: параллельная (рис. 22.2) и последовательно-параллельная (рис. 22.3). В параллельной структуре объект идентификации и нейросеть имеют общие входы и раздельные выходы, в то время как в последовательно- параллельной схеме на вход нейросети поступают не только задержанные входы динамической системы, но и ее «прошлые» выходы. Естественно, что последовательно-параллельная структура обеспечивает более высокое качество идентификации, хотя с вычислительной точки зрения более сложна. В обеих структурах в качестве ИНС может использоваться любая архитектура с прямой передачей информации, обладающая аппроксимирующими свойствами, например, многослойный персептрон, радиально-базисная или Š— П нейронные сети.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
