Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 42
Текст из файла (страница 42)
(16.22) у(Ус)и(Ус+1) = у(й)и(Ус) — УУ„,уф)Ч Е(м, У(), сУ(Ус) — у(Ус)и(Ус+1) = сУ(Ус) — у(Ус)и~(Й)+гУ уЯ74,„У.(и',Л,). (16.23) 285 Громоздкость алгоритма (16.18), являющегося по сути гауссовсконьютоновской процедурой нелинейного программирования, связана прежде всего с необходимостью обращения на каждом такте времени й матриц размерности (яхт), что заставляет прибегать к более простым градиентным алгоритмам настройки вектора весов иИ). Достаточно эффективная процедура может быть получена, если для поиска седловой точки лагранжиана использовать градиентный алгоритм Эрроу-Гурвица, имеющий вид [177~ Левая часть (16.23) описывает апостериорную ошибку е,",И), полученную после одного такта настройки параметров, т.е. е,,(Й) =е (7с)+п„,Я)уЯ)К„,Е(ьч,Х).
(16.24) Вводя квадрат нормы этой ошибки (е~(к)) =!)е„,(й)1 +2х)„,(й)е~(й)т(й)7„Е(и,1)+х)'(й)()у(/с)~„,Е(и,Л)! (16.25) и минимизируя его по п„(й), т.е. решая дифференциальное уравнение (16.26) получаем оптимальное значение шага поиска ~г~~т~~~ т1и !)у(/с)~7 Е(и,1)( (16.27) Тогда алгоритм (16.19), (16.20) окончательно может быть записан в виде Ч Е(ъ, А,Ус) = — (у~(lс)е,,(Ус) — ХЯ)Е„), е„, (/с) у(Ус)~7„,Е(и, 1, Й) ~ уЯ)К„Е(ы, Л, 1с)~ ~(1 +1) 1(1)+ (~)( т(()г. (16,28) с",„ц = ~~,и, =1, 0 < и, < 1, (16.29) 286 Несложно видеть, что процедура (16.28) с вычислительной точки зрения гораздо проще, чем (16.18), а при отсутствии ограничений (16.2) представляет собой обобщение на многомерный случай алгоритма обучения КачмажаУидроу-Хофф а.
Элементам весового вектора можно придать смысл вероятностей или уровней принадлежности, определяющих «вклад» каждого из членов ансамбля в объединенный результат, если в оптимизируемый лагранжиан ввести дополнительное ограничение на неотрицательность получаемых весов, т.е. 16 АНСАМБЛИ НЕЙРОННЫХ СЕТЕЙ уц(Ус) =~) ~л,,у,Ос) = у(1с)р. (16,30) Вводя в рассмотрение лагранжиан Щ~ 1 р) = — Тте~~е" +Х(р~Š— 1) — р~и = 2 = — Тт(О(1с) — 1'(/с)т' Ох,и)т(О(й) — 1'(Ус)т' Э,и)+ Л(1стń— 1) — р~1с = (16.31) = — ~!)сУ(р) — у(р)и)( +Х(ртń— 1) — рт,и 2р, (здесь р — (Ь х1) — вектор неотрицательных неопределенных множителей Лагранжа) и систему уравнений Куна-Таккера т~„ц,и, 1,р)=О, акр,~, р)/а~ = о, р, >О, 1=12,...,Ь, (16.32) решение которой имеет вид .и =Рж)( (1)-~Е, + р), Е~ РЯ) тЯ) — 1+ Е~ РЯ) р (16.33) Ет Р(1с)Е„ и применив далее процедуру Эрроу-Гурвица-Удзавы, получаем алгоритм настройки вектора весовых коэффициентов р в виде Ет *(с 1) 1 Етр(1 х Ртр(1с+1)т.
ХЕа + Р(1+1)р(й), р(Ус+1) = Рт,(р(1) — т1 (сс) и(7с)), (16,34) 287 где,и=(,и„,и„...„,и„) — вектор неотрицательных весовых коэффициентов в объединенном сигнале где Рг,(е) - проектор на положительный ортант. Первое соотношение (16.34) можно преобразовать к виду р.(И+1) = и(1+1) — Р(И+1) " Е,„+Р(К+1)рЯ) = Е„'Р(1+1)р(й) Е Р(/с+1)Е (16.35) ~" Е,',Рж+1)Е„ где и(1г+ 1) определяется соотношением (16.7), 1„— (Ь х Ь) — единичная матрица, 1„— РЯ+ 1)Е„Е'„(Е'„РЯ+ 1)Е„) — проектор на гиперплоскость 1г'Е„=1, Несложно видеть ортогональность векторов Е„ и (1„— Р(И+1)Е„Е~(Ег Р(К+1)Е,) ')РЯ+1)р(1г), что позволяет переписать (16.35) в простой форме с 1г(И+1) = и(1г+ 1)+ Рг,,,(Р(1+1) р(Й)), р(К+1) = Рг„(р(К) — 71 (ус)и(1г)). (16.36) Тогда окончательно рекуррентный алгоритм настройки весовых векторов и, и и,и приобретает вид РФ+1) = РЯ вЂ” Ы)У 0+1)(1„, + У((+1)РЖ)У Й+1)) УЖ+1)РЖ) = г(1+1) (1г 1))-~Р(,г) гЖ+1) = "Ф)+ У Ж+1МЖ+1) и (1+1) = Раас+1)г(/с+1), иЖ+1) — и И+1)+РФ+1)(Е РФ+1)Е ) (1 — Е и И+1))Е РЖ+1) =М" +1) — РФ+1) ', Е~+РЯ+1)РЖ) ЕтР(1 +1)р(®) Е,~ Р(й-+ 1)Е„ р(1г+ 1) = Рг,(р(Ус) — гу ф)рф)).
(16,37) 288 Процедура вычисления оценок вкладов членов ансамбля (16.34) может быть существенно упрощена, если для поиска седловой точки лагранжиана (16.31) аналогично предыдущему воспользоваться градиентным алгоритмом 16 АНСАМБЛИ НЕЙРОННЫХ СЕТЕЙ уг(К+ 1) = уг(у ) - Ч„(Ю„Е(ул, Л, р), Л(1+1) = Л(К)+гул(Уг)(угу Я)ń— 1), р(и+ 1) = Рг (р(Ус) — т7 (к)и(УС)) (16.38) или угу+1) = угу)+ту„(И)(уг(И)е„Я) — ЛЯ)Е„+ РЯ)), ЛИ+1) = Ля+гул М(ул т(К)Еь — 1), Р(У'+1) =Рг (РЮ ту (Ф)угу)) (16.39) где .„(у) = у(у)-у(у)р(у) =у(у)-у„'(у). (16.40) Проводя преобразования, аналогичные (16.22) — (16.26), можно получить оптимальное значение шага поиска е„(Уг) у(Уг)*~„Е(ул, Л„р) ту„й) — — " ()уж)~„и,и, Л, р)( (16.41) после чего окончательно записать алгоритм в виде (у"'Л' Р'у') (~ ( ) ~® Л(у') ~ Р(®))' г(1) (~)~т у( Л у) угу+1) =,иж)+ " ' " ., Ч„т.(ул,Л,Р,К), (1т(у)т „Е(и,Л,р,у)(!' Л(Ус+1) =ЛЯ)+тулЯ)(угг(И)ń— 1), РЯ+1) = Рг,(р(й) — ту (Ус),и(Ус)).
(16.42) 289 В случае неотрицательности всех компонент вектора и®), алгоритм (16.42) автоматически приобретает форму процедуры (16.28). На рис. 16.2 приведена архитектура искусственной нейронной метасети, решающей задачу объединения ансамбля локальных сетей. На вход метасети поступает обрабатываемый многомерный сигнал х(й), подающийся далее на первый слой, образованный 6 параллельно функционирующими ИНС, решающими одну и туже задачу (фильтрации, прогнозирования и т.п.), отличающимися друг от друга нейронами, архитектурами, алгоритмами обучения и формирующими набор векторных локальных выходов у,(Ус), 1=1,2,...,Ь.
Эти локальные сигналы поступают на выходной слой, образованный двумя нейронами (А1 А), представляющими < у (1) = у(/с)и (/с), у„Ж) = уИ)иЖ), (16,43) х® Рис. 16.2 — Искусственная нейронная метасеть Обучение нейронов АЕА„, и АЕА„производится с помощью алгоритмов (16.28) и (16.42) соответственно. Использование нейронной метасети позволяет повысить качество обработки информации на основе ансамбля ИНС и определить сети- победители, наилучшим образом приспособленные к решению рассматриваемой задачи и вносящие наибольший вклад в ее решение. 290 собой по сути многомерные аналоги стандартных адаптивных линейных ассоциаторов и вычисляющими объединенные выходные сигналы 17 КОДИРОВАНИЕ СИГНАЛОВ В ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЯХ 17 КОДИРОВАНИЕ СИГНАЛОВ В ИСКУССТВЕННЫХ НЕЙРОННЫХ СЕТЯХ (17.1) с7 = 11к), где д и к - (тх1) и (их1) — векторы выходов и входов идентифицируемого объекта соответственно; ~( ° ) - неизвестная вектор-функция, которую необходимо оценить с помощью заданной обучающей выборки (к(/с),с/(/с)), /с =1,2,...,М.
Некоторые проблемы, связанные с синтезом нейроэмуляторов, определяются необходимостью предварительной обработки поступающих в него сигналов, несущих информацию о входных и выходных переменных объекта. Такая обработка предполагается и в некоторых адаптивных системах управления 1109~ с целью повышения скорости сходимости процесса идентификации и предусматривает центрирование и нормирование наблюдаемых переменных объекта. При этом для линейного объекта управления с и входами к,.(й), 1=1,2,...,п и т выходами д, (й), 1 = 1,2,..., т формируется т моделей (17.2) где а,, - настраиваемый параметр линейной адаптивной модели, описывающий связь между 1 — м выходом и 1 — м входом объекта.
Переход к кодированным переменным (17.3) (здесь средние и стандарты вычисляются согласно известным выражениям В настоящем и последующих разделах более подробно будут рассмотрены примеры решения ряда практических задач обработки информации и управления в условиях структурной и параметрической неопределенности о свойствах процессов и объектов.
Как мы уже отмечали в подразделе 4.2.3, способность нейросетей аппроксимировать неизвестные отображения «вход-выход» обеспечила им широкое применение в задачах эмуляции в рамках схемы, приведенной на рис. 4.4 и обеспечивающей восстановление многомерного статического отображения приводит к преобразованным моделям вида (17.5) у которых а',. (Ус) = х,. (й) = О, о,- (й) = о,- (Ус) = 1, (17.6) а параметры а,.„. - суть частные коэффициенты корреляции (17.7) Между параметрами моделей (17.2) и (17.5) существует однозначная связь ох а, = — 'а,, а с1 а,„=О, (17.8) а,,= И,— ~а,,— 'х, 292 при этом структура (17.5) может быть настроена гораздо быстрее, хотя в общем случае без такой предварительной обработки сигналов можно было бы и обойтись.
В задачах нейроэмуляции возникает более сложная ситуация. Дело в том, что в формальных нейронах многослойных сетей используются функции активации, области значений которых лежат в достаточно узких пределах: обычно это интервалы между нулем и единицей для сигмоидальной функции и между — 1 и +1 для гиперболического тангенса. В действительности области определения переменных реального объекта управления гораздо шире этих интервалов и подача фактических значений сигналов в эмулятор приводит к параличу нейросети. В связи с этим используются различные процедуры предварительной обработки сигналов (центрирование, нормирование, масштабирование, шкалирование) (7, 20, 330, ЗЗЦ, ставящие своей целью избежать это нежелательное явление.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
