Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 28
Текст из файла (страница 28)
Последние будут рассмотрены в последующем разделе, а здесь мы подробно остановимся на сетях первого класса, широко применяемых для решения задач оптимизации, идентификации, эмуляции, прогнозирования, управления, диагностики и т.п., словом там, где фактор времени имеет существенное значение.
Синтез и анализ рекуррентных нейронных сетей является предметом рассмотрения достаточно нового направления в теории ИНС вЂ” нейродинамики [9), вобравшей в себя аппарат нейроматематики, теории автоматического управления и адаптивных систем. Основная проблема, возникающая при синтезе рекуррентных сетей (как, впрочем, и всех систем с обратной связью), связана с обеспечением их устойчивости [2581, от которой собственно и зависит возможность решения поставленной задачи.
С точки зрения нейродинамики рекуррентные сети рассматриваются как многосвязные динамические нелинейные стохастические диссипативные системы с большим числом степеней свободы, для анализа устойчивости которых неприменимы традиционные инженерные критерии устойчивости [102~.
В связи с этим основные подходы к разработке и анализу рекуррентных сетей связаны с аппаратом функций Ляпунова [2591, идентификацией устойчивых состояний (аттракторов) и минимизацией тех или иных форм энергетических функций. 180 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ 9.1 Сеть Хопфилда Исторически первой рекуррентной нейронной сетью явилась ИНС Хопфилда 1260, 26Ц, получившая в дальнейшем широкое распространение для решения задач комбинаторной оптимизации, а также в качестве ассоциативной памяти.
Схема данной сети, основными строительными блоками которой являются нейроны Хопфилда (рис. 1.10), приведена на рис. 9.1, 9.2. Функционирование сети описывается системой нелинейных разностных уравнений х,.0+1) =у, ~и„х,(й)+О,. 1 =0„1,2,...; у,~'=1,2,...л, (9.1) или (9.2) х(Ус+1) = Ч'(И'х(Ус)+В), х(0) = х„, 181 где х(/с) - (пх1) - вектор состояний; И" — (лхп) - матрица синаптических весов; Π— (и х1) - вектор смещений. Вид уравнений (9.1), (9.2) свидетельствует о том, что они являются ни чем иным, как стандартным описанием нелинейной динамической системы в пространстве состояний [65, 2591.
Для заданных начальных условий х(0) при соответствующем выборе матрицы синаптических весов И~ такая система в процессе своего функционирования сходится к точке равновесия х, минимизируя при этом некоторую энергетическую функцию (функцию Ляпунова, гамильтониан и т.п.) сети Е(/с). Точка равновесия х = х(й+ 1) = х(й) в общем случае может быть устойчивой, неустойчивой или нейтральной, что просто проиллюстрировать, используя понятия, связанные с потенциальной энергией тяжелого шарика так, как это показано на рис .9.3. Несложно видеть, что точки х', х"', х', х', х' соответствуют состояниям равновесия.
Оставленная в покое система в этих точках не имеет физических оснований для изменения состояния. Точки х, хх и хв соответствуют устойчивым состояниям, т.е. являются аттракторами, в которые возвращается система после подачи в нее ограниченного возмущения. Точки х и х являются неустойчивыми и система в них никогда не стабилизируется. Точки х и х являются нейтрально устойчивыми точками равновесия, хотя запас устойчивости состояния х~ гораздо выше, чем у критического состояния хл.
Естественно, что для решения практических задач наибольший интерес представляют устойчивые состояния, с формальной точки зрения характеризующиеся тем, что для любого е, > 0 существует е, > 0 такое, что 16~ ((Ч'~х(0),й) — х*)( < в,, ((х(0) — х ((<е, для всех й = 0,1,2, х,(/с) х,(/с+1) х,(А) х„(й) Рис.
9.1 — Нейронная сеть Хопфилда 182 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ х()с+1) Рис. 9.2. — Блок-схема нейросети Хопфилда Рис. 9.3 — Энергетические состояния системы В общем случае система может иметь множество аттракторов, при этом с каждым связано свое множество начальных точек, определяющих его область притяжения. Кроме того, сам аттрактор может иметь более сложную структуру чем точка, например, предельного цикла. В качестве актив ационных функций в сетях Хопфилда наибольшее распространение получил не гиперболический тангенс (рис. 1.4 ж), а более простая сигнум-функция (рис.
1.4 б). В этом случае уравнение (9.1) естественно приобретает вид 1, если и,(1+1) >О, х,(/с+1) =яяп ~~Г и „х,.®+О,. = ' (9.4) — 1 в противном случае, й = 0,1,2,...; 1',1 =1,2,...,п. 183 В процессе своего функционирования такая сеть, минимизируя энергетическую функцию (9.5) сходится к устойчивому состоянию, что в общем случае гарантируется при симметрической матрице синаптических весов И' (и „= и „" ) с нулевыми элементами на главной диагонали (и „..
= 0). Для обучения этой сети обычно используется автоассоциативное правило обучения Хэбба (4.373) в пакетном варианте м И1 = — Ехж)хт(й) — 1, п~! И (9.6) (9.7) х,. (/с + 1) = х,. (/с) + Ат, Изменение энергетической функции (9.5) при этом равно 1 П и ЛЕ(/с) = Е(К+1) — Е(й) = — — Лх, ~и',,х,(Й)+~,и~„,х„(Й) г=1 р=! (9.8) а с учетом симметричности матрицы И'- (9.9) П Заметив, что знаки Ах, и ~~ и',,х,(й)+О,. совпадают, можно сделать ~=1 вывод, что уменьшение энергетической функции АЕ(й) < 0 может быть 184 где Ф вЂ” объем обучающей выборки; У вЂ” (и хп) — единичная матрица.
Согласно уравнению (9.4) каждый нейрон может находиться в двух состояниях: +1 или — 1, а сама сеть также может функционировать в двух режимах [271. Если в каждый момент времени к все нейроны могут изменять свое состояние, то это — параллельный режим, если же в каждый момент свое состояние может менять только один нейрон — то говорят о последовательном режиме. Рассмотрим ситуацию, когда сеть работает в последовательном режиме и в (й+ 1)-й момент времени 1-тый нейрон принимает состояние 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ х = х(й) = я~пЖх(й) + 0), С9,10) которое достигается при й > л' тактов работы сети. 9.2 Сеть Хэмминга Нейронная сеть Хэмминга была предложена для решения задачи распознавания путем сравнения предъявляемого образа с одним из эталонов, формирующих обучающую выборку х(1), х(2),..., х(й) [262~.
Особенностью данной сети является то, что и анализируемый образ, и эталоны задаются в форме бинарных векторов, а расстояние между ними определяется хэмминговой метрикой „((х — х1 У)() = 01(х,. л х,.(У))ъ (х,. л х,.(У)) ( 1 =12,...,п1 (9.11) т.е. количеством отличающихся элементов векторов х и х(1). На рис. 9.4 представлена схема нейросети Хэмминга, имеющая двухслойную архитектуру и являющаяся своеобразным гибридом вероятностной нейронной сети с прямой передачей информации и рекуррентной сети Хопфилда. Сеть имеет п входов, М нейронов по числу имеющихся эталонов в скрытом слое и М рекуррентных нейронов в выходном слое. Скрытый слой образован линейными ассоциаторами, синаптические веса которых подобно вероятностной нейронной сети устанавливаются заранее и определяются значениями компонент векторов-эталонов х(1), 1= 1,2,..., Ф х,(1) л И'; = 2 ' 2 (9.12) При подаче на вход сети произвольного вектора х на выходах нейронов скрытого слоя появляются сигналы 114~ 19.13) Нейрон с максимальным выходным сигналом соответствует эталону хЦ), ближайшему в смысле Хэмминга к вектору х.
185 обеспечено при и „.. > О, а признаком достижения устойчивого состояния является выполнение условия Рис. 9.4 — Нейронная сеть Хэмминга Рекуррентный выходной слой сети образован нейронами, выходы которых через элементы задержки = ' связаны с входами остальных нейронов этого слоя отрицательными обратными связями с коэффициентом усиления 0 < я < Ж '. Кроме того, каждый нейрон охвачен положительной обратной связью, которая связывает его выход с собственным входом. Выходной сигнал рекуррентных нейронов у,. определяется активаци анной функцией-выпрямителем, вид которой приведен на рис, 1.3 г.
18б 9 НЕЙРОДИНАМИКА И РЕКУРРЕНТНЫЕ СЕТИ Выходные сигналы скрытого слоя задают начальные состояния рекуррентных нейронов (9.14) у,(0) =о, реализующих последовательность вычислений и,(1+1) = у,.(й) — ~~!~ у!Я), l =! 1Ф!' у,(й+ 1) = у(и,. (/с+1)). (9.15) В результате итераций выходные сигналы всех нейронов постепенно уменьшаются, устремляясь к нулю, кроме одного, имевшего наибольшее начальное значение (9.14).
Этот нейрон и определяет эталон, к которому будет отнесен предъявленный вектор-образ х. К преимуществам сети Хэмминга следует отнести ее быстродействие и простоту [481, хотя возможность работы только с бинарными векторами несколько ограничивает ее применимость. 9.3 Сеть Элмена и,. (/с+1) = ~и !.',.'х,. (й)+ ~ ь,',о,. (й)+0~.", !=! 1=! о,(/с+1) =Чя(и,.Я+1)) = 1ап1!и,(/с+1), у'=1,2,...,л!, (9.16) 187 В 1990 году Дж.
Элменом была предложена многослойная рекуррентная нейронная сеть [263~, предназначенная для определения границ между отдельными словами в непрерывном потоке фонем и приведенная на рис. 9.5. В дополнение к традиционным скрытому и выходному слоям в сеть введен специальный слой обратной связи, называемый контекстным или слоем состояний. Этот слой получает сигналы с выхода скрытого слоя и через элементы задержки подает их на входной слой, сохраняя таким образом обрабатываемую информацию в течение одного временного такта.
«Строительными блоками» сети Элмена являются стандартные нейроны с активационными функциями типа гиперболического тангенса, адаптивные линейные ассоциаторы и элементы задержки ~ '. Обучается сеть с помощью алгоритма обратного распространения ошибок, рассмотренного в подразделе 4.6.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
