Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 35
Текст из файла (страница 35)
Система неравенств (10.65) описывает по сути задачу линейного РаЗДЕЛЕНИЯ ВЕКТОРОВ г( „-„..., Еи ПУТЕМ НаХОжДЕНИЯ ВЕКтОРа удовлетворяющего каждому из неравенств, и может быть решена, например, с помощью алгоритма обучения (4.108) или любой из стандартных процедур, используемых в теории распознавания образов 194-971. В случае, если необходимо запомнить М векторов х(1), х(2),..., х(М), рассмотренные выше преобразования осуществляются над каждым из векторов-стимулов, в результате чего возникает задача линейного разделения Мп вспомогательных векторов г„, р =1,2,..., 11(п.
Таким образом задача нахождения синаптических весов и смещений памяти Хопфилда может быть сведена к задаче обучения элементарного персептрона Розенблатта с сигнум-функцией активации и п(п+ 1)/2 настраиваемыми весами. При этом на каждом такте может подстраиваться только один нейрон. Так, например, решение первого неравенства из системы (10.63) позволяет уточнить параметры и;.„ь;„..., в;, „01 и т.д.
Несмотря на свою небольшую емкость, сеть Хопфилда благодаря простоте реализации получила достаточно широкое распространение в качестве ассоциативной памяти. 10.4 Двунаправленная ассоциативная память Обобщением автоассоциативной памяти Дж. Хопфилда является 237 х,(1+1) х,,(/с+1) х„(1+1) у,Ж) у2 (Ж) у ® Рис. 10.6 — Двунаправленная ассоциативная память Данная сеть, кроме входного и выходного содержит скрытый слой, при этом организация архитектуры позволяет осуществлять встречный обмен информацией между скрытым и выходным слоями за счет того, что матрицы синаптических весов этих слоев являются взаимно транспонированными. При подаче на вход сети и — мерного бинарного вектора х(1) на выходе скрытого слоя появляется и — мерный векторный сигнал (10.66) у(1) = идп (И'х(1) + О, ), который поступает на выходной слой, генерирующий вектор х(2) = оп (И' у(1) + О,).
(10.67) По каналу обратной связи х(2) передается на вход, в результате чего в скрытом слое вычисляется (10.68) у(2) = я~п (И'х(2)+ О„), а в выходном— х(3) = ламп (И" у(2)+О ). (10.69) 238 гетероассоциативная (двунаправленная) память Б. Коско 1286~, архитектура которой приведена на рис.
10.6. 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ После ~ итераций сеть порождает пару с у(lт) = ияп (йх(к)+О ), х(к+1) = идп(У1т у(К)+О,), (10.70) минимизируя при этом энергетическую функцию т 1 т 1 т Е(х, у) = — — у И'х+ — О, у + — О х. 2 2'' 2 (10.71) у = яда (Ц'х +О,.), х = яуи (Чт у +О,.). (10.72) Двунаправленная память обучается с помощью хэббо вского правила (10.13).
Несложно видеть, что при этом после предъявления первого стимула сеть формирует первый аттрактор у = луп(у(1)х (1)х) = лап у(1) = у(1), (10.73) если 0 < сов(х(1),х) <1, и х = яул(х(1)у (!)у) = х(дп х(1) = х(1), (10.74) если 0 < сов(у(1), у) < 1, В случае, если необходимо запомнить (их М) — матрицу ключевых образов, синаптические веса сети вычисляются согласно формуле (10.12) в виде И~(М) = ~~ у(к)х~ (() = УХ (10.75) где М - максимальное количество запоминаемых образов, определяемое оценкой и М< 21оя„п (10.76) в случае нулевых смещений О.
и О,, и оценкой 239 В результате устойчивые состояния сети (аттракторы) могут быть описаны системой уравнений (10.77) %<2", если каждый нейрон сети имеет свое ненулевое смещение. Двунаправленная ассоциативная память может использоваться и в качестве автоассоциативной, обладая при этом более высокой емкостью и скоростью сходимости по сравнению с памятью Хопфилда. 10.5 В Я В-модель Еще одна архитектура ассоциативной памяти была предложена Дж. Андерсоном 1287~ и получила название «Вга1п-Яа1е-1п-А-Вох Моде1» (ВЯВ- модель).
ВЯВ-модель представляет собой нелинейную динамическую систему с амплитудными ограничениями, охваченную положительной обратной связью. На рис. 10.7 приведена блок-схема ВЯВ-модели. хй+1) Рис. 10.7 — Блок-схема ВЯВ-модели Динамика этой системы определяется парой уравнений с у(/с) = х(к) + рй'х(/с), х(1+1) = Ч'(у(/с)), (10.78) 240 где Р -малая положительная величина, называемая параметром обратной связи. Наличие положительной обратной связи приводит к тому, что подаваемые в ВЯВ-модель сигналы усиливаются до тех пор, пока все нейроны сети, активационная функция которых имеет вид ограничителя (рис.
1.4 в), не войдут в насыщение. Отличительной особенностью данной ИНС является возможность работы с аналоговыми входными образами, которые переводятся в бинарные формы, определяющие аттракторы системы. Блок схемы, обозначенный й', представляет собой по сути однослойную ИНС, образованную элементарными линейными ассоциаторами, а блок 'Р является набором кусочно-линейных функций с уровнями насыщения +1, что ограничивает вектор состояний х(к) вершинами п — мерного гиперкуба с центром в начале координат. 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ При подаче в сеть п — мерного аналогового вектора х1!) модель вычисляет у(1) = (1+ рй')х(1) (10.79) (10.80) х(2) = Ч'(у(1)), причем сигнал х(2) сверху и снизу жестко ограничен по амплитуде.
Итерации продолжаются пока не будет достигнуто устойчивое состояние в одной из вершин гиперкуба. Наличие положительной обратной связи заставляет поданный в сеть сигнал увеличиваться по норме до достижения грани гиперкуба, после чего усиленный сигнал «скользит» по грани или ребру пока не достигнет одного из углов «ящика», выйти откуда он уже не может. Для обучения ВЯВ-модели используется автоассоциативное правило Уидроу-Хоффа (4.381) в форме И1(1+1) = И~(/с)+ц(7с)(х(1+1) — %Я)хЯ+1))х' (1+1).
(10.81) Целью обучения является нахождение матрицы синаптических весов, обеспечивающей существование й устойчивых состояний таких, что (10.82) х(/с) = И'х(й), А =1,2,...,М. В !"91 была предложена модификация В8В-модели вида хЖ+ 1) = Ч~~ах1/~)+ Дй~х~/~)+ Бх~!)), (10.83) 241 в которой используются фактор забывания 0<а<1 и малый параметр Б, обеспечивающий постоянное «присутствие» в модели запоминаемого образа- стимула х(1) . Данная модель характеризуется более высокой скоростью сходимости и устойчивостью к ошибкам.
В8В-модель, являясь автоассоциативной памятью, решает по сути задачу кластеризации заданного массива данных. Это следует из того факта, что вершины гиперкуба в процессе обработки информации действуют как точечные аттракторы с выраженными областями притяжения, которые делят п — мерное пространство признаков на соответствующее множество хорошо определенных областей.
Если центры-прототипы кластеров известны заранее, их можно связать с вершинами гиперкуба, после чего В8В-модель может работать вообще без обучения только за счет автовозбуждения, вызываемого положительной обратной связью. При этом предъявляемые сети образы автоматически будут «стягиваться» к ближайшим вершинам гиперкуба— центрам кластеров. 11 АДАПТИВНЫЕ РЕЗОНАНСНЫЕ НЕЙРОННЫЕ СЕТИ С конца бО-х годов прошлого столетия С. Гроссберг с группой коллег исследовал нейроархитектуры, предназначенные для автоматической классификации образов (кластеризации), при этом основная проблема, возникшая в ходе работ, была связана с устранением противоречий между устойчивостью и пластичностью сети, т.е. способностью ИНС запоминать новую информацию без разрушения ранее накопленной.
В результате предпринятых исследований была создана теория адаптивного резонанса и на ее основе разработана целая группа архитектур 1288-2911 таких, как АКТ 1, предназначенная для работы с бинарными векторами, АКТ 2, обрабатывающая сигналы с произвольными действительными значениями, АКТ 3, имеющая иерархическую структуру и описываемая системой дифференциальных уравнений, соответствующих динамике некоторых химических реакций, Н)ХХУ АКТ, осуществляющая нечеткую кластеризацию, АКТМАР, представляющая собой комбинацию из двух резонансных сетей, и др.
В общем случае все АКТ-сети имеют аналогичную архитектуру и реализуют однотипную стратегию кластеризации на основе самообучения, основным преимуществом которой является возможность работы в реальном времени при априорно неизвестном количестве классов. Адаптивные резонансные сети являются «ближайшими родственниками» двунаправленной ассоциативной памяти (см. подраздел 10.4) и подобно ей содержат две взаимодействующих нейроподсистемы, которые вступают в резонанс в процессе накопления и восстановления обрабатываемых образов. На рис. 11.1 приведена базовая структура АКТ-сети, состоящая из нейроподсистемы сравнения Г , нейроподсистемы распознавания Г и управляющей подсистемы, координирующей работу Г,. и Г„в процессе их резонансного взаимодействия.
Данная сеть содержит и нейронов в подсистеме сравнения Г, число которых совпадает с размерностью входного вектора х, и т нейронов в подсистеме распознавания по количеству запоминаемых образов, которое может увеличиваться в процессе работы ИНС, при этом все нейроны каждой из нейроподсистем связаны друг с другом восходящими и нисходящими связями, определяемыми (тхп) и (лхт) — матрицами настраиваемых синаптических весов й" =(и „1 и 1' = 1ю„.1 соответственно.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
