Бодянский В.Е., Руденко Г.О. - ИНС архитектура обучение применение (778912), страница 34
Текст из файла (страница 34)
Автоассоциативная память каждый входной образ должна ассоциировать с ближайшим к нему вектором-стимулом и именно этот стимул должен появляться на выходе в качестве результата. В случае неортогонального проецирования возможно возникновение неверных ассоциаций, что иллюстрируется рис. 10.3. 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ Рис. 103 — Проекции вектора х Входной вектор х проецируется ортогонально и неортогонально на пространство, натянутое на векторы х(1) и х(2).
Пусть вектор х ближе к х(2), чем к х(1), при этом его ортогональная проекция х также ближе к х(2). В случае же неортогонального проецирования проекция может оказаться ближе к х(1), как это показано на правом рисунке, что естественно ведет к неправильным результатам. Используем в качестве расстояния между входными и ключевыми векторами их скалярное произведение О =х х(Й) =(х+х)х(7с) =х'х(/с), (10.32) где х — ортогональная проекция на векторное подпространство стимулов, а х = х — х. Уравнение (10.32) говорит о том, что в смысле введенного расстояния в результате ортогонального проецирования исходная информация не искажается.
Рассмотрим далее М и — мерных векторов х(1),х(2),...,х(М), У < и и введем ортогональную проекцию х произвольного входного вектора х ~ 0 на подпространство, натянутое на Ф введенных ключей. В этом случае (10,33) х=х+х, где х ортогонален х(1),х(2),...,х(М). Найдем далее (ихп) — матрицу-оператор И' такую, что (10.34) И'х = х. Поскольку х = х — х, то матрица И~ должна удовлетворять уравнениям (10.35) х =(У-И')х 229 Хтх =О (10.3б) в силу ортогональности х всем х(й).
Решение (10.35) может быть записано в виде х =(У вЂ” (ХХ+) )х, (10,37) поскольку в этом случае Х г х = Х (1 — (ХХ ') )х = (Х ' — Х ' Х ' Х ' )х = (Х ' — Х т )х = О. (1038) Анализируя (10.35) и (10.37) с учетом симметричности ХХ', приходим к выводу, что оператор (10.39) (10.40) где у' = (у(1), у(2),..., у(М)) — (1 х М) — вектор. Как известно, в общем случае не существует точного решения этой системы из М линейных уравнений с и неизвестными, однако минимизация г векторной нормы ~~уг — ЖХ~~ приводит к решению (10.41) являющемуся по сути оценкой наименьших квадратов стандартного регрессионного анализа.
Для нахождения псевдообратной матрицы предложено достаточно много численных процедур [1321, однако для работы в реальном времени гораздо удобнее отыскивать веса непосредственно матрицы й' путем минимизации на каждом такте квадратичной нормы Е, Ж) = 1!уж — И'хж)!Г (10.42) 230 и ортогональная проекция единственны. Таким образом, ортогональная проекция вектора х может быть вычислена путем его умножения на матрицу ХХ+. Рассмотрим далее ситуацию, когда количество стимулов й больше, чем размерность входного пространства л. Поставим в соответствие набору стимулов х(1),х(2),...,х(У) У действительных чисел у(1),у(2),...,у(М) и введем в рассмотрение (1 хи)- матрицу И' такую, что 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ И~ =1и„1 У~ И) х,(Ус) у„(1) х,(Ус) х„(Ус) Рис.
10.4 — ИНС для определения синаптических весов ассоциативной памяти Таким образом, корреляционная матрица-память должна работать совместно с нейронной сетью, вычисляющей ее параметры. Несмотря на достаточно высокие надежность и точность рассмотренной АП, ее использование для решения практических задач весьма ограничено в силу слишком большого числа синаптических весов, резко возрастающем при обработке образов, заданных в виде матрицы, 231 Для этого может быть использована элементарная ИНС с прямой передачей информации, архитектура которой приведена на рис.
10.4. Данная сеть содержит лишь линейные ассоциаторы и блоки умножения. На каждом Ю такте осуществляется сравнение сигналов у,.(1) и и,.(й) = ~ и„х,.(й), ошибки /=! е,. (1) = у,. (й) — и,. (Й) возводятся в квадрат, суммируются, после чего с помощью любого из линейных алгоритмов обучения, рассмотренных в подразделе 4.3, осуществляется настройка синаптических весов и,,, ~' = 1,2,..., т; ~' = 1,2,..., п путем минимизации критерия обучения (10.42). 10.2 Автомат собственных векторов Наряду с ИНС с прямой передачей информации ассоциативная память может быть реализована и на основе рекуррентных сетей, простейшая из которых, называемая автоматом собственных векторов 14~, приведена на рис. 10.5.
х,(/с+1) х,(1 +1) х„(й+ 1) Рис. 10.5 — Автомат собственных векторов Данная сеть, содержащая и линейных ассоциаторов и и элементов задержки ~ ', реализует линейное преобразование (10.43) х(/с + 1) = И'х(/с) и используется в качестве автоассоциативной памяти. Возможность применения этой сети в качестве АП связана с существованием для заданной матрицы И' фиксированного вектора х такого, что И"х =х, (10,44) являющегося собственным вектором матрицы И' с единичным собственным числом. Автомат собственных векторов представляет собой линейную динамическую систему в пространстве состояний, устойчивость которой определяется собственными значениями матрицы И~.
232 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ Заметим, что далеко не все матрицы синаптических весов обеспечивают устойчивые состояния сети. Так, например, оператор поворота на 90' в двумерном пространстве не имеет устойчивых состояний, вместо которых существует множество циклов. В качестве ассоциативной памяти может использоваться рекуррентная сеть с матрицей И', имеющей и линейно независимых собственных векторов х', х", ...,х" и и собственных чисел А„Х„...,1„„удовлетворяющих уравнению й'х' =Я, х', ~'=1,2,...,п, (10.45) при этом без потери общности собственные числа можно упорядочить так, чтобы )Л„) > )Л,,) >...(1 (. Пусть Л„> 0 и х(0) - ненулевой и — мерный произвольный вектор, который может быть выражен в виде линейной комбинации и собственных векторов х(0) =а,х'+а х +...+а„х'.
(10.46) Бели все коэффициенты а, ненулевые, то сигнал на выходе ИНС после одного такта работы сети может быть записан в виде х(1) =Их(0) =И'(а,х'+а,х'+...+а„х") =а,Я,х'+а,1,х +...+а„1„х", (1047) а после й тактов — в виде х(Й) =а,2,х'+а,2,';х'+...+а„1';,х". (10.48) Ясно, что при больших й значение 1', «подавляет» все остальные компоненты (10.48), т.е. входной вектор х(0) в процессе итераций подтягивается к вектору х, таким образом ассоциируясь с ним. В качестве иллюстрации рассмотрим матрицу синаптических весов 233 с собственными векторами х' = (1,0), х' = (0„1) и собственными числами А, =2, А, =1.
После 7с итераций любой начальный вектор х(0) =(х,(0),х,(0)) с 10.3 Ассоциативная память Хопфилда Ассоциативная память Хопфилда представляет собой по сути рекуррентную нейронную сеть Хопфилда, рассмотренную в подразделе 9 1 и используемую в качестве автоассоциативной памяти, адресуемой по содержанию. Память Хопфилда предназначена для запоминания М бинарных л — мерных векторов (У < л), при этом каждому из векторов-стимулов х(й), й = 1,2,..., М соответствует определенное устойчивое состояние (аттрактор) сети.
Нейроны памяти Хопфилда имеют активационную сигнум-функцию Я х,.(1+1) = ямал и,.(1+1) = пял ~ и„х(Й)+В, ~=! (10.49) Й =1,2,...,%; )',1=1,2,...,л, а преобразование, реализуемое сетью, может быть записано в виде (10.50) х(к + 1) = игл(Кх(И)+ В), где И~ — (лхл) — матрица синаптических весов;  — (лх1) — вектор смещений, часто налагаемый нулевым. Данная память обучается с помощью модифицированного хэббовского правила, учитывающего тот факт, что диагональные элементы матрицы синаптических весов должны быть нулевыми и'„(Ус)+х,.(Ус+1)х,.(1+1) лри ~' ~1, и',,(1+1) = 0 лри 1 =1 я я (10,51) или И'(М) =ахи)х'Ж)-)О = ХХт -И. (10,52) Иногда выражение (10.52) нормируется на размерность входного пространства 234 х,(0) ~ 0 преобразуется в х(й) = (2'х,(0),х,(0))' сколь угодно близкий (в смысле угла) к собственному вектору х' = (1,0)' .
На языке теории динамических систем вектор х =(1,0)' является аттрактором всех векторов с ненулевой первой компонентой. Таким образом, если в качестве собственных векторов матрицы й' использовать векторы-стимулы х(1),х(2),..., х(У), У < л, автомат собственных векторов приобретает свойства автоассоциативной памяти. 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ (10.53) (10.54) При этом энергетическая функция Е(х) (при нулевых смещениях) может быть записана в форме Е(х) = — — х !!'(1)х= — — х (х(1)х (1) — 1)х, т, 1 т т 2 2 (10.55) а с учетом того, что для биполярных бинарных векторов выполняется условие х х=п, т (10.56) выражение (10.55) можно переписать следующим образом: Е(х) = — — (х х(1)) + —. т 2 2 (10.57) Минимум (10.57) достигается в точке [4~ х = х(1), при этом П И Е(х ) = — — + —.
2 2 (10.58) Это означает, что любой предъявляемый образ х сетью с матрицей весов (10.54) будет ассоциирован с аттрактором х = х(1) . В случае М линейно независимых образов-стимулов, синапти ческая матрица приобретает форму И (Ю) = ~ и (/с) = (х(1)х' (1) — У) + (х(2)х" (2) — У) +...
+ !:=! + (. (У)хг (У) — У) = х(1). ' (1) + х(2)х' (2) +... + Х(М)х' (У) — МУ, (10.59) при этом, если сети после обучения вновь предъявить образ х(1), внутренний сигнал активации и(1) принимает значение 235 что придает синаптическим весам сети !!„смысл коэффициентов взаимной корреляции. После предъявления сети первого вектора-стимула х(1), ее матрица синаптических весов приобретает вид и(1) = И~(1~)х(1) = х(1)х~ (1)х(1) + х(2)х (2)х(1) +...
+ н + х(М)х (М)х(!) — Мх(1) = (п — М)х(1)+ ~ а„х(й), (10.60) где коэффициенты а„представляют собой скалярные произведения вектора х(1) на все остальные М вЂ” 1 ключей х(2),х(3),...,х(М). При М<п и малости сгояя(а11с-члена ~ а„х(й) приходим к условию, описывающему устойчивое функционирование памяти, (10.61) ядп и(Й) = яеп х(Й). — для первого нейрона: лап х,(0+ и„х, + и„х, +... + и„,х„— 0,) < О, — для в>порого нейрона: яяп х>(и„х, +О+ и „х, +...+и,„х„— О,) <О, (10.62) — для п — го нейрона: ядп х„(и>,их, + и„>х„+...
+ и„„,х„, +0 — 0„) < О. Данная система неравенств содержит п(п — !)/2 неизвестных синаптических весов и п смещений. Для нахождения неизвестных параметров введем (п+ п(п — 1)/2) — мерный вектор и, содержащий синаптические веса и',, ( > < 1) и смещения, такой, что и=(и„,и„,...,и„„и„,и,.„...,и,„,...,и„,„,— 0„— 0„...,— 0„)~, (10.63) п — 1 и-2 1 и 236 Естественно, что наилучшие условия возникают при ортогональных стимулах, когда все скалярные произведения а,„обращаются в нуль, однако поскольку в реальных задачах обучающие векторы х(н) практически никогда пе ортогопальны, условие (10.61) обеспечивается за счет первого слагаемого (и — М)х(1) суммы (10.60). При этом обычно полагается й = 0.15п, т.е.
в общем случае память Хопфилда характеризуется невысокой емкостью. В ряде случаев при высоком уровне корреляции векторов-стимулов с помощью хэббовского обучения не удается найти матрицу синаптических весов, обеспечивающую устойчивое функционирование памяти, в связи с чем в [41 для обучения сети Хопфилда было предложено использовать так называемый персептронный алгоритм настройки синаптических весов. Название «персептронный алгоритм» связано с тем, что каждый нейрон памяти Хопфилда представляет собой по сути элементарный персептрон Розенблатта с сигнум-функцией активации и смещением О, Для того, чтобы произвольный вектор х=(х„х„...„х„)' соответствовал устойчивому состоянию-аттрактору сети, синаптические веса должны удовлетворять системе неравенств вида 10 НЕЙРОННЫЕ СЕТИ АССОЦИАТИВНОЙ ПАМЯТИ и п вспомогательных (и+п(п — 1)/2) — мерных векторов т ;,, =(х,„х„...,х„,0,0,...,1„0„...,0), и, =(~,,О,...,О,~,,...д.,ОО,...,О(,...,О(', (10.64) п — 1 ь„ = (О,О,...,~,,О,О,....~,.О.О,...,О,О,...,(( , и — 1 после чего система (10.62) может быть переписана в виде — для первого нейрона: в(дп х(г1 1 > О, — для второго нейрона: «1яп х,х, 1( > О, г (10.65) — длЯ и — го нейРона: идп хиг,',1 > О.
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
