Хайкин С. - Нейронные сети (778923), страница 172
Текст из файла (страница 172)
о (14.37) Обратная функция ср, '(х) определяется формулой (14.27). Таким образом, формулу (14.37) можно переписать в следующем виде: г* Е = — — ~~) ~~) тсээх;х + ,'> — / <р '(х)дх. (14.38) 1;лэ э з э з э э 0 График стандартной формы интеграла и ю Е = — — ~) р ю,;хзхт, ~=1 э=1,1фт (14.39) показан на рис. 14.11. Он равен нулю в точке х =О, и положителен во всех остальных точках. При достижении хт значений ~1 значения этого интеграла становятся очень большими. Если же коэффициент передачи а~ (8а(п) нейрона з становится бесконечно большим (т.е. сигмоидальная нелинейность достигает идеализированной формы с жесткими пределами), второе слагаемое в формуле (14.38) становится настолько малым, что им можно пренебречь.
В предельном случае, когда а, = оо для всех т', максимумы и минимумы непрерывной модели Хопфилда становятся идентичными максимумам и минимумам дискретной модели. В последнем случае функция энергии (Ляпунова) определяется следующим образом: 862 Глава 14. Нейродинамика ), Ф (х)ик Рис. 14.11.
График интеграла )е ' гр-'(х)ле где состояние тчго нейрона х, = ~1. Таким образом, можно сделать вывод, что только устойчивые точки непрерывной детерминированной модели Хопфилда с очень высоким коэффициентом передачи соответствуют устойчивым точкам дискретной стохастической модели Хопфилда. Однако если все нейроны т имеют большой, но конечный коэффициент передачи а,э оказывается, что второе слагаемое в правой части (14.38) вносит заметный вклад в функцию энергии непрерывной модели. В частности, этот вклад является большим и положительным вблизи всех граней, границ и углов единичного гиперкуба, определяющего пространство состояний этой модели. С другой стороны, вклад второго слагаемого становится пренебрежимо малым в точках, удаленных от граней этого куба. Следовательно, функция энергии такой модели имеет свои максимумы в углах, а минимумы смещены во внутреннюю область единичного гиперкуба [479).
На рис. 14.12 показана контурная карта энергии (епегйу сопгопг шар) или ландшафт энергии (епегбу!апдзсаре) непрерывной модели Хопфилда, состоящей нз двух нейронов. Выходы этих двух нейронов определяют две оси этой карты. Нижний левый и верхний правый углы на рис. 14.12 представляют собой устойчивые минимумы для случая бесконечного коэффициента передачи. Минимумы для случая конечного коэффициента передачи смещаются внутрь куба. Поток к фиксированным точкам (т.е, точкам устойчивого минимума) может интерпретироваться как решение задачи минимизации функции энергии Е, определяемой формулой (14.28).
Дискретная модель Хопфилда как ассоциативная память Сетям Хопф илда в литературе, посвященной ассоциативной или контентноадресуемой памяти (сопгепг-аг(геззаЫе шепюгу), уделяется довольно большое внимание. В этой модели фиксированные точки соответствуют сохраняемым образам. Однако синаптические веса сети, которые обеспечивают нахождение таких фиксиро- 14.7. Модель Хопфилда .ч- ~- .ч- .ч- чРис. 14.12.
Контурная карта энергии системы с двумя нейронами и двумя устойчивыми состояниями. Ординаты и абсциссы являются выходами двух нейронов. Устойчивые состояния расположены около нижнего левого и верхнего правого углов. Неустойчивые экстремумы расположены в остальных двух углах. Стрелки показывают перемещение состояний. В общем случае зти перемещения не перпендикулярны контурам энергии. (Рисунок взят нэ [479] с разрешения Национальной академии наук США.) ванных точек, неизвестны, и задача заключается в их определении.
Основной функцией ассоциативной памяти является восстановление образа (объекта), сохраненного в памяти, в ответ на представление неполной или зашумленной версии этого же объекта. Для иллюстрации значения этого утверждения нет ничего лучше, чем привести цитату из [480). 864 Глава 14. Нейродинамика Пространство хранимых аактороа Рис. 14.13.
Кодирование-декодирование, выполняемое рекуррентной сетью "Предположим, что в памяти существует запись "Н.А. Кгашегз к С.Н. %апшег Рйугй Рхем 60, 252 (1941)". Ассоциативная память общего вида будет способна вернуть всю эту запись на основе подачи частичной информации. Ввода строки "ак %апшег (1941)" должно быть достаточно. Идеальная память может работать даже при наличии помех и смогла бы вернуть эту запись даже на основе ввода "%апшег (1941)". Таким образом, важным свойством ассоциативной памяти является восстановление сохраненного образа при подаче разумного подмножества информации этой записи. Более того, ассоциативная память позволяет корректировать ошибки (епогсоггесйпй), а именно аннулировать несвязную информацию, если таковая содержится в представленном ей образе. Сущностью ассоциативной памяти является отображение фундаментальной памяти ср в фиксированную (устойчивую) точку хр некоторой динамической системы (рис.
14.13). Математически это отображение можно представить в следующем виде: Стрелка, направленная слева направо, описывает операцию кодирования, а стрелка, направленная справа налево, — операцию декодирования. Фиксированные точки аттракторов в пространстве состояний сети являются ячейками фундаментальной памяти (Папдашепга! шепюпез) или состояниями прототипов (ргого1уре з1аге) сети. Теперь предположим, что сети представлен образ, содержащий частичную, но существенную информацию об одной из ячеек фундаментальной памяти.
Тогда этот частичный образ можно представить как начальную точку в пространстве состояний. В принципе, предполагая, что эта стартовая точка находится достаточно близко к 14.7. Модель Хопфилда 86$ точке, представляющей запрашиваемый образ (т.е. стартовая точка лежит в бассейне аттракции, принадлежащем этой фиксированной точке), система может развиваться во времени и в конце концов прийти к состоянию самой ячейки памяти. В этой точке сетью будет сгенерирован весь образ ячейки памяти.
Следовательно, сеть Хопфилда обладает свойством эмерджентности (ешегяеп1), что помогает ей извлекать информацию и обрабатывать ошибки. Если модель Хопфилда использует формальный нейрон [7141 и его основной элемент обработки, то каждый такой нейрон имеет два состояния, определяемые уровнем индуцированного локального поля, воздействующего на него. "Включенное" состояние нейрона г соответствует выходу х, = +1, а "выключенное" — выходу х, = — 1. Для сети, состоящей из Ж нейронов, состояние определяется вектором х = [х„хз,...,хм]г.
При х; = х1 состояние г представляет один информации, а вектор состояния к размерности )т" х1 представляет двоичное слово, содержащее Ф битов информации. Индуцированное локальное поле с, нейрона 7' определяется следующим образом: (14.40) где 6, — фиксированное смещение (Ъ|аз), применяемое внешним образом к нейрону 7'. Таким образом, нейрон 7' модифицирует свое состояние х, в соответствии с детерминированным правилом: +1, еслии )О, х,= — 1, если из ( О.
Это соотношение может быть переписано в более компактном виде: х, = айп[о,], где зйп — функция определения знака числа или сигнум-функция (з(йппш Йпсйоп). А что происходит, когда о, равно нулю? В этом случае действия могут быть произвольными. Например, можно допустить, чтобы при о, = 0 х, = х1.
Однако будем использовать следующее соглашение: если о, = О, нейрон 7' остается в своем текушем состоянии, независимо от того, включен он или выключен. Значение этого допушения состоит в том, что полученная диаграмма потоков будет симметричной, что и будет продемонстрировано позже. 866 Глава 14.
Нейродинамика Дискретные сети Хопфилда, выступающие в качестве ассоциативной памяти, имеют две фазы работы: фазу сохранения и фазу извлечения. Эти фазы подробно описываются ниже. 1. Фаза сохранении (згогаяе рЬазе). Предположим, что необходимо сохранить множество 111-мерных векторов (двоичных слов), которые обозначим как ©р = 1, 2, ..., М). Назовем эти векторы ячейками фундаментальной памяти, указывая на то, что в них сохраняются образы, представленные сети.
Пусть Р», — 1-й элемент фундаментальной памяти Г„, где класс р = 1, 2,..., М. Согласно правилу внешнего произведения векторов (оигег ргодцсг гп1е), которое является обобщением постулата обучения Хебба, сииаптический вес, направленный от нейрона ! к нейрону у, определяется так: (14.41) Причиной использования в качестве константы пропорциональности величины 1/Ж является упрощение математического описания процесса извлечения информации. Также заметим, что правило обучения (14.41) представляет собой одношаговую операцию. При нормальной работе сети Хопфилда (14.42) юн — — 0 для всех 1. Это значит, что нейроны не имеют обратных связей с самими собой.
Пусть %— матрица синаптических весов размерности 1у х 1т', 11-м элементом которой является синаптический вес ш„. Тогда можно объединить выражения (14.41) и (14.42) в единое уравнение в матричной форме: (14.43) т где ~Д, — векторное произведение вектора ~„самого на себя; 1 — единичная матрица. Из представленных выше формул-определений синаптических весов (матрицы весов) можем еще раз подтвердить следующее. 1. Выход каждого из нейронов замкнут на входы всех остальных нейронов. 2. В сети отсутствуют обратные связи нейронов с самими собой. 3.
Матрица весов этой сети является симметричной, т.е. (14.44) 14.7. йлодепь Хопфипда Вет Рт = акп ~~з пззтУе+ 6,, 7' = 1,2,...,АУ, з=т (14.45) или, в матричной форме: у = аяп(%'у + «), (14.4б) где зч' — матрица синаптических весов сети; Ь вЂ” внешний вектор смещения (Ь1аз нес[от). Описанное здесь условие устойчивости также называется условием выравнивания (аййпшеп[ солей[[оп).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
