Хайкин С. - Нейронные сети (778923), страница 175
Текст из файла (страница 175)
14.7. Каждый из этих рисунков содержит 120 пикселей (элемеитов). Эти образы создавались специально для достижения сетью хорошей производительности [657). Для входов, применяемых к сети, предполагалось, что белому цвету соответствует значение +1, а черному — — 1. Каждый из образов на рис. 14.17 использовался как ячейка фундаментальной памяти на фазе запоминания (обучения) сети Хопфилда для создания матрицы синаптических весов Ч7 с помощью формулы (14.43).
Фаза вспоминания осуществлялась в асинхронном режиме, согласно процедуре, описанной в табл. 14.2. ь Немонвтвннвя функция активации Дла преодоления ограничений модели Хопфилда, работающей в качестве ассоциативной памяти, в литературе предлшвлось множество подходов. Пожалуй, самым существенным из них на данный момент является улучшение непрерывной модели Хопфилдк вриведенное в [755].
Эта модификация ограничивает функцию шттиввции тр( ) нейрона, оставляя, таким образом, нетронутой простоту конструкции сети. В частности, отраииченные или сигмоидальные функции шттивации всех нейронов сети заменяются иемонатонной функцией. В математических терминах зта функция определяется как следующее произведение: В(а) = 1 — ехр( — ос) т г'1-1- кехр(60о] — с)) т =( )( (1) 1 -1- ехр(-оа) ) 1, 1 + ехр(6([а! — 6)) ) гдеп — индуцироваииое локальное попе. Первый множитель в правой части (1) является обычной сигмоидальной функцией (гиперболическим тангенсом), используемой в обычных сетях Хопфилда; параметр о является коэффициентом передачи нейрона.
Второй множительагвечает за придание функции активации немонатонного вида. Оба параметра, характеризующие этот второй множитель (Ь и с), являются положительными констангами; оставшийся параметр к — обычно отрицательный. В экспериментах, описанных в [755], использовались следующие значения этих парамецювт а = 50; Ь = 15, с=0,5;к= — 1.
Соглаано вышеназванной работе, точная форма функции активации и параметров, используемых для опиавния модели, не аталь критична. Самым существенным здесь является сам факт немоиотонностн фунютии штти пацци. Эта мемель ассоциативной памяти обладаег двумя интересными свойствами [! ! 741. В сети, составленной из 67 нейронов, емкость памяти модели составляет более О, З)т', что прн больших дг значительно больше емкости обычной модели Хопфилда (Мттз !оя !т7).
В этой мтщели нет лажных состояний. Если не удается восстановить какую-либо корректную ячейку памяти, состояние сети переходит к хаотическому поведению. (Понятие хаоса рассматривалось в разделе !4.13.) 14.8. Компьютерное моделирование 1 877 Рис. 14.17. Множество рукописных образов, используемых при компьютерном моделировании сети Хопфипда Во время первой части фазы вспоминания на вход сети подавались ячейки фундаментальной памяти. Таким образом, выполнялась проверка способности их корректного восстановления из информации, сохраненной в матрице синаптических весов. В каждом из случаев желаемый образ восстанавливался сетью после одной итерации. Далее, для того чтобы продемонстрировать способность сетей Хопфилда корректировать ошибки, рассматриваемый образ преднамеренно искажался при помощи обращения случайно и независимо выбираемых пикселей (значения этих пикселей изменялись с +1 на — 1 и с — 1 на +1 с вероятностью 0,25), после чего подавался на вход сети.
Результат этого эксперимента для цифры 3 показан на рис. 14.18. Образ, показанный на этом рисунке в центре верхнего ряда, представляет собой искаженную версию цифры 3. Этот образ в момент времени 0 подавался на вход сети. Образы, произведенные сетью после 5, 10, 15, 20, 25, 30 и 35 итераций, показаны в остальных фрагментах этого рисунка. По мере увеличения количества итераций заметно постепенное увеличение сходства между выходом сети и цифрой 3.
Видно, что после 35 итераций сеть сошлась к абсолютно корректной форме цифры 3. 878 Глава 14. Нейродинамика Искаженный образ Исходный образ зй 15 20 Окончательный аарнант (35) 25 30 Рис. 14.18. Корректировка искаженного образа цифры 3 При условии, что теоретически одна четверть из 120-ти нейронов сети Хопфнлда меняла свое состояние в каждом искаженном образе, среднее значение количества итераций, необходимых для вспоминания, составляет 30. В нашем эксперименте количество итераций, необходимых для восстановления различных образов из их искаженных версий, приведено ниже. Количество итераций, потребовавшихся для восстановления Образ 34 32 26 35 25 37 32 26 точка 9 14.8.
Компьютерное моделирование 1 879 Исходный образ Искаженный образ )4 2) 28 35 42 Окончательный вариант (47) Рис. 14.19. Некорректное восстановление образа цифры 2 Таким образом, среднее количество итераций, необходимых для восстановления, немного превысило 31. Это показывает, что сеть Хопфилда вела себя так, как ожидалось. Внутренняя проблема сетей Хопфилда возникает в том случае, когда сети предСтавляется искаженная версия некоторой ячейки фундаментальной памяти, а сеть продолжает сходиться к некорректной ячейке (см.
рис. 14.19). В этом случае сети подавался на вход искаженный образ цифры 2, а после 47 итераций он сошелся к ячейке фундаментальной памяти цифры 6. Как уже говорилось, существует еще одна проблема, возникающая в сетях Хопфилда, — это наличие ложных состояний. На рис. 14.20 (рассматриваемом как матрица, состоящая из 14 х 8 состояний сети) представлен список 108 ложных аттракторов, найденных после 43097 тестов случайно выбираемых цифр, имеющих искажения отдельных бит с вероятностью 0,25. Ложные состояния можно сгруппировать следующим образом 142).
680 Глава 14. Нейродинамика 1. Обратные ячейки фундаментальной памяти. Эти ложные состояния представляют собой обратные (т.е. взятые с противоположным знаком) версии ячеек фундаментальной памяти сети (см. первую ячейку в первом ряду рис. 14.20, которая обратна образу цифры 6 на рис. 14.17). Для описания этого типа ложных состояний заметим, что функция энергии Е является симметричной, т.е. ее значения не изменяются, если состояния всех нейронов обращаются (т.е. для всех г состояние х, заменяется на — х,). Следовательно, если ячейка фундаментальной памяти ~„ соответствует определенному локальному минимуму поверхности энергии, то этому же локальному минимуму соответствует и ячейка — Е„. Обратный знак не составляет проблемы при извлечении информации, если принять соглашение обращать все информационные биты восстановленного образца в случае, когда оказывается, что вместо "знаювого" бита "+1" стоит бит "— 1".
2. Смешанные состояния (ш(хппе згаге). Смешанные ложные состояния представляют собой линейные юмбинации нечетного количества сохраненных образов. Например, рассмотрим состояние зеп(э1 1+ э21 + э31)~ являющееся смесью трех состояний. Это состояние сформировано из трех ячеек фундаментальной памяти ~м ~з и фз по правилу большинства (та1огйу гп1е). Условие устойчивости (14.45) в больших сетях удовлетворяется таким состоянием.
Состояние в 6 ряду и 4 столбце рнс. 14.20 является комбинацией трех состояний, сформированной следующими состояниями: с, = (образ, обратный единице), ~з = цифра 4 и ~з = цифра 9. 3. Зеркальные состояния (зр)п-я1азз з1а1е). Этот тнп ложных состояний получил свое название по аналогии с зеркальными моделями в статистической механике. Зеркальные состояния определяются локальными минимумами поверхности (1апдзсаре) энергии, которые не коррелированы с какими-либо ячейками фундаментальной памяти сети (см. состояние в 7 ряду и 6 столбце на рис. 14.20).
14.9. Теорема Коэна-Гроссберга В [202] рассматривается общий принцип достижения устойчивости определенным классом нейронных сетей, описываемых следующей системой нелинейных дифференциальных уравнений: — и = а (и,) ~61(и~) — ~> с,д,(и;), у = 1,...,Х. (14.56) к=1 14.9. Теорема Коэна — Гроссберга 881 П~Л~М~~Ф Кй1ЮФШГИА3 Н [й Ф Г И~ ~Я П Е~ ° Я Л Е1 ~й Е~ ~ ~Б~ Ю~ФБГФЮЮ~ Н Ф % ~Ч Н й1 4% ~:-3 ФЯ й1 Н Ф Е~ Л Ы Л ШЯЛ~й ЯФФЫ Л М Е~ Ф Е~ В~ Н К~ Ф ~ ~2 Л В~ Ф Б Б Ф~Ф~ФЯЮ%~Ф ПП%~ЮФЛЮ ФФ[%~ФПФФЕ] Ч~И~И~% 882 Глава 14. Нейродинамика Согласно этой работе, данный класс нейронных сетей допускает определение функции Ляпунова следующим образом (см.
задачу 14.13): я и и ю я= -у 2 „ю(,л(,) 2 1 ь(Чюоокх, о457) о где (14.58) Однако, для того чтобы определение (14.57) было корректным, необходимо выполнение следующих условий. 1. Условие симметрии. Синаптические веса сети должны быть симметричными: (14.59) с„ = сто 2. Условие нсотрицательности. Функция а,(и ) должна быть неотрицательной: а,(и,) > О. (14.60) 3. Условие монотонности.
Нелинейная функция отображения входа на выход у, (и,) должна быть монотонной: (14.61) Теперь можно сформулировать теорему Коэна — Гроссберга (Сойеп-ОгояаЬег8 йеогепэ). Если система нелинейных дифференциальных уравнений (14.56) удовлетворяет условиям симметрии, неотрицательности и монотонности, то функция Ляпунова системы (14.57) удовлетворяет условию — < О.
г(Е й Если функция Ляпунова Е обладает этим глобальным свойством, то, согласно первой теореме Ляпунова, эта система является глобально устойчивой. 14.9. Теорема Коэна-Гроссберга 883 ТАБЛИЦА 14.3. Соответствие между теоремой Коэна — Гроссберга и моделью Хопфипда Теорема Коэна †Гроссбер Модель Хопфилда как частный случай теоремы Коэна-Гроссберга Сравнивая общую систему уравнений (14.56) с системой (14.20) для непрерывной мо- дели Хопфилда, можно установить соответствие между этими моделями (табл. ! 4.3). Подставляя значения из табл.
14.3 в уравнение (14.57), получим следующую функцию Ляпунова для непрерывной модели Хопфилда: где нелинейная функция активации гр( ) определяется выражением (14.23). Затем можно сделать следующие наблюдения. <р,(о,) = х!. гр,'(о)!1о = 1' дх = хуо у а "о Г о!р,'(о)ао = / г(х = / гр, '(х)дх. а ео Выражения 2 и 3 вытекают из подстановки х = грг(о). Таким образом, подставляя зти выражения в функцию Ляпунова (14.62), получим результат, идентичный полученному в выражении (14.28).
![](https://s.studizba.com/z.php?f=/templates/si/i/noavatar.png&w=100&h=100&t=1"){kind=avatar}
